砖CLI(遗留)
重要的
这个文档已经退休了,可能不会被更新。
砖建议你使用新砖CLI的版本0.200或更高版本,而不是遗产砖CLI或低于0.17版本。信息新砖CLI 0.200及以上版本,看看砖CLI。
从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移。
在一个旧砖CLI实验状态。砖计划没有新功能工作遗留的砖CLI。
遗留数据砖CLI不支持通过砖支持渠道。提供反馈,问问题,和报告问题,使用问题标签的命令行接口数据砖在GitHub库。
遗留在砖砖CLI不可用的谷歌云。
遗留数据砖命令行界面(也称为遗留数据砖CLI)是一个实用程序,它提供了一个易于使用的界面来自动化砖从终端平台,命令提示符,或自动化脚本。bob体育客户端下载
需求
Python 3 - 3.6及以上
Python 2 - 2.7.9以上
重要的
在macOS,默认安装Python 2没有实现TLSv1_2协议,并运行这个Python的遗留数据砖CLI安装导致的错误:AttributeError:“模块”对象有没有属性“PROTOCOL_TLSv1_2”。使用家酿安装一个版本的Pythonssl.PROTOCOL_TLSv1_2。
设置CLI
本节描述如何设置遗留数据砖CLI。
设置身份验证
在运行遗留数据砖CLI命令之前,您必须设置遗留数据砖CLI和砖之间的身份验证。本节描述如何设置身份验证的遗留数据砖CLI。
与遗留砖CLI的验证,您可以使用一个砖个人访问令牌。砖的用户名和密码也支持,但不推荐。
设置身份验证使用砖个人访问令牌
配置遗留数据砖CLI使用个人访问令牌,运行以下命令:
砖配置——令牌
命令开始通过发行的提示:
砖主机(应该从https://开始):
输入您的工作区URL,格式https:// <实例名称>。<随机数> .gcp.www.neidfyre.com。得到您的工作区URL,明白了工作区实例名、url和id。
命令继续通过发出提示输入您的个人访问令牌:
令牌:
完成提示后,您的访问凭证存储在文件中~ / .databrickscfg在Linux或macOS,或% USERPROFILE % \ .databrickscfg在Windows上。文件包含一个默认的配置条目:
(默认)主机= < workspace-URL >令牌= < personal-access-token >
如果.databrickscfg文件已经存在,该文件默认的配置概要文件与新数据覆盖。创建一个配置概要文件与一个不同的名字相反,看到的连接配置文件。
对于CLI 0.8.1以上,可以改变该文件的路径通过设置环境变量DATABRICKS_CONFIG_FILE。
出口DATABRICKS_CONFIG_FILE=< path-to-file >
对于setx DATABRICKS_CONFIG_FILE“< path-to-file >”/ M
重要的
从CLI 0.17.2开始,CLI不工作. netrc文件。你可以有一个. netrc文件在您的环境中为其他的目的,但是CLI不会使用它. netrc文件。
一个环境变量设置优先于在配置文件中设置。
连接配置文件
遗留数据砖CLI配置支持多个连接配置文件。可以使用相同的遗留数据砖安装CLI API调用在多个砖工作区。
添加一个连接配置文件,配置文件指定一个唯一的名称:
的.databrickscfg文件包含一个相应的概要条目:
(<配置文件名称>)主机= < workspace-URL >令牌= <标记>
使用连接配置文件:
砖<集团> <命令>——概要文件<配置文件名称>
如果——简介<配置文件名称>没有指定,那么将使用默认的配置。如果一个默认的配置文件没有找到,提示为CLI配置一个默认的配置文件。
测试您的连接配置文件
检查是否你设置正确连接配置文件,您可以运行一个命令,如以下与你的连接配置文件的名字:
砖fs ls dbfs: /——概要文件<配置文件名称>
如果成功,该命令列出了文件和目录的DBFS根工作区为指定的连接配置文件。运行这个命令对每个连接配置文件,你想要测试。
查看可用的资料,看到你.databrickscfg文件。
使用CLI
本节将向您展示如何获得遗产砖CLI的帮助,解析遗留砖CLI的输出,并在每个命令调用命令组。
别名命令组
有时它可以方便前缀每个遗留数据砖CLI调用命令组的名称,例如砖工作空间ls遗留数据砖CLI。遗留数据砖CLI更容易使用,你可以命令别名命令组短。例如,缩短砖工作空间ls来dwls在Bourne shell,您可以添加别名dw = "砖工作空间”到适当的bash配置文件。通常,该文件位于~ / . bash_profile。
提示
遗留数据砖CLI已经别名砖fs来dbfs;砖fsls和dbfsls是等价的。
使用金桥解析CLI输出
一些遗留数据砖CLI命令输出JSON API端点的响应。有时它可能是有用的解析JSON管到其他命令的部分。例如,定义复制一份工作,你必须接受设置领域得到工作命令并使用它作为参数创建工作命令。在这些情况下,我们推荐您使用该实用程序金桥。
例如,下面的命令打印的设置工作,233年的ID。
砖工作——输出列表JSON|金桥”。工作[]|选择(。job_id = = 233) | .settings”
输出:
{“名称”:“快速入门”," new_cluster ": {:“spark_version 7.5.x-scala2.12”," spark_env_vars ": {:“PYSPARK_PYTHON /砖/ python3 / bin / python3”},“num_workers”: 8…},“email_notifications”: {},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /快速入门”},“max_concurrent_runs”: 1}
另外一个例子,下面的命令输出的名称和id在工作区中所有可用的集群:
砖集群列表——JSON输出|金桥“[.clusters[] |{名称:.cluster_name, id: .cluster_id}]”
输出:
({“名称”:“我的集群1”,“id”:“1234 - 567890 grip123”},{“名称”:“我的集群2”,“id”:“2345 - 678901 patch234”}]
你可以安装金桥例如在macOS使用自制程序酿造安装金桥或在Windows上使用巧克力色乔科省安装金桥。的更多信息金桥,请参阅金桥手册。