开始
加载和管理数据
处理数据
政府
引用和资源
2023年8月2日更新
给我们反馈
重要的
这个文档已经退休了,可能不会被更新。
这个信息适用于遗留数据砖CLI版本0.17及以下。砖建议你使用新砖CLI的版本0.200或更高版本。看到砖CLI。找到你的版本的砖CLI,运行砖- v。
砖- v
从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移。
遗留在砖砖CLI不可用的谷歌云。
你跑砖工作CLI子命令通过添加砖工作和砖的工作运行CLI子命令的附加砖运行。砖工作运行CLI子命令,请参阅CLI(遗留)。在一起,这些子命令调用乔布斯API和乔布斯API 2.0。
砖工作
砖运行
砖的工作CLI支持调用两个版本的砖工作REST API:版本2.1和2.0。2.1版本增加了支持与多个任务编排工作;看到创建和运行数据砖的工作和乔布斯API更新。砖建议你叫2.1版本,除非你有遗留的脚本依赖版本2.0和无法迁移。
除非另有规定,本文中描述的程序性行为同样适用于版本2.1和2.0。
设置和使用砖工作CLI(和工作运行CLI)调用工作REST API 2.1,执行以下操作:
更新CLI0.16.0版或以上。
做下列之一:
运行以下命令砖工作配置——版本= 2.1。这增加了设置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.1默认情况下工作。
砖工作配置——版本= 2.1
jobs-api-version=2.1
~ / .databrickscfg
% USERPROFILE % \ .databrickscfg
手动添加背景jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.1默认情况下工作。
附加的选项——版本= 2.1(例如,砖工作列表——版本= 2.1)指导工作CLI调用只工作2.1 REST API调用。
——版本= 2.1
砖工作列表——版本= 2.1
如果你之前没有采取行动,工作CLI(和工作运行CLI)将调用REST API 2.0默认情况下工作。
设置和使用砖工作CLI(和工作运行CLI)调用工作REST API 2.0,做以下之一:
使用一个版本的砖CLI 0.16.0以下,或
更新CLIX.Y.版Z或以上,然后做下列之一:
运行以下命令砖工作配置——版本= 2.0。这增加了设置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.0默认情况下工作。
砖工作配置——版本= 2.0
jobs-api-version=2.0
手动添加背景jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.0默认情况下工作。
附加的选项——版本= 2.1(例如,砖工作列表——版本= 2.0)指导工作CLI调用只工作2.0 REST API调用。
砖工作列表——版本= 2.0
砖工作- h
用法:砖工作[选项]命令(ARGS)……公用事业与工作。工作运行是由“砖”运行。选项:- v、——版本(版本)- h,帮助显示此消息并退出。命令:创建创建一个工作。选项:- JSON文件路径包含JSON请求的文件发布/ api / 2.0 /工作/创建。——json json json字符串发布/ api / 2.0 /工作/创建。delete删除工作。选项:——作业标识JOB_ID可以在URL https:// < databricks-instance > / ? o = < 16-digit-number > #工作/ JOB_ID美元。(需要)获得一份工作描述的元数据。 Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] list Lists the jobs in the Databricks Job Service. reset Resets (edits) the definition of a job. Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] --json-file PATH File containing JSON request to POST to /api/2.0/jobs/create. --json JSON JSON string to POST to /api/2.0/jobs/create. run-now Runs a job with optional per-run parameters. Options: --job-id JOB_ID Can be found in the URL at https:///#job/$JOB_ID. [required] --jar-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --notebook-params JSON JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}' --python-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --spark-submit-params JSON JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'
显示使用文档,运行砖工作创建——帮助。
砖工作创建——帮助
砖工作创建——json文件create-job.json
看到创建在乔布斯API更新。
create-job.json:
create-job.json
{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”,“notebook_task”:{“notebook_path”:“/用户/ someone@example.com/My笔记本”},“email_notifications”:{“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]}}
{“job_id”: 246}
提示
复制一份工作,运行创建命令,通过一个JSON对象的设置工作副本。这个例子副本的设置工作的ID246年到一个新的工作。它要求金桥实用程序。
创建
246年
SETTINGS_JSON=$ (砖工作得到,作业标识246年|金桥.settings)砖工作创建——json”SETTINGS_JSON美元”
{“job_id”: 247}
显示使用文档,运行砖工作删除——帮助。
砖工作删除——帮助
砖工作删除——作业标识246年
如果成功,没有显示输出。
删除多个作业拥有相同的设置,得到的工作相匹配的id列表设置,然后运行删除命令对每个ID匹配工作。这个例子中删除所有工作的作业名无标题的。它要求金桥实用程序。
删除
无标题的
砖工作——输出列表json|金桥”。工作[]|选择(.settings.name = =“无题”)| .job_id”|xargs - n1砖工作删除——作业标识
显示使用文档,运行砖工作得到——帮助。
砖工作得到——帮助
砖工作得到,作业标识246年
看到得到在乔布斯API更新。
{“job_id”: 246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用户/ someone@example.com/My笔记本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”}
显示使用文档,运行砖工作列表——帮助。
砖工作列表——帮助
砖工作列表
看到列表在乔布斯API更新。
{“工作”:({“job_id”: 246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用户/ someone@example.com/My笔记本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”},…]}
指示CLI返回所有工作通过顺序调用API,使用——所有选择。使用——所有选择,你必须将API版本设置为2.1。
——所有
砖工作——所有列表
返回一个分页的工作列表,使用——限制和——抵消参数。默认情况下,工作列表返回一个表包含工作ID和名称。可以返回一个JSON文档,其中包含的工作信息,使用——输出JSON论点。
——限制
——抵消
——输出JSON
使用——限制和——抵消参数,必须将API版本设置为2.1。
当使用——输出JSON,返回列表创建日期降序排列的工作。当使用——输出表,返回列表创建日期降序排列的工作,然后由工作名字按字母顺序排序。
——输出表
下面的示例页面通过工作列表10工作时间和以JSON格式返回结果:
砖工作列表JSON输出——极限10砖工作列表JSON输出——极限10——抵消10砖工作列表JSON输出——极限10——抵消20.
显示使用文档,运行砖工作重置——帮助。
砖工作重置——帮助
砖工作重置,作业标识246年——json文件reset-job.json
看到更新和重置在乔布斯API更新。
reset-job.json:
reset-job.json
{“job_id”:246年,“existing_cluster_id”:“2345 - 678901 batch234”,“名称”:“my-changed-job”,“notebook_task”:{“notebook_path”:“/用户/ someone@example.com/My其他笔记本”},“email_notifications”:{“on_success”:(“someone-else@example.com”),“on_failure”:(“someone-else@example.com”]}}
显示使用文档,运行砖工作现在——帮助。
砖工作现在——帮助
砖工作现在,作业标识246年
{“run_id”: 122年,“number_in_job”: 1}