CLI运行

你运行数据砖工作运行CLI子命令通过添加砖运行和砖工作CLI子命令通过添加砖工作。砖的工作CLI子命令,请参阅乔布斯CLI。在一起,这些子命令调用乔布斯API 2.1和乔布斯API 2.0。

重要的

砖的工作运行CLI支持调用两个版本的砖工作REST API:版本2.1和2.0。(工作运行功能是就业REST API的一部分。)2.1版本增加了支持与多个任务编排工作;看到创建、运行和管理数据砖的工作和乔布斯API更新。砖建议你叫2.1版本,除非你有遗留的脚本依赖版本2.0,不能迁移。

除非另有规定,本文中描述的程序性行为同样适用于版本2.1和2.0。

请注意

如果你收到一个500级的错误时工作运行CLI请求,砖建议重试请求长达10分钟(重试之间至少30秒的时间间隔)。

要求调用REST API 2.1工作

设置数据砖工作运行CLI(和就业CLI)调用REST API 2.1工作,做到以下几点:

  1. 更新CLI0.16.0版或以上。

  2. 做下列之一:

    • 运行以下命令砖工作配置——版本= 2.1。这增加了设置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作运行CLI(和就业CLI)子命令调用REST API 2.1默认情况下工作。

    • 手动添加背景jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作运行CLI(和就业CLI)子命令调用REST API 2.1默认情况下工作。

    • 附加的选项——版本= 2.1(例如,砖运行列表——版本= 2.1)指导工作运行CLI调用只工作2.1 REST API调用。

    如果你之前没有采取行动,工作运行CLI(和就业CLI)将调用REST API 2.0默认情况下工作。

要求调用REST API 2.0工作

设置数据砖工作运行CLI(和就业CLI)调用REST API 2.0工作,做以下之一:

  • 使用一个版本的砖CLI 0.16.0以下,或

  • 更新CLI0.16.0或以上版本,然后做下列之一:

    • 运行以下命令砖工作配置——版本= 2.0。这增加了设置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作运行CLI(和就业CLI)子命令调用REST API 2.0默认情况下工作。

    • 手动添加背景jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作运行CLI(和就业CLI)子命令调用REST API 2.0默认情况下工作。

    • 附加的选项——版本= 2.1(例如,砖运行列表——版本= 2.0)指导工作运行CLI调用只工作2.0 REST API调用。

如果你之前没有采取行动,工作运行CLI(和就业CLI)将调用REST API 2.0默认情况下工作。

子命令和一般使用

砖运行——帮助
用法:砖运行[选项]命令(ARGS)……公用事业与工作运行。选项:- v、版本(版本)——调试调试模式。显示完整的堆栈跟踪误差。——概要文本使用CLI连接配置文件。默认的配置文件是“默认”。- h,帮助显示此消息并退出。命令:取消取消指定的运行。得到关于运行在JSON形式的元数据。输出得到的输出。 list Lists job runs. submit Submits a one-time run.

取消运行

显示使用文档,运行砖运行取消——帮助。

砖取消运行,运行id119年
{}

得到信息

显示使用文档,运行砖运行得到——帮助。

一般使用

砖运行,运行id119年

2.1工作CLI使用笔记和反应的例子

看到运行得到在乔布斯API更新。

2.0工作CLI反应的例子

{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“状态”:{“life_cycle_state”:“终止”,“result_state”:“成功”,“state_message”:“},"任务":{" notebook_task ": {:“notebook_path /用户/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“触发”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.neidfyre.com/?o=1234567890123456作业/ 239 /运行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0}

得到的输出

显示使用文档,运行砖运行输出——帮助。

请注意

当一个notebook_task从调用返回一个值dbutils.notebook.exit ()砖限制返回的值的第一个5 MB的数据。返回一个更大的结果,你可以工作的结果存储在云存储服务。

一般使用

砖运行输出——运行id119年

2.1工作CLI使用笔记

看到运行得到的输出在乔布斯API更新。

2.0工作CLI反应的例子

{“元数据”:{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“状态”:{“life_cycle_state”:“终止”,“result_state”:“成功”,“state_message”:“},"任务":{" notebook_task ": {:“notebook_path /用户/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“触发”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.neidfyre.com/?o=1234567890123456作业/ 239 /运行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},“notebook_output”: {}}

得到所有的信息

显示使用文档,运行砖运行列表——帮助。

一般使用

砖运行列表——JSON输出

2.1工作CLI使用笔记和反应的例子

看到运行清单在乔布斯API更新。

2.0工作CLI反应的例子

{“运行”:({“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“状态”:{“life_cycle_state”:“终止”,“result_state”:“成功”,“state_message”:“},"任务":{" notebook_task ": {:“notebook_path /用户/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“触发”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.neidfyre.com/?o=1234567890123456作业/ 239 /运行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},…),“has_more”:假的}

如果has_more返回真正的,额外的信息是可用的。使用——抵消选择返回运行相对于最近运行的信息。例如,返回信息从第十最近运行,指定——抵消10。

使用——限制选择返回固定数量的运行信息。例如,要为下一个5分返回信息,指定——限制5。您可以指定多达1000。如果没有指定,默认为20。

提交一次运行

显示使用文档,运行砖运行提交——帮助。

一般使用

砖跑提交——json文件submit-run.json

乔布斯REST API 2.1使用说明和请求的例子

看到运行提交在乔布斯API更新。

2.0工作REST API请求和响应的例子

submit-run.json:

{“run_name”:“my-spark-run”,“new_cluster”:{“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“aws_attributes”:{“可用性”:“ON_DEMAND”},“num_workers”:10},“库”:({“罐子”:“dbfs: / my-jar.jar”},{“专家”:{“坐标”:“org.jsoup: jsoup: 1.7.2”}}),“spark_jar_task”:{“main_class_name”:“com.databricks.ComputeModels”}}
{“run_id”: 123}