SQL仓库api 2.0

重要的

要访问Databricks REST api,必须进行身份验证

要配置单个SQL仓库,请使用SQL仓库API.要配置所有SQL仓库,请使用全局SQL仓库API

需求

  • 要创建SQL仓库,您必须具备集群创建权限,该功能在Data Science & Engineering工作区中启用。

  • 要管理SQL仓库,您必须拥有可以管理在Databricks SQL中为仓库设置权限。

使用仓库API与无服务器SQL仓库

您可以使用SQL仓库API管理无服务器SQL仓库。在创建无服务器SQL仓库之前,您必须为工作空间启用特性.有关无服务器计算的详细信息,请参见Serverless计算

  • 如果使用Databricks api创建SQL仓库,如果为您的工作空间启用了无服务器特性,则默认情况下该仓库是无服务器的。要创建专业或经典的SQL仓库,请添加enable_serverless_compute参数,并将其设置为.可以同时添加该参数创建API而且编辑API请求。

  • 若要将无服务器SQL仓库降级为专业或经典SQL仓库,请编辑该仓库并设置enable_serverless_compute

  • 对于无服务器SQL仓库,指定实例策略(spot_instance_policy)是不受支持和忽略的。

注意,对于Auto Stop字段(auto_stop_mins),无服务器、专业版和经典SQL仓库的默认值和最小值是不同的。

SQL仓库API

使用此API创建、编辑、列出和获取SQL仓库。

创建

端点

HTTP方法

2.0 / sql /仓库/

帖子

2.0 / sql /端点(弃用)

帖子

创建一个SQL仓库。

字段名

类型

描述

的名字

字符串

SQL仓库的名称。必须是唯一的。该字段为必填项。

大小

字符串

分配给仓库的集群的大小:“2 x-small”“X-Small”“小”“媒介”“大”“超大号”“2超大号”“3超大号”“4超大号”.有关从集群到实例大小的映射,请参见集群规模.该字段为必填项。

min_num_clusters

INT32

SQL仓库运行时可用的最小集群数。默认为1

max_num_clusters

INT32

SQL仓库运行时可用的最大集群数。该字段为必填项。如果未开启多集群负载均衡,这是有限的1

auto_stop_mins

INT32

时间单位为分钟,直到空闲SQL仓库终止所有集群并停止。该字段可选。将此设置为0将禁用自动停止。对于专业和经典SQL仓库,默认值是15,最小值是10。对于无服务器SQL仓库,默认值为10,最小值为1。Databricks建议将一般使用时间设置为10分钟。较小的值(如1)会导致Databricks更频繁地重新启动仓库,不推荐使用。注意,在UI中创建仓库时,最小时间为5分钟。这只适用于运行状态.如果仓库无法获取底层计算资源并保持在STARTING状态,则它将在75分钟后自动停止。

标签

WarehouseTags

描述仓库的键-值对。Databricks用这些标签标记所有仓库资源。该字段可选。

spot_instance_policy

WarehouseSpotInstancePolicy

用于将实例分配到集群的现货策略。该字段可选。如果SQL仓库是无服务器的SQL仓库,则不使用此字段。

enable_photon

布尔

查询是否在加速查询执行的本机向量化引擎上执行。该字段可选。默认为真正的

enable_serverless_compute

布尔

此SQL仓库是否是无服务器SQL仓库。要使用无服务器SQL仓库,必须为工作区启用无服务器SQL仓库.该字段可选。如果工作区禁用了无服务器SQL仓库,则默认值为.如果为工作区启用了无服务器SQL仓库,则默认值为真正的

warehouse_type

WarehouseType

SQL仓库类型仓库。该字段可选。对于非无服务器SQL仓库,经典仓库类型和专业仓库类型都是可行的选择,默认的仓库类型是经典仓库类型。对于无服务器仓库,这个领域只能是专业的。有关有效值的列表,请参见“WarehouseType”部分。

通道

通道

使用当前SQL仓库计算版本还是预览版本。预览版本可以让您在成为Databricks SQL标准之前试用功能。利用预览版本来测试您的生产查询和仪表板,以应对即将到来的更改。通常,预览版本会在初始预览版本发布两周后升级到当前版本,但有些预览可能会持续更长的时间。有关最新预览版的功能,请参阅发布说明.Databricks不建议对生产工作负载使用预览版本。该字段可选。默认为CHANNEL_NAME_CURRENT

示例请求

“名称”“我的SQL仓库”“大小”“媒介”“min_num_clusters”1“max_num_clusters”10“标签”“custom_tags”“关键”“mykey”“价值”“括号”},“spot_instance_policy”“COST_OPTIMIZED”“enable_photon”“真正的”“enable_serverless_compute”“真正的”“warehouse_type”“职业”“通道”“名称”“CHANNEL_NAME_CURRENT”

示例响应

“id”“0123456789六边形abcdef”

删除

端点

HTTP方法

2.0 / sql /仓库/ {id}

删除

2.0 / sql /端点/ {id}(弃用)

删除

删除SQL仓库。

编辑

端点

HTTP方法

2.0 / sql /仓库/ {id} /编辑

帖子

2.0 / sql /端点/ {id} /编辑(弃用)

帖子

修改SQL仓库。所有字段都是可选的。缺失的字段默认为当前值。

字段名

类型

描述

id

字符串

SQL仓库ID。

的名字

字符串

SQL仓库的名称。

大小

字符串

分配给仓库的集群的大小:“2 x-small”“X-Small”“小”“媒介”“大”“超大号”“2超大号”“3超大号”“4超大号”.有关从集群到实例大小的映射,请参见集群规模

min_num_clusters

INT32

SQL仓库运行时可用的最小集群数。

max_num_clusters

INT32

SQL仓库运行时可用的最大集群数。该字段为必填项。如果未开启多集群负载均衡,仅限于1

auto_stop_mins

INT32

时间单位为分钟,直到空闲SQL仓库终止所有集群并停止。将此设置为0将禁用自动停止。对于专业和经典SQL仓库,默认值是15,最小值是10。对于无服务器SQL仓库,默认值为10,最小值为1。Databricks建议将一般使用时间设置为10分钟。较小的值(如1)会导致Databricks更频繁地重新启动仓库,不推荐使用。注意,在UI中创建仓库时,最小时间为5分钟。这只适用于运行状态.如果仓库无法获取底层计算资源并保持在STARTING状态,则它将在75分钟后自动停止。

标签

WarehouseTags

描述仓库的键-值对。

spot_instance_policy

WarehouseSpotInstancePolicy

用于将实例分配到集群的现货策略。

enable_photon

布尔

查询是否在加速查询执行的本机向量化引擎上执行。

enable_serverless_compute

布尔

此SQL仓库是否是无服务器SQL仓库。要使用无服务器SQL仓库,必须为工作区启用无服务器SQL仓库

warehouse_type

WarehouseType

SQL仓库类型仓库。该字段可选。对于非无服务器SQL仓库,经典仓库类型和专业仓库类型都是可行的选择,默认的仓库类型是经典仓库类型。对于无服务器仓库,这个领域只能是专业的。有关有效值的列表,请参见“WarehouseType”部分。

通道

通道

使用当前SQL仓库计算版本还是预览版本。预览版本可以让您在成为Databricks SQL标准之前试用功能。通常,预览版本会在初始预览版本发布两周后升级到当前版本,但有些预览可能会持续更长的时间。有关最新预览版的功能,请参阅发布说明.Databricks不建议对生产工作负载使用预览版本。该字段可选。默认为CHANNEL_NAME_CURRENT

示例请求

“名称”“我编辑的SQL仓库”“大小”“大”“auto_stop_mins”60

得到

端点

HTTP方法

2.0 / sql /仓库/ {id}

得到

2.0 / sql /端点/ {id}(弃用)

得到

检索SQL仓库的信息。

字段名

类型

描述

id

字符串

SQL仓库ID。

的名字

字符串

SQL仓库的名称。

大小

字符串

分配给仓库的集群的大小:“2 x-small”“X-Small”“小”“媒介”“大”“超大号”“2超大号”“3超大号”“4超大号”.有关从集群到实例大小的映射,请参见集群规模

auto_stop_mins

INT32

空闲SQL仓库终止所有集群并停止之前的分钟数。

spot_instance_policy

WarehouseSpotInstancePolicy

用于将实例分配到集群的现货策略。

num_clusters

INT32

分配给仓库的集群数。

min_num_clusters

INT32

SQL仓库运行时可用的最小集群数。

max_num_clusters

INT32

SQL仓库运行时可用的最大集群数。

num_active_sessions

INT32

在SQL仓库上运行的活动JDBC和ODBC会话的数量。

状态

WarehouseState

SQL仓库的状态。

creator_name

字符串

创建仓库的用户的电子邮件地址。

creator_id

字符串

Databricks创建仓库的用户ID。

jdbc_url

字符串

用于使用JDBC向SQL仓库提交SQL命令的URL。

odbc_params

ODBCParams

使用ODBC向SQL仓库提交SQL命令所需的主机、路径、协议和端口信息。

标签

WarehouseTags

描述仓库的键-值对。

健康

WarehouseHealth

仓库的健康状况

enable_photon

布尔

查询是否在加速查询执行的本机向量化引擎上执行。

enable_serverless_compute

布尔

此SQL仓库是否是无服务器SQL仓库。要使用无服务器SQL仓库,必须为工作区启用无服务器SQL仓库.该字段可选。如果工作区禁用了无服务器SQL仓库,则默认值为.如果为工作区启用了无服务器SQL仓库,则默认值为真正的

warehouse_type

WarehouseType

SQL仓库类型仓库。该字段可选。对于非无服务器SQL仓库,经典仓库类型和专业仓库类型都是可行的选择,默认的仓库类型是经典仓库类型。对于无服务器仓库,这个领域只能是专业的。有关有效值的列表,请参见“WarehouseType”部分。

通道

通道

SQL仓库是否使用当前SQL仓库计算版本或预览版本。预览版本可以让您在成为Databricks SQL标准之前试用功能。通常,预览版本会在初始预览版本发布两周后升级到当前版本,但有些预览可能会持续更长的时间。有关最新预览版的功能,请参阅发布说明.Databricks不建议对生产工作负载使用预览版本。该字段可选。默认为CHANNEL_NAME_CURRENT

示例响应

“id”“7 f2629a529869126”“名称”“MyWarehouse”“大小”“小”“min_num_clusters”1“max_num_clusters”1“auto_stop_mins”0“auto_resume”真正的“num_clusters”0“num_active_sessions”0“状态”“停止”“creator_name”“user@example.com”“jdbc_url”" jdbc:火花:/ / hostname.staging.cloud.www.neidfyre.com: 443 /违约;运输方式= http; ssl = 1; AuthMech = 3; httpPath = / sql / 1.0 /仓库/ 7 f2629a529869126;”“odbc_params”“主机名”“hostname.cloud.www.neidfyre.com”“路径”“/ sql / 1.0 /仓库/ 7 f2629a529869126”“协议”“https”“端口”443},“标签”“custom_tags”“关键”“mykey”“价值”“括号”},“spot_instance_policy”“COST_OPTIMIZED”“enable_photon”真正的“大小”“小”“enable_serverless_compute”真正的“warehouse_type”“职业”“通道”“名称”“CHANNEL_NAME_CURRENT”

列表

端点

HTTP方法

2.0 / sql /仓库/

得到

2.0 / sql /端点(弃用)

得到

列出工作区中的所有SQL仓库。

示例响应

“仓库”“id”“123456790六边形abcdef”“名称”“我的SQL仓库”“大小”“媒介”},“id”“098765321 fedcba”“名称”“另一个SQL仓库”“大小”“大”

注意:如果使用已弃用的2.0 / sql /端点API,顶层响应字段将是“端点”而不是“仓库”。

开始

端点

HTTP方法

2.0 / sql /仓库/ {id} /开始

帖子

2.0 / sql /端点/ {id} /开始(弃用)

帖子

启动一个SQL仓库。

停止

端点

HTTP方法

2.0 / sql /仓库/ {id} /停止

帖子

2.0 / sql /端点/ {id} /停止(弃用)

帖子

停止SQL仓库。

全局SQL仓库API

使用此API为所有SQL仓库配置安全策略、实例配置文件、数据访问属性和配置参数。

本节:

得到

端点

HTTP方法

/ 2.0 / sql / config /仓库

得到

/ 2.0 / sql / config /端点(弃用)

得到

获取所有SQL仓库的配置。

字段名

类型

描述

security_policy

WarehouseSecurityPolicy

控制对数据集访问的策略。

data_access_config

的数组WarehouseConfPair

包含键值对的数组属性用于数据访问配置

sql_configuration_parameters

RepeatedWarehouseConfPairs

SQL配置参数

instance_profile_arn

字符串

实例配置文件用于从SQL仓库访问存储。

示例响应

“security_policy”“DATA_ACCESS_CONTROL”“data_access_config”“关键”“spark.sql.hive.metastore.jars”“价值”“/砖/ hive_metastore_jars / *”),“sql_configuration_parameters”“configuration_pairs”“关键”“legacy_time_parser_policy”“价值”“遗产”},“instance_profile_arn”“攻击:aws:我::336924118301:角色/测试”

编辑

编辑所有SQL仓库的配置。

重要的

  • 所有字段都是必需的。

  • 调用此方法将重新启动所有正在运行的SQL仓库。

端点

HTTP方法

/ 2.0 / sql / config /仓库

/ 2.0 / sql / config /端点(弃用)

字段名

类型

描述

security_policy

WarehouseSecurityPolicy

控制对数据集访问的策略。

data_access_config

的数组WarehouseConfPair

包含键值对的数组属性用于数据访问配置

sql_configuration_parameters

RepeatedWarehouseConfPairs

SQL配置参数

instance_profile_arn

字符串

实例配置文件用于从SQL仓库访问存储。

示例请求

“data_access_config”“关键”“spark.sql.hive.metastore.jars”“价值”“/砖/ hive_metastore_jars / *”),“sql_configuration_parameters”“configuration_pairs”“关键”“legacy_time_parser_policy”“价值”“遗产”},“instance_profile_arn”“攻击:aws:我::336924118301:角色/测试”

数据结构

WarehouseConfPair

字段名

类型

描述

关键

字符串

配置密钥名称。

价值

字符串

配置键值。

WarehouseHealth

字段名

类型

描述

状态

WarehouseStatus

仓库的地位。

消息

字符串

关于运行状况状态的描述性消息。包括有关导致当前运行状况状态的错误的信息。

WarehouseSecurityPolicy

选项

描述

DATA_ACCESS_CONTROL

使用数据访问控制控制对数据集的访问。

WarehouseSpotInstancePolicy

选项

描述

COST_OPTIMIZED

为集群驱动程序使用按需实例,为集群执行器使用现货实例。最高现货价格为按需价格的100%。这是默认策略。

RELIABILITY_OPTIMIZED

对所有集群节点使用按需实例。

WarehouseState

SQL仓库的状态。允许的状态转换为:

  • 开始->开始运行停止删除

  • 运行->停止删除

  • 停止->停止开始

  • 停止->开始删除

  • 删除->删除

状态

描述

开始

仓库正在开工中。

运行

启动过程已经完成,仓库可以使用了。

停止

仓库正在被查封。

停止

仓库停了。通过调用Start或提交JDBC或ODBC请求开始。

删除

仓库正在被摧毁。

删除

仓库已被删除且无法恢复。

WarehouseStatus

状态

描述

健康的

仓库运行正常,没有已知问题。

退化

仓库可能还能用,但有一些已知的问题。可能会影响性能。

失败的

仓库受到严重影响,将无法提供查询服务。

WarehouseTags

字段名

类型

描述

custom_tags

的数组WarehouseTagPair

包含键值对数组的对象。

WarehouseTagPair

字段名

类型

描述

关键

字符串

标记键名称。

价值

字符串

标记键值。

ODBCParams

字段名

类型

描述

宿主

字符串

ODBC服务器主机名。

路径

字符串

ODBC服务器路径。

协议

字符串

ODBC服务器协议。

港口

INT32

ODBC服务器端口。

RepeatedWarehouseConfPairs

字段名

类型

描述

configuration_pairs

的数组WarehouseConfPair

包含键值对数组的对象。

通道

字段名

类型

描述

的名字

WarehouseType

通道名称

ChannelName

选项

描述

CHANNEL_NAME_PREVIEW

SQL仓库被设置为预览通道,并使用即将到来的功能。

CHANNEL_NAME_CURRENT

SQL仓库设置为当前通道。

WarehouseType

选项

描述

经典

经典的仓库。

非无服务器专业仓库和无服务器专业仓库都被认为是专业仓库。