配置SQL仓库

本文解释了如何使用Databricks SQL UI配置和管理SQL仓库(以前是SQL端点)。

需求

  • 要创建和管理SQL仓库,您必须是工作空间管理员并拥有Databricks SQL权限。

  • 若要管理SQL仓库(如果您不是工作空间管理员),则必须具有可以管理Databricks SQL中的权限。

  • 在创建无服务器SQL仓库之前,必须先创建Databricks帐户admin为工作区启用无服务器SQL仓库

查看SQL仓库

要导航到SQL仓库仪表板,请单击端点图标SQL仓库在侧栏中。

默认情况下,仓库按状态排序(首先运行仓库),然后按字母顺序排序。

为了帮助您快速入门,Databricks创建了一个SQL仓库起动器仓库自动。这个SQL仓库是有大小的.你可以编辑或删除此SQL仓库。

请注意

如果启用无服务器,将自动创建启动无服务器SQL仓库。

创建SQL仓库

方法创建SQL仓库新的SQL仓库页面或使用SQL仓库API

有关使用API管理无服务器SQL仓库的详细信息,请参见使用仓库API与无服务器SQL仓库

对象上的所有默认值新的SQL仓库页,您可以快速、轻松地创建高效、高性能的SQL仓库。如果您的工作负载或环境需要不同的功能,您可以覆盖这些默认值。

使用实例使用web界面创建SQL仓库。

  1. 点击端点Icon-1SQL仓库在侧栏中。

  2. 点击创建SQL仓库

  3. 为仓库输入一个名称。

  4. 接受默认的仓库设置或编辑它们。

    • 集群规模表示可用于运行查询和仪表板的集群工作者的数量和计算资源的大小。默认为超大号.为了减少查询延迟,可以增加大小。详细信息请参见集群规模

      • 自动停止如果仓库空闲了指定的分钟数,则确定它是否停止。空闲SQL仓库继续积累DBU和云实例费用,直到它们停止为止。

        • Pro和经典SQL仓库:默认为45分钟,建议典型使用。最少10分钟。

        • 无服务器SQL仓库:默认为10分钟,建议典型使用。用户界面使用时间最少为5分钟。方法创建无服务器SQL仓库SQL仓库API,在这种情况下,您可以将自动停止值设置为1分钟。

      • 扩展设置分发发送到仓库的查询的最小和最大集群数量。

        默认情况下,最小值为一个,最大值为一个。

        要为给定查询处理更多并发用户,请增加集群数量。若要了解Databricks如何向仓库中添加集群和从仓库中删除集群,请参见排队和自动缩放

  5. (可选)配置高级选项详细信息请参见高级选项

  6. 点击创建

  7. 然后你可以配置仓库权限如果你愿意的话。

现在创建并启动了SQL仓库。方法还可以创建SQL仓库Databricks Terraform提供商而且databricks_sql_endpoint

高级选项

展开。可以配置以下高级选项高级选项区域,当您创建新的SQL仓库或编辑现有的SQL仓库时。属性配置这些选项SQL仓库api 2.0

  • 标签:标签允许您轻松监控组织中用户和组使用的云资源的成本。将标记指定为键-值对。

  • 统一目录:如果工作空间启用了Unity Catalog,它是工作空间中所有新仓库的默认设置。如果您的工作空间未启用Unity Catalog,则看不到此选项。有关Unity Catalog的更多信息,请参见统一目录

  • 通道:使用预览频道测试即将推出的功能。预览版可以让您在成为Databricks SQL标准之前试用它的功能。您可以使用它来测试您的查询和仪表板,以应对即将发生的更改。

    使用发布说明了解最新预览版的内容。

重要的

Databricks不建议对生产工作负载使用预览版本。因为只有管理员才能查看仓库的属性,包括它的通道,所以可以考虑在仓库的名称中指示SQL仓库使用预览版本,这样用户就不会在无意中将其用于生产工作负载。

启动、停止或删除SQL仓库

  1. 点击仓库星逢SQL仓库在侧栏中。

  2. 停止运行中的仓库,单击停止

  3. 单击,启动已停止的仓库开始

  4. 若要删除仓库,请单击垂直省略号垂直的省略在“操作”列,然后单击删除

编辑SQL仓库

可以选择使用web UI或SQL仓库API

使用实例使用web界面编辑SQL仓库。

  1. 点击端点Icon-3SQL仓库在侧栏中。

  2. 在Actions列中,单击垂直的省略号垂直的省略并点击编辑

  3. 编辑仓库属性。

  4. 点击保存

将专业SQL仓库或经典SQL仓库升级为无服务器SQL仓库

要了解无服务器SQL仓库,请参见Serverless计算.无服务器SQL仓库选项只有在已被启用时才可用为工作区启用

预览

无服务器SQL仓库在公共预览

  1. 点击端点Icon-3bSQL仓库在侧栏中。

  2. 在Actions列中,单击垂直的省略号垂直的省略然后单击升级到无服务器

配置SQL仓库权限

为SQL仓库配置权限。

  1. 点击端点Icon-4SQL仓库在侧栏中。

  2. 单击一个仓库。

  3. 在Actions列中,单击垂直的省略号垂直的省略然后单击权限

  4. 选择用户或组和权限。

  5. 点击添加

  6. 点击保存

要了解权限级别,请参见SQL仓库访问控制

监视SQL仓库

您可以查看仓库处理的查询数量以及分配给仓库的集群数量。

  1. 点击端点Icon-5SQL仓库在侧栏中。

  2. 单击SQL仓库。

  3. 点击监控

该图表显示了仓库处理的查询数量和分配给仓库的集群数量。单击图表上方的时间刻度按钮可更改显示的周期。例如,下面的截图显示了7天的统计数据:

监控仓库

请注意

只有在以下情况下,集群计数才能大于1扩展已启用并配置。

集群规模

本节中的表将SQL仓库集群大小映射到Databricks集群驱动程序大小和worker计数。驱动程序大小仅适用于专业和经典SQL仓库。

请注意

对于无服务器SQL仓库,集群大小在某些情况下使用的实例类型可能与专业和经典SQL仓库文档中列出的相同集群大小的实例类型不同。一般来说,无服务器SQL仓库的集群大小的价格/性能比与专业SQL仓库和经典SQL仓库相似。

集群规模

驱动程序的实例类型(仅适用于pro和经典SQL仓库)

工人数

2 x-small

i3.2xlarge

1 x i3.2xlarge

X-Small

i3.2xlarge

2x i3.2xlarge

i3.4xlarge

4 x i3.2xlarge

媒介

i3.8xlarge

8 x i3.2xlarge

i3.8xlarge

16 x i3.2xlarge

超大号

i3.16xlarge

32 x i3.2xlarge

2超大号

i3.16xlarge

64 x i3.2xlarge

3从小到大

i3.16xlarge

128 x i3.2xlarge

4超大号

i3.16xlarge

256 x i3.2xlarge

所有worker的实例大小为i3.2xlarge。

排队和自动缩放

Databricks根据计算结果的成本限制分配给SQL仓库的集群上的查询数量。每个仓库集群的升级是基于查询吞吐量、传入查询的速率和队列大小。

Databricks根据处理所有当前运行的查询、所有排队的查询以及预计在接下来两分钟内传入的查询所花费的时间来添加集群。

  • 如果少于2分钟,不要高档。

  • 2分钟~ 6分钟,增加1个集群。

  • 6 ~ 12分钟,增加2个集群。

  • 12 ~ 22分钟,增加3个集群。

否则,Databricks将增加3个集群,每增加15分钟的预期查询负载就增加1个集群。

此外,如果查询在队列中等待5分钟,则仓库总是会被升级。

如果负载低达15分钟,Databricks将降低SQL仓库的规模。它保留了足够的集群来处理过去15分钟内的峰值负载。例如,如果峰值负载是25个并发查询,Databricks将保留3个集群。

查询排队

当分配给仓库的所有集群都在满负荷执行查询时,或者当仓库处于开始状态。

元数据查询(例如描述<表>)和状态修改查询(例如)从不排队,除非仓库在开始状态。

查询路由

Databricks将查询路由如下:

  • 新会话:分配给负载最小的集群。

  • 现有会话:到为该会话运行前一个查询的集群。如果该集群没有可用容量,查询将被路由到负载最小的集群。