配置SQL仓库
本文解释了如何使用Databricks SQL UI配置和管理SQL仓库(以前是SQL端点)。
需求
要创建和管理SQL仓库,您必须是工作空间管理员并拥有Databricks SQL权限。
若要管理SQL仓库(如果您不是工作空间管理员),则必须具有可以管理Databricks SQL中的权限。
在创建无服务器SQL仓库之前,必须先创建Databricks帐户admin为工作区启用无服务器SQL仓库.
查看SQL仓库
要导航到SQL仓库仪表板,请单击SQL仓库在侧栏中。
默认情况下,仓库按状态排序(首先运行仓库),然后按字母顺序排序。
为了帮助您快速入门,Databricks创建了一个SQL仓库起动器仓库自动。这个SQL仓库是有大小的小.你可以编辑或删除此SQL仓库。
请注意
如果启用无服务器,将自动创建启动无服务器SQL仓库。
创建SQL仓库
方法创建SQL仓库新的SQL仓库页面或使用SQL仓库API.
有关使用API管理无服务器SQL仓库的详细信息,请参见使用仓库API与无服务器SQL仓库.
对象上的所有默认值新的SQL仓库页,您可以快速、轻松地创建高效、高性能的SQL仓库。如果您的工作负载或环境需要不同的功能,您可以覆盖这些默认值。
使用实例使用web界面创建SQL仓库。
点击SQL仓库在侧栏中。
点击创建SQL仓库.
为仓库输入一个名称。
接受默认的仓库设置或编辑它们。
集群规模表示可用于运行查询和仪表板的集群工作者的数量和计算资源的大小。默认为超大号.为了减少查询延迟,可以增加大小。详细信息请参见集群规模.
类型确定仓库的类型。看到什么是SQL仓库?.
(可选)配置高级选项详细信息请参见高级选项.
点击创建.
然后你可以配置仓库权限如果你愿意的话。
现在创建并启动了SQL仓库。方法还可以创建SQL仓库Databricks Terraform提供商而且databricks_sql_endpoint.
高级选项
展开。可以配置以下高级选项高级选项区域,当您创建新的SQL仓库或编辑现有的SQL仓库时。属性配置这些选项SQL仓库api 2.0.
标签:标签允许您轻松监控组织中用户和组使用的云资源的成本。将标记指定为键-值对。
统一目录:如果工作空间启用了Unity Catalog,它是工作空间中所有新仓库的默认设置。如果您的工作空间未启用Unity Catalog,则看不到此选项。有关Unity Catalog的更多信息,请参见统一目录.
通道:使用预览频道测试即将推出的功能。预览版可以让您在成为Databricks SQL标准之前试用它的功能。您可以使用它来测试您的查询和仪表板,以应对即将发生的更改。
使用发布说明了解最新预览版的内容。
重要的
Databricks不建议对生产工作负载使用预览版本。因为只有管理员才能查看仓库的属性,包括它的通道,所以可以考虑在仓库的名称中指示SQL仓库使用预览版本,这样用户就不会在无意中将其用于生产工作负载。
编辑SQL仓库
可以选择使用web UI或SQL仓库API.
使用实例使用web界面编辑SQL仓库。
点击SQL仓库在侧栏中。
在Actions列中,单击垂直的省略号并点击编辑.
编辑仓库属性。
点击保存.
将专业SQL仓库或经典SQL仓库升级为无服务器SQL仓库
要了解无服务器SQL仓库,请参见Serverless计算.无服务器SQL仓库选项只有在已被启用时才可用为工作区启用.
预览
无服务器SQL仓库在公共预览.
点击SQL仓库在侧栏中。
在Actions列中,单击垂直的省略号然后单击升级到无服务器.
配置SQL仓库权限
为SQL仓库配置权限。
点击SQL仓库在侧栏中。
单击一个仓库。
在Actions列中,单击垂直的省略号然后单击权限.
选择用户或组和权限。
点击添加.
点击保存.
要了解权限级别,请参见SQL仓库访问控制.
监视SQL仓库
您可以查看仓库处理的查询数量以及分配给仓库的集群数量。
点击SQL仓库在侧栏中。
单击SQL仓库。
点击监控.
该图表显示了仓库处理的查询数量和分配给仓库的集群数量。单击图表上方的时间刻度按钮可更改显示的周期。例如,下面的截图显示了7天的统计数据:
请注意
只有在以下情况下,集群计数才能大于1扩展已启用并配置。
集群规模
本节中的表将SQL仓库集群大小映射到Databricks集群驱动程序大小和worker计数。驱动程序大小仅适用于专业和经典SQL仓库。
请注意
对于无服务器SQL仓库,集群大小在某些情况下使用的实例类型可能与专业和经典SQL仓库文档中列出的相同集群大小的实例类型不同。一般来说,无服务器SQL仓库的集群大小的价格/性能比与专业SQL仓库和经典SQL仓库相似。
集群规模 |
驱动程序的实例类型(仅适用于pro和经典SQL仓库) |
工人数 |
---|---|---|
2 x-small |
i3.2xlarge |
1 x i3.2xlarge |
X-Small |
i3.2xlarge |
2x i3.2xlarge |
小 |
i3.4xlarge |
4 x i3.2xlarge |
媒介 |
i3.8xlarge |
8 x i3.2xlarge |
大 |
i3.8xlarge |
16 x i3.2xlarge |
超大号 |
i3.16xlarge |
32 x i3.2xlarge |
2超大号 |
i3.16xlarge |
64 x i3.2xlarge |
3从小到大 |
i3.16xlarge |
128 x i3.2xlarge |
4超大号 |
i3.16xlarge |
256 x i3.2xlarge |
所有worker的实例大小为i3.2xlarge。
排队和自动缩放
Databricks根据计算结果的成本限制分配给SQL仓库的集群上的查询数量。每个仓库集群的升级是基于查询吞吐量、传入查询的速率和队列大小。
Databricks根据处理所有当前运行的查询、所有排队的查询以及预计在接下来两分钟内传入的查询所花费的时间来添加集群。
如果少于2分钟,不要高档。
2分钟~ 6分钟,增加1个集群。
6 ~ 12分钟,增加2个集群。
12 ~ 22分钟,增加3个集群。
否则,Databricks将增加3个集群,每增加15分钟的预期查询负载就增加1个集群。
此外,如果查询在队列中等待5分钟,则仓库总是会被升级。
如果负载低达15分钟,Databricks将降低SQL仓库的规模。它保留了足够的集群来处理过去15分钟内的峰值负载。例如,如果峰值负载是25个并发查询,Databricks将保留3个集群。