Databricks SQL发布说明

本文列出了Databricks SQL的新特性和改进，以及已知的问题和常见问题。

发布过程

Databricks在持续的基础上发布Databricks SQL web应用程序用户界面的更新，所有用户都获得相同的更新，在短时间内推出。

此外，Databricks通常会定期发布新的SQL仓库计算版本。两个渠道始终可用:预览和当前。

请注意

发布是阶段性的。您的Databricks帐户可能不会更新到新的SQL仓库版本或Databricks SQL特性，直到初始发布日期后一周或更长时间。

渠道

通道允许您选择是否使用当前的SQL仓库计算版本或预览的版本。预览版本可以让您在成为Databricks SQL标准之前试用功能。利用预览版本来测试您的生产查询和仪表板，以应对即将到来的更改。

通常，预览版本在发布到预览通道后大约两周会被提升到当前通道。一些特性，如安全特性、维护更新和错误修复，可以直接发布到当前通道。Databricks可能会不时地在不同的时间表上向当前频道推广预览版本。每个新版本将在以下部分中公布。

若要了解如何将现有SQL仓库切换到预览通道，请参见预览的通道．

当前的

版本2022.35:2022年10月16日- 12月12日

  • 动态剪枝合并成．

  • 使用动态文件修剪改进了Delta中的冲突检测。

  • 转换来δ分区检测改进。

  • 表模式现在支持列的默认值。

  • 仅无服务器:现在可以使用28个新的内置H3表达式进行地理空间处理。见H3地理空间函数。这些函数可以在无服务器SQL仓库中使用。

  • 新聚合函数any_value．

  • 优化了未分区表的写操作。

  • 改变分享现在支持开始版本．

  • 创建特权现在可以被授予统一目录的亚矿。

预览

2022.40版本:2022年11月29日- 12月12日

  • CSV文件中的日期推断。

  • 对Apache Parquet和Apache冰山表的克隆支持(公共预览)。

  • 仅支持Pro和无服务器-新的H3地理空间功能，并为所有H3功能添加了Photon支持。

  • 数据沿袭与统一目录现在通常可用，默认情况下启用。

Web应用程序用户界面更新

中描述的SQL Warehouse计算版本独立于本节中列出的特性渠道发布说明的部分。

2023年1月12日

改进:

  • 仪表板上的可视化小部件标题现在格式化为可视化名称—查询名称默认情况下。

  • 添加H3地理空间函数到内联面板引用。

  • 增加了SQL语法的内联引用创建表格而且在．

修复:

  • 当x轴刻度设置为自动时，现在可以使用排序和反向切换。

  • 热图和数据透视表现在对某些边缘情况有响应。

  • 分类y轴标记现在默认情况下是排序的。

  • 浏览器刷新后查询草稿不再丢失。

2022年12月8日

  • Databricks SQL警报现在支持对查询结果列的聚合发出警报，例如总和，数,AVG．

  • 在仪表板上创建新小部件时，默认的可视化标题现在是' VisualizationName - QueryName '。

2022年11月17日

警报:

  • Chatworks, Mattermost和谷歌Hangouts Chat不再是提醒目的地。

改进:

修复:

  • 修正了Databricks SQL警告中与空值进行比较的错误问题。

  • 修正了数据透视表上滚动条消失的问题。

  • 修正了模式浏览器无法调整标签溢出的问题。

2022年11月10日

改进:

  • 您现在可以创建一个同时跨多个查询工作的仪表板过滤器。在编辑仪表板模式,选择添加,然后过滤器,然后新的仪表盘过滤器．

  • 现在支持自动完成创建物化视图．

解决办法:

  • 修正了滚动到一组仪表板页面结果的末尾会发送错误的问题。

  • 修正了从堆叠柱状图切换到折线图时仍保留堆叠属性的问题。

  • 修复了重复的获取调用。

2022年11月3日

改进:

  • 当在Databricks SQL中请求访问时，默认权限现在是“可以运行”。

修复:

  • 修正了一个排序的问题created_at使用查询和仪表板API没有返回正确的排序顺序。

  • 修正了包含HTML格式url的列宽度过宽的问题。

  • 修正了一个问题在哪里关键字没有突出显示。

2022年10月27日

改进:

  • 将查询结果下载到Excel的行限制已从64,000行增加到100,000行。CSV和TSV下载限制保持不变(约1gb数据)。

  • 现在支持自动完成列表语法、url和凭证。

  • 巩固和现代化的Fix-me建议小组。

  • 为Databricks SQL引入了一种新的仓库类型Databricks SQL Pro。这种仓库类型使Databricks SQL仓库能够使用工作流集成、查询联合、地理空间特性和预测性IO。

修复:

  • 修正了编辑器中的警告横幅与全高度可视化重叠的问题。

  • 修正了移动表列时不保留表列宽度的问题。

  • 修复了在SQL编辑器中添加可视化时弹出通知中指向仪表板的链接被破坏的问题。

2022年10月20日

改进:

  • 您现在可以在页脚中找到查询进度条，并在烤肉串菜单中编辑可视化操作。

  • 自动补全现在支持Delta时间旅行，并在定义外键时提供列自动补全。

解决办法:

  • 修正了在仪表板上快速连续添加多个可视化结果将导致可视化结果不显示在仪表板上的问题。

2022年10月13日

改进:

  • 现在可以删除报告的错误消息。

  • 评论在编辑器现在支持指令。

  • 您现在可以使用Cmd + P或Ctr + P(PC)作为快捷方式热门搜索．使用Cmd +我或Ctr +我(PC) for添加参数．

2022年10月11日

改进:

2022年10月6日

改进:

  • 外部现在是保留表属性。命令创建表格.．.TBLPROPERTIES而且改变表格.．.集TBLPROPERTIES如果失败外部属性中指定的。

  • 的strfmt在format_string (strfmtobj,…)而且printf (strfmt,obj,…)不再支持使用0美元作为第一个参数。第一个参数应该由引用1美元当使用参数索引来指示参数在参数列表中的位置时。

  • 饼图分段现在有一个细边框来划分不同的分段。

  • 您现在可以使用Cmd +我(Mac)或Ctr +我(PC)作为快捷方式添加参数．使用Cmd + P或Ctr + P(PC)作为快捷方式全球搜索．

  • 有一个反馈按钮，用于显示好的或坏的查询错误消息。

  • 修复我建议现已提供快速修复．

修复:

  • lpad而且rpad函数现在可以正常工作二进制输入字符串。的输出lpad而且rpad为二进制字符串输入现在是a二进制字符串。

  • 修正了手动刷新警报不起作用的问题。

  • 回滚对自动计数器大小的更改以修复格式问题。

2022年9月29日

改进:

  • 现在，您可以向这些资产的所有者请求访问Databricks SQL查询、警报和仪表板。

  • 现在可以在query历史页面上根据查询持续时间和语句类型进行过滤。

    • 若要使用查询持续时间筛选器，请输入时间量并选择时间单位。历史结果返回运行时间超过指定时间的查询。

    • 若要使用语句类型筛选器，请从下拉列表中选择语句类型。历史结果返回包含该语句的查询。

解决办法:

  • 修正了一个问题，不是所有支持的HTML标签在自定义警报模板工作。所有标签都有文档说明。

  • 修正了一个问题可视化通知祝酒。例如，双击以缩小以前不显示的可视化。

  • 修正了在图表上交换坐标轴不反映在图表名称中的问题。

2022年9月22日

改进:

  • 当多个计数器小部件显示在仪表板上时，相同大小的计数器小部件将具有相同的字体大小。

  • 更新组合图表，以便在使用双轴时，只能在同一轴上使用相同的图表类型(例如，直线，条形图)。系列别名也应用于轴。

  • 增加了代理键和的自动完成支持列表操作。

解决办法:

  • 修正了文本参数不接受的问题零作为一个有效值。

2022年9月15日

解决办法:

  • 修正了一个问题，查看查询历史从SQL仓库列表页面不工作。

2022年9月8日

改进:

  • 在DSE/SQL主页中引入新的“开源集成”bob下载地址卡，显示诸如Delta Live Tables和dbt core等开源集成选项。

解决办法:

  • 修正了参数下拉菜单被可视化选项卡阻塞的问题。

2022年9月1日

改进:

  • 引入一个新的简化UI来添加参数和过滤器。选择并选择添加筛选器或参数。

  • SQL令牌的括号，例如' OVER() '，现在将自动补全。

修复:

  • 修复了全屏查看仪表板忽略调色板的问题。

  • 修正了快速输入然后使用运行快捷方式运行以前的查询文本，而不是新键入的查询文本。

  • 修正了使用键盘命令时，ctrl+输入运行查询将提交重复的查询。

2022年8月25日

解决办法:

  • 修正了查询参数更改时仪表板过滤器不更新的问题。

2022年8月18日

  • 对于Databricks SQL, Unity目录(公共预览)在预览通道中可用。有关更多信息，请参见什么是Unity Catalog?．

  • 文档:警报API文档已经发布。

  • 可视化:用户现在可以为日期过滤器设置默认值。每当在查询或仪表板上刷新筛选器时，都会应用默认值。

  • 修复:

    • 修正了如果仪表板仍在重新加载时应用更改无法工作的问题。

    • 修正了当查询没有返回结果时列太窄的问题。

2022年8月11日

改进:

  • 用户刷新失败时可以收到邮件。要启用此类通知，请以SQL管理员身份登录并导航到SQL管理控制台。下失败的邮件，选择希望接收失败通知的对象类型(查询、仪表板或警报)。失败报告每小时发送一次。

  • 可视化

    • 为可视化和仪表板引入了新的、现代的调色板。要将仪表板更改为新的调色板，请转到仪表板，单击 -> -> 并选择Databricks调色板．SQL管理员还可以通过 -> -> -> 并选择新的调色板来设置新的调色板。

修复:

  • 修正了之前选择应用过滤器在查询已经被执行时不起作用的问题。

2022年8月4日

改进:

  • 在克隆仪表板时，现在可以选择是否也应该克隆查询。

  • 跨浏览器选项卡同步选项卡内容。您的查询状态现在将在所有浏览器选项卡上同步。这意味着如果您正在浏览器选项卡1中处理query1，然后切换到浏览器选项卡2，您将看到query1处于您在原始浏览器选项卡中离开时的状态。

解决办法:

  • 饼图中空字符串的标签现在反映字符串是空的，而不是值的索引。

2022年7月28日

  • 警报

    • 自定义警报电子邮件模板已更新为不允许可能构成安全风险的某些HTML标记。不允许的HTML标记和属性将被自动清除。例如，

    • 用户现在可以向其他用户订阅警报，而不需要创建警报目的地，这需要管理权限。

  • 下载:用户现在可以从Databricks SQL以CSV和TSV格式下载最多约1GB的结果数据，之前为64,000行。

  • 可视化

    • 您现在可以直接在仪表板上编辑可视化。在编辑模式下，点击烤肉菜单并选择可视化编辑开始编辑可视化。

    • 当下载与利用聚合的可视化相关联的结果时，下载的结果也会被聚合。下载的选项是从底部的烤肉串移动到与标签相关联的烤肉串。下载的结果来自创建可视化的查询的最近执行。

  • SQL编辑器:当浏览器内表显示的数据被限制为64,000行时，结果表将显示一条消息。TSV和CSV下载仍将高达约1GB的数据。

  • 查询过滤器:

    • 查询过滤器已更新为在客户端或服务器端动态工作，以优化性能。以前的查询过滤器(现在是遗留的)只操作客户端。属性仍然可以使用遗留的筛选器：：语法，如果需要的话。

    • 更新后的过滤器更简单:用户单击a+添加过滤器按钮并从下拉菜单中选择列。以前，用户必须直接修改查询文本。

    • 相关的值被突出显示，以便更容易地查看筛选器中的哪些选择将返回给定其他筛选器选择的结果。

  • 查询历史记录:查询历史记录中的查询详细信息现在显示查询源，这是执行查询的起源。

2022年7月21日

  • 共享通知:用户现在将通过电子邮件通知仪表盘、查询或警报与他们共享。

  • 通过新的嵌入式编辑器工具包增强SQL编辑器体验

    • 实时语法错误高亮显示(例如，错误的关键字、表不存在以及修复错误的建议)

    • 上下文帮助:在悬停时(例如，完整的表名，详细的功能面板)和内联执行错误消息(例如，突出显示有错误的执行后行)

    • 建议的智能排序(如参数自动补全、排序公式、低噪声匹配)

2022年7月14日

  • 文件可以上传TSV文件创建表格UI除了CSV文件。

  • Databricks SQL现在提供了在与用户共享仪表板、查询或警报时通过电子邮件通知用户的选项。

  • 可视化表现在可选地包含显示在结果旁边的行号。

  • 当您为Chloropleth可视化选择一个地理区域时，您现在会得到接受值的内联提示。

2022年6月23日

  • SQL端点名称更改:Databricks将名称从SQL端点更改为SQL仓库，因为它不仅仅是运行SQL命令的API入口点。SQL仓库是满足所有数据仓库需求的计算资源，是Lakehouse平台不可分割的一部分。bob体育客户端下载计算资源是在云中提供处理能力的基础设施资源。

  • 对于Choropleth可视化，可视化编辑器中的Key列和Target字段选择已重命名为地理列和地理类型。为了便于理解，这种重命名不会对新的或现有的Choropleths引入任何行为更改。

  • 限制1000查询选项已从SQL查询编辑器中的复选框移动到运行按钮中的复选框。

  • 查询历史表中的缓存查询现在用缓存标记标记。

  • 手动刷新仪表板使用仪表板的仓库(如果可用)而不是每个查询的仓库。

  • 刷新警报总是使用警报的仓库，不管以查看者/所有者身份运行设置如何。

2022年6月9日

  • 当您悬停在端点选择器上时，完整的端点名称将显示为工具提示。

  • 当您在SQL编辑器模式浏览器中进行筛选时，搜索词现在会在搜索结果中突出显示。

  • SQL编辑器中的“关闭所有”对话框现在显示未保存查询的列表。

  • 要重新打开SQL编辑器中最后一个关闭的选项卡，使用这个新的快捷键:< Cmd >+<转>+<选项>+T

  • 现在可以向组合图表添加数据标签。

  • 可视化聚合操作列表现在包括方差和标准偏差。

2022年5月26日

创作的改进:

  • 现在，在创建可视化时可以绕过聚合。当您的查询已经包含一个聚合时，这尤其有用。例如，如果您的查询是选择AVG (price_per_sqft),isStudio,位置集团通过的位置,isStudio，图表编辑器以前需要显式指定另一层聚合。

  • 当你编写仪表板时，你现在有能力:

    • 重复的文本框小部件

    • 展开编辑文本框面板的大小

  • 在创建可视化时，错误列的默认聚合是标准偏差。

修复:

  • 用于可视化的编辑操作仅在仪表板处于编辑模式时可用。编辑操作不再作为视图模式操作可用。

  • 当您创建一个新的查询时，它将在焦点选项卡的右方中打开，而不是在列表的末尾。

  • 开放查询模式显示了哪个查询已经打开，并提供了将焦点切换到该查询选项卡的选项。

  • 桑基和日爆图不再将0视为空。

2022年5月19日

  • 修正问题:当你在一个特定的可视化选项卡上打开SQL编辑器的焦点并将链接共享给另一个用户时，用户在单击共享链接时将在SQL编辑器中拥有相同的焦点。

  • 改进:

    • Microsoft Teams现在是受支持的警报目的地。

    • “日期范围”、“日期和时间范围”以及“日期和时间范围”(带秒)参数现在支持指定一周的开始日期的选项，默认为星期天。

2022年5月12日

  • 可视化现在直接在UI中支持时间装箱。现在，您可以通过更改下拉值而不是添加和修改，轻松地在年、月、日或小时的数据箱之间切换date_trunc ()函数在查询文本本身中。

  • 仪表板现在默认具有颜色一致性。如果在多个图表中有相同的系列，则该系列在所有图表中始终是相同的颜色-无需任何手动配置。

2022年5月3日

  • 当与用户或组共享仪表板时，我们现在还提供了共享可视化和参数所使用的所有上游查询的功能。

    • 当您没有共享一个或多个上游查询的权限时，您将收到一条警告消息，提示不能共享所有查询。

    • 共享仪表板时授予的权限不会覆盖、否定或扩展上游查询上的现有权限。例如，如果用户或组在共享仪表板上具有“可以作为所有者运行”权限，但在上游查询上仅具有“作为查看者运行”权限，则该上游查询上的有效权限将为“作为查看者运行”。

2022年4月27日

  • 现在，在按需导出为PDF并生成预定订阅电子邮件时，仪表板布局将保留。

2022年3月17日

  • 图表包括一个新的组合可视化选项。这允许您创建同时包含柱状和直线的图表。

2022年3月10日

  • Unity Catalog(预览)允许您在帐户级别管理治理和访问您的数据。您可以集中管理亚metastore和数据权限，还可以将一个亚metastore分配给帐户中的多个工作区。您可以使用Databricks SQL数据资源管理器或SQL编辑器管理Unity Catalog数据和对象并与之交互，您可以在仪表板和可视化中使用Unity Catalog数据。看到什么是Unity Catalog?．

请注意

Unity Catalog要求SQL端点使用2022.11版本，这是预览版通道．

  • 增量共享(预览)允许您与组织以外的收件人共享只读数据。Databricks SQL支持查询Delta共享数据，并在可视化和仪表板中使用它。

    Delta Sharing受适用条款的约束，帐户admin必须接受这些条款才能启用该功能。

    看到使用Delta Sharing安全地共享数据．

  • 每当手动或按计划刷新仪表板时，仪表板和上游中的所有查询(包括参数使用的查询)都会刷新。刷新单个可视化时，所有上游查询(包括参数使用的查询)都将刷新。

2022年3月3日

  • 队列可视化已经更新，以便从最小值和最大值而不是0和100插值队列。现在更容易在实际可用数据范围内区分群组。以前，如果所有的数字都很接近，它们使用相同的颜色。现在，距离较近的数字更有可能使用不同的颜色，因为队列从最大到最小范围划分为每个系列。

  • 更容易查看指示板订阅计划是活动的还是暂停的。当你点击订阅，如果仪表板订阅计划暂停，则消息此时间表已暂停出现了。当仪表板订阅计划暂停时，您可以从仪表板订阅或取消订阅，但不会发送预定的快照，也不会更新仪表板的可视化。

  • 当你查看查询历史，您现在可以按持续时间对列表进行排序。默认情况下，查询按开始时间排序。

2022年2月24日

  • 在数据资源管理器中，您现在可以查看用户或组对表、视图、模式或编目的权限。单击对象，然后单击权限使用新的过滤盒。

2022年2月17日

  • 可视化我变得更聪明了!当查询结果为一列或两列时，将自动选择推荐的可视化类型。

  • 现在可以创建柱状图可视化可视化每个值在数据集中出现的频率，并了解数据集中的值是聚集在一小部分范围内，还是更分散。

  • 在这两个查询历史而且查询资料，现在可以将查询字符串和失败查询的错误消息展开到全宽。这使得分析查询计划和排除失败的查询变得更容易。

  • 在条、行、区域、饼和热图可视化中，您现在可以直接在可视化配置UI中执行聚合，而不需要修改查询本身。在利用这些新功能时，将对整个数据集执行聚合，而不是局限于前64,000行。在编辑此版本之前创建的可视化时，您将看到一条消息说这可视化使用一个老配置。新可视化支持聚合数据直接在的编辑器。如果希望利用新功能，则必须重新创建可视化。看到在可视化中启用聚合．

2022年2月10日

  • 现在可以了为仪表板设置自定义调色板．该仪表板中出现的所有可视化都将使用指定的调色板。设置自定义面板不会影响可视化在其他仪表板或SQL编辑器中的显示方式。

    您可以为一个调色板指定十六进制值，也可以从另一个调色板导入颜色，无论是由Databricks提供的还是由工作区管理员创建的。

    当调色板应用于仪表板时，该仪表板中显示的所有可视化将默认使用所选的调色板，即使您在创建可视化时配置了自定义颜色。若要重写此行为，请参见自定义可视化的颜色．

  • 工作区管理员现在可以了创建自定义调色板使用SQL管理控制台。创建自定义调色板后，可以在新的和现有的仪表板中使用它。若要为仪表板使用自定义调色板或自定义仪表板，可以编辑仪表板设置。

  • 从SQL中将使用参数的可视化添加到仪表板时垂直的省略菜单，可视化现在默认使用仪表板级参数。属性添加小部件时，这与行为相匹配添加可视化按钮。

  • 当您查看查询历史并根据参数组合筛选列表时，现在将显示匹配查询的数量。

  • 在可视化中，修正了y轴范围无法调整到特定值的问题。

2022年2月3日

  • 选项卡SQL编辑器现在默认为所有用户启用。有关详细信息或禁用选项卡编辑器，请参见编辑多个查询．

2022年1月27日

  • 在如何查看、共享和导入查询的配置文件方面进行了改进。看到查询资料．

  • Details可视化现在允许您像Table可视化一样重命名列。

  • 现在可以通过中键单击SQL编辑器中的一个选项卡来关闭它。

  • 以下键盘快捷键已添加到选项卡SQL编辑器中:

    • 关闭所有标签:Cmd + Shift + +选项(macOS) /Ctrl + Shift + +选项(窗口)

    • 关闭其他选项卡:Cmd +选项+ Shift + W(macOS) /Ctrl + Shift + W +选项(窗口)

    这些键盘快捷键提供了在选项卡上右键单击以访问相同操作的替代方法。要查看所有键盘快捷键，请单击键盘图标选项卡SQL编辑器中的键盘图标。

2022年1月20日

  • 表中整数和浮点数据类型的默认格式已更新为不包括逗号。这意味着默认情况下，像10002343将不再有逗号。若要将这些类型格式化为用逗号显示，请单击可视化编辑，展开列的区域，并将格式修改为包含逗号。

  • 为了更好地与浏览器呈现限制保持一致，可视化现在最多显示10,000个数据点。例如，一个散点图最多显示10,000个点。如果数据点数量已被限制，则会显示警告。

2022年1月13日

  • 我们修复了一个问题保存SQL编辑器中的按钮有时会被禁用。的保存按钮现在总是启用，并且包含星号(＊)当检测到未保存的更改时。

2021年12月15日

  • Databricks SQL is general Available。这标志着为您提供第一个将数据、AI和BI工作负载统一在一个地方的Lakehouse平台的重要里程碑。bob体育客户端下载有了GA，您可以期待Databricks为关键任务工作负载提供最高级的稳定性、支持和企业就绪性。读了GA公告博客了解更BOB低频彩多。

  • 警报现在独立于查询调度。当您创建一个新的警报并创建一个查询时，系统还会提示您为警报创建一个时间表。如果您有一个现有的警报，我们已经复制了原始查询中的时间表。此更改还允许您为两者设置警报以所有者身份运行而且以查看器运行查询。以所有者身份运行查询使用查询所有者的凭据在指定的警报调度上运行。以查看器运行查询使用警报创建者的凭据在指定的警报调度上运行。看到警报而且安排查询．

  • 控件中的参数现在可以重新排序SQL编辑器而在指示板．

  • 关于创建热图可视化的文档已经扩展。看到热图可视化．

2021年12月9日

  • 当你创建表可视化，您现在可以将列的字体颜色设置为静态值或基于列字段值的值范围。文字值与阈值进行比较。例如，对值超过500000，创建阈值>500000，而不是>500000年．看到有条件地格式化列颜色．

  • 现在，选项卡SQL编辑器模式浏览器中的图标允许您区分表和视图。

2021年12月1日

  • 现在您可以在工作区级别应用SQL配置参数。这些参数自动应用于工作区中的所有现有和新的SQL端点。看到SQL配置参数．

2021年11月18日

  • 现在可以使用侧边栏快捷方式打开SQL编辑器。要打开SQL编辑器，单击SQL编辑器．

  • 如果您拥有创建数据科学与工程集群的权限，现在可以通过单击创建SQL端点创建在侧栏中单击SQL端点．

  • 管理员现在可以通过UI将查询、仪表板或警报的所有权转移给不同的用户。看到的:

2021年11月4日

  • 在一个地图(叶绿体)可视化可视化，图例中颜色的最大渐变步骤数从11增加到20。默认为5个渐变步骤，包括最小的颜色而且马克斯的颜色．

  • 选项卡SQL编辑器现在支持批量选项卡管理。如果右键单击一个选项卡，将看到to选项接近别人，关闭了，接近正确,关闭所有．注意，如果右键单击第一个或最后一个选项卡，就不会看到选项关闭了或接近正确．

2021年10月28日

  • 当你在数据资源管理器中查看一个表时，你有两个选项来简化与表的交互:

    • 点击创建>查询创建一个查询，选择所有列并返回前1000行。看到创建一个基本查询．

    • 点击创建>快速仪表盘打开一个配置页面，您可以在其中选择感兴趣的列并创建一个指示板，并支持使用这些列提供一些基本信息的查询，并展示指示板级别的参数和其他功能。看到创建一个快速仪表板．

2021年10月19日

  • 新的快捷键现在可以在选项卡编辑器中使用:

    • 打开新标签:

      • 窗口:Cmd + Alt + T

      • 麦克:Cmd +选项+ T

    • 关闭当前选项卡

      • 窗口:Cmd + Alt + W

      • 麦克:Cmd +选项+ W

    • 打开查询对话框

      • 窗口:Cmd + Alt + O

      • 麦克:Cmd +选项+ O

2021年9月23日

  • 属性，现在可以通过克隆现有的指示板来创建新的指示板可以运行，可以编辑而且可以管理仪表板和所有上游查询的权限。看到克隆一个仪表盘．

  • 您现在可以使用集团通过在具有多个y轴列的可视化中。看到分组．

  • 您现在可以使用{{@@yPercent}}格式化非标准化堆叠柱状图中的数据标签。看到叠加．

  • 如果您使用SAML身份验证，而SAML凭证将在几分钟内过期，那么现在会主动提示您在执行查询或刷新仪表板之前再次登录。这有助于防止由于凭据在查询执行期间过期而造成的中断。

2021年9月20日

2021年9月16日

  • 查询结果中:长整型数字现在，当结果大于9007199254740991时，结果被序列化为字符串。这解决了一个问题长整型数字可以在查询结果中截断结果。其他整数结果仍然序列化为数字。轴标签和工具提示上的数字格式不适用于长整型数字序列化为字符串的结果。有关Databricks SQL中的数据类型的更多信息，请参见长整型数字类型．

2021年9月7日

Databricks将在一周的时间内陆续发布这些变化。在9月7日之前，您的工作空间可能不会启用这些更改。

  • Databricks SQL现在在公共预览中，并对新工作区中的所有用户启用。

    请注意

    如果您的工作空间在公共预览期间启用了Databricks SQL(即在2021年9月7日开始的一周之前)，则用户将保留该日期之前分配的权限，除非您更改它。换句话说，如果用户在公共预览期间没有访问Databricks SQL，那么现在他们将无法访问，除非管理员将其提供给他们。

  • 管理员可以管理哪些用户可以访问Databricks SQLDatabricks SQL访问权利(databricks-sql-access在API中)传递给用户或组。默认情况下，新用户具有此权限。

    管理员可以限制用户或组仅访问Databricks SQL，并阻止他们访问数据科学与工程或Databricks机器学习工作空间的访问权利(workspace-access在API中)来自用户或组。默认情况下，新用户具有此权限。

    重要的

    要登录和访问Databricks，用户必须拥有Databricks SQL访问或工作空间的访问权利(或两者兼有)。

    有关更多信息，请参见授权用户访问Databricks SQL．

  • 一个小经典SQL端点被称为起动器的端点已在所有工作区上预配置，因此您可以立即开始创建仪表板、可视化和查询。要处理更复杂的工作负载，您可以轻松地增加其大小(以减少延迟)或底层集群的数量(以处理更多并发用户)。为了管理成本，启动器端点配置为空闲120分钟后终止。

  • 如果Serverless计算(私有预览)已为您的工作空间启用，您启用了无服务器SQL端点，一个无服务器SQL端点称为无服务器启动器端点自动创建，您可以将其用于仪表板、可视化和查询。无服务器SQL端点启动速度比经典SQL端点快，空闲10分钟后自动终止。

  • 为了帮助您快速启动和运行，我们为管理员和用户提供了新的指导式入门体验。默认情况下，入职面板是可见的，您总是可以在侧栏中看到有多少入职任务。点击任务离开重新打开入职面板。

  • 您可以通过名为Databricks SQL的只读目录中的两个富数据集快速开始使用Databricks SQL样品，所有工作区都可以使用。学习Databricks SQL后，可以使用这些模式创建查询、可视化和仪表板。不需要配置，所有用户都可以访问这些模式。

    • 的nyctaxi模式中包含出租车行程数据旅行表格

    • 的tpch模式包含下表中的零售收入和供应链数据:

      • 客户

      • lineitem

      • 国家

      • 订单

      • 部分

      • partsupp

      • 地区

      • 供应商

    点击运行第一个查询在入职面板中生成新的查询nyctaxi模式。

  • 要了解如何在Databricks SQL中可视化数据而不需要配置，可以从数据库导入仪表板仪表盘样本库．中的数据集为这些仪表板提供动力样品目录。

    要查看“仪表板示例库”，单击导入样例仪表板在入职面板。

  • 属性可以创建和删除本地SQL函数创建函数而且删除函数命令。

2021年9月2日

  • 拥有可以编辑仪表板上的权限现在可以管理仪表板的刷新计划和订阅列表。在此之前,可以管理需要得到许可。有关更多信息，请参见自动刷新仪表板．

  • 现在可以暂时暂停对仪表板订阅者的计划导出，而无需修改计划。以前，您必须删除所有订阅者，禁用调度，然后重新创建。有关更多信息，请参见暂时暂停预定的仪表板更新．

  • 默认情况下，可视化不再根据返回的结果数量动态调整大小，而是无论结果数量如何都保持相同的高度。若要返回前面的行为并配置可视化以动态调整大小，请启用动态调整面板高度在仪表板的可视化设置中。有关更多信息，请参见表视图．

  • 如果在同一个帐户中可以访问多个工作空间，则可以在Databricks SQL中切换工作空间。点击账户的图标在Databricks工作区的左下角，然后选择一个工作区切换到它。

2021年8月30日

  • 无服务器SQL端点为SQL查询提供即时计算、最小管理和成本优化。

    到目前为止，SQL端点的计算都发生在AWS帐户的数据平面中。第一次发布Serverless计算增加了无服务器SQL端点到Databricks SQL，将这些计算资源移动到共享服务中的Databricks云帐户。

    与Databricks SQL查询一起使用无服务器SQL仓库，就像使用位于您自己的AWS帐户中的SQL端点一样经典SQL端点．但与经典SQL端点相比，无服务器SQL仓库通常以较低的延迟开始，更容易管理，并针对成本进行了优化。

    在创建无服务器SQL仓库之前，必须有管理员为您的工作空间启用无服务器SQL端点选项．启用后，默认情况下新的SQL端点是无服务器的，但您可以继续创建无服务器或经典的SQL端点。

    有关无服务器计算架构以及与经典数据平面的比较的详细信息，请参见Serverless计算．有关配置无服务器SQL仓库的详细信息，包括如何将经典SQL端点转换为无服务器，请参阅启用无服务器SQL仓库．

    有关无服务器SQL仓库支持的区域列表，请参见支持Databricks云和区域．

    重要的

    无服务器计算必须遵守帐户所有者或帐户管理员必须接受的适用条款，才能启用该功能。

2021年8月12日

  • 您现在可以向没有与Databricks帐户关联的电子邮件地址发送定时仪表板更新。查看仪表板时，单击计划查看或更新已订阅的电邮地址列表。如果某个电子邮件地址没有与Databricks帐户关联，则必须将其配置为警报目的地。有关更多信息，请参见自动刷新仪表板．

  • 管理员现在可以在另一个用户的查询正在执行时终止该查询。有关更多信息，请参见终止正在执行的查询．

2021年8月5日

  • 改进的解释结果格式

    • 解释结果更容易阅读

    • 格式化为无换行的等宽格式

2021年7月29日

  • 由于查询编辑器中支持多个选项卡，处理多个查询变得更加容易。要使用选项卡编辑器，请参见编辑多个查询．

2021年7月8日

  • 仪表板中的可视化小部件现在具有标题和描述，以便您可以根据仪表板本身定制多个仪表板中使用的可视化的标题和描述。

  • 侧栏已更新，以提高可见性和导航:

    • 仓库现在SQL端点而且历史重命名为查询历史．

    • 帐户设置(以前命名为用户)已迁往SQL帐户图标账户．当你选择账户你可以更改数据库工作空间然后注销。

    • 用户设置已移动到用户设置图标设置并被分割成用户设置而且SQL管理控制台．SQL管理控制台仅对管理员可见。

    • 帮助图标变为帮助图标帮助．

2021年7月1日

  • 新的数据资源管理器允许您轻松地浏览和管理数据库和表的权限。用户可以查看模式详细信息、预览示例数据，并查看表详细信息和属性。管理员可以查看和更改数据对象的所有者，数据对象的所有者可以授予和撤销权限。详细信息请参见使用数据资源管理器发现和管理数据．

  • 水平图表中的y轴已经更新，以反映与表格中的相同的顺序。如果先前选择了反向排序，则可以使用相反的顺序在y轴选项卡上切换以反转新的顺序。

2021年6月23日

  • 现在支持临时视图。

2021年6月17日

  • 光子Databricks的新向量化执行引擎现在默认为新创建的SQL端点(包括UI和REST API)开启。光子透明地加速

    • 写入Parquet和Delta表。

    • 许多SQL查询。看到限制．

  • 轻松管理用户和组创建集团，下降集团，改变集团，显示组,显示用户命令。详细信息请参见安全声明而且显示报表．

  • 查询编辑器模式浏览器在超过100个表的模式上更加快速。在这样的模式上，模式浏览器不会自动加载所有列;表列表仍然照常显示，但列仅在单击表时加载。此更改会影响查询编辑器中的查询自动完成，因为它依赖于此信息来显示建议。在展开表并加载其列之前，这些建议都是不可用的。

2021年6月3日

2021年5月26日

  • SQL Analytics被重命名为Databricks SQL。这一变化对客户的影响如下:

    • web界面中的引用已经更新。

    • 权利授予Databricks SQL的访问权限已重命名为:

      • 用户界面：Databricks SQL访问(以前SQL Analytics访问）

      • SCIM API：databricks-sql-access(以前sql-analytics-access）

      具有先前授权的用户、组和服务主体已迁移到新的授权。

    • 标记为审计日志事件Databricks SQL相关内容:

      • Databricks SQL事件的前缀现在是databrickssql．

      • changeSqlAnalyticsAcl现在是changeDatabricksSqlAcl．

  • 仪表盘更新

    • 仪表板导出文件名已更新为仪表板的名称+时间戳，而不是UUID。

    • 出口记录限制已从2.2万提高到6.4万。

    • 仪表板作者现在能够定期导出和电子邮件仪表板快照。仪表板快照取自默认的仪表板状态，这意味着与可视化的任何交互都不会出现在快照中。

      • 如果您是仪表板的所有者，您可以创建刷新计划并订阅其他用户，他们将在每次刷新仪表板时获得仪表板的电子邮件快照。

      • 如果您拥有仪表板的查看权限，则可以订阅现有的刷新计划。

      看到仪表板快照订阅．

  • 谓词下推表达式(StartsWith，EndsWith，包含，(等于()),数据类型)被AWS Glue Catalog禁用，因为它们不受支持。

2021年5月20日

  • 您现在可以使用AWS KMS中的密钥加密Databricks SQL查询和存储在Databricks中的查询历史。如果您已经为工作区配置了自己的密钥，以加密托管服务(笔记本和秘密)的数据，则不需要进一步操作。管理服务的相同的客户管理密钥现在也加密Databricks SQL查询和查询历史。看到用于托管服务的客户管理密钥．此更改仅影响以休息方式存储的新数据。Databricks在今天之前存储的SQL查询和查询历史不保证使用此密钥加密。

    Databricks SQL查询结果存储在工作空间设置期间提供的根S3桶中，它们不会被托管服务密钥加密。但是，您可以使用自己的密钥对它们进行加密。看到用于工作空间存储的客户管理密钥．

    方法提供了此特性企业定价方案．

  • 的过去的执行TAB现在显示相对时间。

2021年5月13日

  • Databricks SQL不再尝试猜测列类型。以前，一列用的格式xxxx-yy-dd自动被视为日期，即使它是一个识别代码。现在，该列不再自动被视为日期。如果需要，则必须在查询中指定。此更改可能会导致依赖于先前行为的一些可视化不再工作。在这个版本中，您可以进行更改用户设置图标>设置>向后兼容性选项，返回上一个行为。在未来的版本中，我们将删除该功能。

  • 查询编辑器现在有一个查询进度指示器。状态变化现在在不断更新的进度条中可见。

    进度条

2021年5月6日

  • 现在可以以PDF格式下载仪表板的内容。看到下载为PDF格式．

  • 管理员用户现在拥有对所有查询和仪表板的视图访问权。在这个视图中，管理员可以查看和删除任何查询或仪表板。但是，如果查询或仪表板没有与管理员共享，管理员就不能编辑它。看到查询管理员视图而且仪表板管理视图．

  • 增加端点并发性的能力多集群负载均衡现在可用于所有帐户。您可以创建在指定的最小和最大集群数之间自动伸缩的端点。重载的端点会向上扩展，而负载不足的端点会向下扩展。

2021年4月29日

2021年4月22日

  • 修正了由于内部错误导致端点无法访问并被删除的问题。

2021年4月16日

Databricks SQL保持与Apache Spark SQL语义的兼容性。此版本更新了语义，以匹配Apache Spark 3.1的语义。之前Databricks SQL与Apache Spark 3.0语义一致。

  • 统计聚合函数，包括性病，stddev，stddev_samp，方差，var_samp，偏态，峰度，covar_samp,相关系数,还零而不是翻倍。南当DivideByZero发生在表达式求值期间，例如stddev_samp应用于单个元素集。在此版本之前，它将返回翻倍。南．

  • grouping_id ()返回长值。在此版本之前，该函数返回int值。

  • 查询计划解释结果现在已格式化。

  • from_unixtime，unix_timestamp，to_unix_timestamp，to_timestamp,to_date如果指定的日期时间模式无效，将失败。在这次发布之前，他们又回来了零．

  • Parquet、ORC、Avro和JSON数据源会抛出异常org.apache.spark.sql.AnalysisException: "如果在顶层列和嵌套结构中检测到重复的名称，则在read中发现数据模式中的重复列。"

  • 结构和映射由{}将括号转换为字符串。例如，显示()行动与投表达式使用这样的括号。在此发布之前，的dbrackets were used for the same purpose.

  • 结构、数组和映射的NULL元素在转换为字符串时会转换为“NULL”。在此发布之前，零元素被转换为空字符串。

  • 十进制类型列溢出的和返回null。在此版本之前，在这种情况下，十进制类型列的和可能返回null或不正确的结果，甚至在运行时失败(取决于实际的查询计划执行)。

  • IllegalArgumentException为不完整的间隔字面值返回，例如，时间间隔' 1 '，时间间隔' 1一天2》，无效。在此版本之前，这些文字的结果是null。

  • 如果时间戳在Parquet文件之前，则从Parquet文件加载和保存时间戳失败1900-01-0100:00:00Z加载(保存)为INT96类型。在此版本之前，这些操作不会失败，但可能会导致输入时间戳的移动，因为要从/到儒略历改为/从预期格里高利历。

  • 的schema_of_json而且schema_of_csv函数返回字段名加引号的SQL格式的模式。在此版本之前，该函数返回一个不带引号且小写的目录字符串。

  • 字符，字符,VARCHAR表模式支持类型。表扫描和插入尊重char/varchar语义。如果在表模式以外的地方使用了char/varchar，则抛出一个异常(CAST是一个像以前一样简单地将char/varchar视为字符串的异常)。

  • 对于Hive外部目录中的表抛出以下异常:

    • 改变表格．．添加分区抛出PartitionsAlreadyExistException如果新分区已经存在。

    • 改变表格．．下降分区抛出NoSuchPartitionsException对于不存在的分区。

2021年4月13日

  • 通过SQL端点排队提高查询吞吐量。当SQL端点已经被运行的查询饱和时，提交给该SQL端点的查询将进入队列。这样就不会用请求重载端点，从而提高了查询吞吐量。中查看改进后的性能终端监控画面．

2021年4月1日

  • 在“查询历史记录”中快速查找用于编译、执行和获取查询结果的时间。看到查询资料．以前，此信息只能通过单击查询并打开Execution Details选项卡来获得。

  • SQL端点不再扩展到超过最大指定集群。分配给SQL端点的所有集群都在24小时后被回收，这可以创建一个简短的窗口，其中有一个额外的集群。

2021年3月18日

  • 查询编辑器中的自动完成现在支持Databricks SQL语法，并且支持上下文和别名。看到构造查询．

  • 在服务器上的会话超时后，JDBC和ODBC请求不再因无效会话错误而失败。BI客户端现在能够在会话超时发生时无缝恢复。

2021年3月11日

  • 新启用Databricks SQL的工作空间中的管理员和用户不再自动访问Databricks SQL。要访问Databricks SQL，管理员必须:

    1. 去管理控制台．

    2. 单击用户选项卡。

    3. 在其帐户行中，单击Databricks SQL访问复选框。

    4. 点击确认．

    5. 重复步骤3和4授予用户对Databricks SQL的访问权限，或按照授予组对Databricks SQL的访问权限授予组的访问权限。

  • 通过选择，轻松创建查询、仪表板和警报新图标新增>[查询|仪表盘|告警]在侧边栏的顶部。

  • 查询编辑器现在保存草稿，您可以恢复到已保存的查询。看到恢复到已保存的查询．

  • 您不能再创建外部数据源。

  • SQL端点的可靠性监控图表得到了改进。图表不再间歇性地显示虚假的错误消息。

2021年3月4日

  • 查询、仪表板和警报API文档现已可用。看到查询，仪表板和警报API 2.0．

  • 现在总是执行预定的仪表板刷新。刷新是在web应用程序中执行的，因此您不再需要在浏览器中保持仪表板打开。看到自动刷新仪表板．

  • 属性创建的新SQL端点SQL仓库API现在有自动停止启用默认超时两小时。

  • 在线用户现在可以连接到SQL端点。看到新的在线Tableau快速入门．

  • SQL端点不再因为单个可用分区中的AWS资源不足而无法启动。

2021年2月26日

用于Azure Databricks的新的Power BI连接器于2020年9月在公开预览中发布，现在已正式发布。它提供了:

  • 简单的连接配置:新的Power BI Databricks连接器集成到Power BI中，只需单击几下，就可以使用一个简单的对话框进行配置。

  • 更快的导入和优化的元数据调用，这要归功于新的Databricks ODBC驱动程序，它带来了显著的性能改进。

  • 通过Power BI访问Databricks数据尊重Databricks表访问控制．

有关更多信息，请参见连接电源BI．

2021年2月25日

  • 在SQL端点上设置权限现在更快了。这是创建新SQL端点之后的一个步骤，在编辑现有端点时很容易访问。看到创建SQL仓库而且SQL仓库访问控制．

  • 要重用可视化设置，您现在可以复制一个可视化。看到克隆一个可视化．

  • 查询结果现在存储在您的帐户，而不是Databricks帐户。

  • 通过列出对象上定义的所有权限来防止信息泄漏，运行显示奖助金(用户> <)<对象>你必须是:

    • Databricks SQL管理员或数据库所有者<对象>．

    • 中指定的用户(用户> <)．

2021年1月7日

  • 减少在闲置的端点，新的SQL端点现在启用了自动停止，默认超时为两个小时。到达超时后，终止端点。您可以随时编辑超时时间或禁用“自动停止”。

  • 除了文本类型查询参数时，查询参数不再添加引号。如果你用过下拉列表，查询基于下拉列表，或任何日期键入查询参数时，必须添加引号，以便查询能够工作。例如，如果您的查询是选择{{d}}，现在这个查询必须是选择”{{d}}’．

2020年11月18日

Databricks很高兴介绍Databricks SQL的公共预览版，这是一个运行特别查询和在存储在数据湖中的数据上创建仪表板的直观环境。Databricks SQL使您的组织能够操作多云lakehouse架构这为数据仓库提供了数据湖经济学的性能。砖SQL:

  • 集成您今天使用的BI工具，如Tableau和Microsoft Power BI，以查询您的数据湖中最完整和最新的数据。

  • 通过sql本地接口补充现有的BI工具，允许数据分析师和数据科学家直接在Databricks中查询数据湖数据。

  • 使您能够通过丰富的可视化和拖放仪表板共享查询见解，并对重要数据更改自动发出警报。

  • 使用配置SQL仓库为您的数据湖带来可靠性、质量、规模、安全性和性能，使您可以使用最新和完整的数据运行传统的分析工作负载。

  • 介绍了使用特权，以简化数据访问管理。为了在模式中使用对象，除了执行操作所需的任何特权外，还必须授予该模式上的USAGE特权。的使用特权可以授予模式或目录。对于已经使用表访问控制的工作区，使用使用特权自动授予根用户组目录．看到Databricks SQL数据访问控制获取详细信息。

看到什么是Databricks SQL?获取详细信息。请与Databricks代表联系以请求访问。

固定的问题

  • SQL编辑器。在查询选项卡之间切换时，SQL编辑器现在将保留所选文本和滚动位置。

  • SQL编辑器。如果您在SQL编辑器中单击查询上的“运行”，然后导航到另一个页面并在查询仍在执行时返回，编辑器将显示正确的查询状态。如果查询在另一个页面上完成，则返回SQL编辑器页面时将显示查询结果。

  • 您现在可以使用MySQL 8.0作为外部metastore。

  • 描述细节Delta表上的命令不再失败java.lang.ClassCastException:java.sql.Timestamp不能是投来java.time.Instant。

  • 读取Parquet文件INT96时间戳不再失效。

  • 当用户有可以运行如果查询是由另一个用户创建的，查询历史记录将显示查询的运行者为该用户。

  • 空值现在在呈现图表时被忽略，提高了图表的可用性。例如，以前，柱状图中的柱状图在出现空值时看起来非常小。现在坐标轴只基于非空值设置。

已知的问题

  • 在多集群负载平衡SQL端点中，从Delta Lake以外的数据源读取可能不一致。

  • Databricks SQL中访问的Delta表将其模式和表属性上传到配置的metastore。如果您正在使用外部亚矿，您将能够在亚矿中看到Delta Lake信息。三角洲湖试图保持这些信息的最新，尽可能在最好的努力的基础上。你也可以使用描述<表>命令以确保在metastore中更新信息。

  • Databricks SQL不支持像“GMT+8”这样的区域偏移量作为会话时区。解决方法是使用基于区域的时区https://en.wikipedia.org/wiki/List_of_tz_database_time_zones)，比如“Etc/GMT+8”。看到设置时区有关设置时区的详细信息。

常见问题(FAQ)

如何收取Databricks SQL工作负载?

Databricks SQL工作负载根据SQL计算SKU．

SQL端点运行在哪里?

像Databricks集群一样，经典SQL端点在您的AWS帐户中创建和管理。经典SQL端点在您的帐户中自动管理sql优化的集群，并根据最终用户的需求进行扩展。

无服务器SQL端点(公开预览版)使用Databricks云帐户中的计算资源。无服务器SQL仓库简化了SQL端点的配置和使用，并加快了启动时间。无服务器选项只有在已被禁用的情况下才可用为工作区启用．有关更多信息，请参见Serverless计算．

我可以使用数据科学与工程工作区SQL笔记本中的SQL端点吗?

不。您可以使用Databricks SQL中的SQL端点查询，BI工具，及其他JDBC和ODBC客户端．

我已被授予使用云提供商凭据访问数据的权限。为什么我不能在Databricks SQL中访问这些数据?

在Databricks SQL中，对数据的所有访问都服从于数据访问控制，管理员或数据所有者必须首先授予您适当的权限特权．