统一目录GA版本

2022年8月25日,

统一目录现在通常用于砖。

本文描述了统一目录之日起它的通用版本。它主要关注的特性和更新添加到统一目录自公共预览。当前信息统一目录,看看联合目录是什么?。指出描述更新发布统一目录GA以来,看到的砖平台发布说明bob体育客户端下载和砖的运行时版本说明。

Metastore限制和资源配额

2022年8月25日

你的砖账户只能有一个metastore /地区
一个metastore可以有1000目录。
一个目录可以有多达10000的模式。
一个模式可以有多达10000表。

当前统一目录配额,明白了资源配额。

在GA支持存储格式

截至2022年8月25日:

所有管理统一编目表存储数据与三角洲湖
外部统一编目表和外部位置支持三角洲湖、JSON、CSV、Avro,拼花,兽人和文本数据。

当前目录支持表统一格式,请参阅支持数据文件格式。

从账户控制台管理统一编目资源

使用砖帐户的控制台界面:

管理metastore生命周期(创建、更新、删除和查看统一Catalog-managed metastores)
分配和删除metastores工作区

支持集群类型和砖的运行时版本

统一目录需要砖运行的集群运行时11.1或以上。统一目录默认支持在所有SQL仓库计算的版本。

砖的早期版本中运行时支持的预览版本统一目录。集群上运行的早期版本的砖运行时不提供支持所有统一目录GA的特性和功能。

统一目录要求的访问模式,当你创建一个新的集群:

共享
- 语言:SQL或Python
- 一个安全的集群可以由多个用户共享。集群用户完全隔离,这样他们不能看到对方的数据和凭证。
单用户
- 语言:SQL, Scala, Python, R
- 安全的集群,可以使用专门的单用户指定。

关于集群访问模式的更多信息,请参阅创建集群和SQL仓库统一目录访问。

信息统一编目功能后砖运行时版本的更新,看到发布说明对于那些版本。

系统表

information_schema完全支持统一编目数据资产。每个metastore包含一个目录称为系统包括metastore范围information_schema。看到信息模式。您可以使用information_schema回答问题如下:

“每个目录计算表的数量”

             选择table_catalog,数(table_name)从系统。information_schema。表集团通过1订单通过2DESC
            

“给我所有的表已经改变在过去24小时内“

             选择table_name,table_owner,created_by,last_altered,last_altered_by,table_catalog从系统。information_schema。表在哪里datediff(现在(),last_altered)<1
            

结构化流媒体支持

现在支持结构化流负载与统一目录。和限制的详细信息,请参见限制。

另请参阅使用统一的目录和结构化流。

SQL函数

用户定义的SQL函数现在完全支持统一目录。信息如何创建和使用SQL udf,明白了创建函数。

SQL语法对于外部位置统一目录

标准数据定义和数据定义语言命令现在支持在火花SQL外部位置,包括以下:

             创建|下降|改变|描述|显示外部位置
            

你也可以管理和查看权限格兰特,撤销,显示对于外部位置使用SQL。看到外部位置。

示例语法:

             创建外部URL位置< your_location_name >的< your_location_path >与< your_credential_name >(凭证);格兰特READ_FILE外部位置< your_location_name > <集团>;
            

统一目录在遗传算法的局限性

2022年8月25日,统一目录有以下的局限性。目前的局限性,看到限制。

Scala、R和工作负载集群上使用机器学习支持运行时只使用单用户访问模式。工作负载在这些语言不支持使用行级或列级安全的动态视图。
浅克隆不支持在使用统一目录复制的源或目标。
用桶装不支持统一目录表。如果你运行命令,试图创建一个桶表统一目录,它会抛出一个异常。
写入相同的路径或三角洲湖表工作区在多个区域可以导致不可靠的性能,如果一些集群访问目录和其他不统一。
覆盖模式DataFrame写操作为三角洲只支持统一目录表,不为其他文件格式。用户必须有创建在家长模式和特权必须现有对象的所有者。
流媒体目前有以下限制:
- 它不支持集群使用共享访问模式。对于流媒体工作负载,必须使用单用户访问模式。
- 不支持异步检查点。
- 砖上运行时版本11.2及以下,流媒体查询,最后超过30天通用或工作集群将抛出一个异常。对于长期运行流查询,配置工作自动重试或者使用砖运行时11.3及以上。
从三角洲住表引用统一编目表管道目前不支持。
组以前在工作区中创建不能用于统一目录GRANT语句。这是确保一致的视图的团体可以跨工作区。使用GRANT语句组,创建你的组帐户的本金或组管理控制台和更新任何自动化(如SCIM, Okta和AAD连接器,起程拓殖)端点引用账户而不是工作区端点。

统一目录要求E2版本的砖平台bob体育客户端下载。所有新砖账户和大多数现有账户的E2。如果你不确定该帐户类型,请联系您的砖的代表。

在GA统一目录可用性区域

2022年8月25日,联合目录是可在以下地区。目前支持区域的列表,请参阅砖云层和地区。