Unity目录是什么

元存储器

元存储器是Unity目录中顶级对象容器存储数据资产元数据(表视图)和访问权限Databricks账号管理员应为其运营的每个区域创建一个元存储器并分配到同一区域Databricks工作空间工作空间使用UnityCatalog时,必配有UnityCatalog元库

每一个元商店配置管理存储位置 谷歌云帐户中GCS桶看吧托管存储器.

看吧创建Unity目录元件.

托管存储器

账户管理员创建元存储器时,必须将Google云账户中GCS桶中的存储点相联使用管理存储器.UnityCatalog还允许用户将受控存储点与目录和模式关联

托管存储有下列属性:

• 托管表和管理批量存储数据 和元文件管理存储

• 托管存储程序无法与外部表、外部容量或其他托管存储程序重叠

下表描述管理存储方式申报并关联UnityCatalog对象

管理存储位置用于存储数据和元数据管理表和管理量使用下列规则:

• 内装模式拥有受控位置时,数据存储在受控位置

• 内装模式没有受控位置但目录有受控位置时,数据存储在目录受控位置

• 内存模式或内存目录都没有受控位置时,数据存储于元站管理位置

存储证书和外部定位

管理下云存储外部表、外部容量和管理存储时 Unity目录介绍下列对象类型:

• 存储证书封装长云证书提供云存储举例说,服务帐户可访问GCS桶

• 外部位置内含存储证书路径和云存储路径引用

看吧管理外部位置和存储证书.

类集

目录是Unity目录三大级命名空间的第一层用来组织数据资产用户可以看到所有目录使用CATALOG数据权限.

所有用户都拥有使用CATALOG权限发布主控目录整理上头主控目录面向刚开始使用Unity目录的组织添加用户和数据时,应添加目录以维护数据层次结构,从而有效控制访问

看吧创建并管理目录.

轮廓图

schema(也称数据库)为UnityCatalog三级命名空间第二层系统整理表和视图用户可查看所有模式分配使用雪马市权限并发使用CATALOGschema父目录许可访问或列表图案中表或视图时,用户也必须有安全选择权限表或视图

看吧创建并管理smetas.

卷积

卷存于UnityCatalog三级命名空间第三层音量是表表、视图和其他对象的兄弟姐妹,按UnityCatalog模式组织

卷中包含目录和文件存储于任何格式卷提供非表访问数据,意指卷文件无法注册为表

• 创建卷量用户必有环境变换VOLUME系统并使用雪马市权限模式, 并必须拥有使用CATALOG权限父目录

• 读文件目录存储卷内时,用户必须拥有读取VOLUME系统权限,使用雪马市权限自父机程使用CATALOG权限父目录

• 要添加、删除或修改卷内存储的文件和目录,用户必须拥有写作VOLUME系统权限,使用雪马市权限自父机程使用CATALOG权限父目录

音量可以是管理式或外部.

表单

表格居于UnityCatalog三级命名空间第三层内含数列数据创建表时用户必有环境变换并使用雪马市权限模式, 并必须拥有使用CATALOG权限父目录查询表时用户必须拥有安全选择权限表,使用雪马市权限自父机程使用CATALOG权限父目录

可选表管理式或外部.

视图

视图指从元站内一个或多个表视图创建的单读对象居于UnityCatalog第三层三级命名空间.可从表和其他视图创建视图多式编程和目录可创建动态视图启动行和列权限

看吧创建动态视图.

模型类

模型建在UnityCatalog三级命名空间第三层上下文中,模型指机学习模型注册MLFl模式寄存器.创建Unity目录模型时用户必须拥有环境变换MODEL特权目录或模式用户也必须拥有使用CATALOG父目录特权使用雪马市上父机

特殊考量分组

工作空间中已存在的分组贴上标签工作空间局部帐户控制台工作空间局部分组无法用于Unity目录定义访问策略您必须使用账号级分组工作空间局部组在命令中引用时,该命令返回未发现组的错误先前使用工作空间局部组管理笔记本和其他人工制品存取时,这些权限继续有效

看吧管理分组.

通用限制

• scala、R和用Databricks运行机器学习时间支持集群使用单用户访问模式工作载量不支持行级或列级安全使用动态视图

• Databricks运行时间13.1及以上支持浅克隆从现有的UnityCatalog管理表创建UnityCatalog管理表Databricks运行时间13.0和13.0均不支持UnityCatalog浅克隆看吧浅克隆Unity目录管理表.

• 贪心表不支持 UnityCatalog表运行命令试图创建Unity目录表时,它会破例

• 多区工作空间写同道或三角湖表可能导致不可靠性能,如果某些集群访问UnityCatalog

• 自定义分区程序使用命令类远洋表单ADD系统构件Unity目录表不支持UnityCatalog访问表使用目录式分区

• DataFrame编译运算UnityCatalog模式只支持Delta表,不支持其他文件格式用户必须拥有环境变换特权父机并必须是现有对象的拥有者或拥有对象模范特权对象

• spark上传作业支持单用户存取,但不共享集群看吧集群存取模式是什么.

• Databricks运行时间13.1和13.1和13.1中,你无法使用PythonUDFs,包括UDAFs、UDTFs和spandasspark应用Pandas并mapInPandas地图)databricks运行时13.2和以上,ythonUDFs支持

• 前工作空间组(即工作空间级组)无法用于UnityCatalogGrant以确保对跨工作空间分组的一致视图grant语句使用群集,创建帐户级群集并更新主机或群管理自动化程序(如SCIM、Okta和AAD连接器和Terraform)转参考帐户端点而非工作空间端点看吧账户组和工作空间局部组之间的差异.

• 标准scala线程池不支持反之,使用特殊线程池org.apache.spark.util.ThreadUtils举个例子org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool.下线程池线程UTLS不支持 :ThreadUtils.newForkJoinPool和任何ScheduledExecutorService线程池

Unity目录中所有对象名均适用下列限制:

• 对象名称不得超过255个字符

• 禁止下列特殊字符:

  • 周期性.)

  • 空间类)

  • 向前斜线/)

• ASCII控件字符

• Delete字符 (7Fhx)

• UnityCatalog存储所有对象名小写

• sql中引用UC名称时,必须使用回溯式解密以跳出名中包含词像连字符等特殊字符(betphens)-)

结构流支持

Unity目录表结构流支持(管理或外部)取决于运行中的Databricks Runtime版本以及使用共享或单用户访问模式

共享集群支持需要Databricks Runtime12.2LTS

• ython专用

• Apache连续处理模式不支持看吧连续处理Spark结构流编程指南

• applyInPandasWithState不支持 。

• socket源码工作不支持

• StreamingQueryListener无法使用证书或与Unity目录管理对象交互

• 上头sourceArchiveDir使用时必须和源相同外部位置option("cleanSource",档案化Unity目录管理数据源

• kafka源码和汇码选择不支持

  • kafka.sasl.client.callback.handler.class

  • kafka.sasl.login.callback.handler.class

  • kafka.sasl.login.class

  • kafka.partition.assignment.strategy

• Kafka选项在Databricks运行时间13.0中支持,但在Databricks运行时间12.2LTS中不支持只能指定Unity目录管理外部位置

  • kafka.ssl.truststore.location

  • kafka.ssl.keystore.location

单用户存取支持可见数据列车运行时间11.3LTS以上,限制如下:

• Apache连续处理模式不支持看吧连续处理Spark结构流编程指南

• StreamingQueryListener无法使用证书或与Unity目录管理对象交互

• 异步检查站不支持Databricks运行时间11.3LTS数据库运行时间12.0和12.0以上支持

并见Unity编程结构化流.