同步

适用于:检查标记是的砖的SQL检查标记是的砖运行时

的同步命令用于升级外部表在蜂巢Metastore外部表统一目录。您可以使用它来创建新表统一目录从现有的蜂巢Metastore表以及时更新统一编目表的源表在蜂巢Metastore改变。

的同步命令可以在模式级别使用运行同步模式语法或一个单独的表使用同步表语法。

语法

同步{模式target_schema从source_schema|表target_table从source_table}(集老板主要](干运行]

参数

  • 模式

    同步一个模式中的所有表。

    • target_schema

      现有的模式在用户授权统一目录中创建表。

    • source_schema

      现有的模式中hive_metastore目录,属于用户。

  • 表

    同步一个单独的表。

    • target_table

      一个新的或现有的表内统一编目模式的用户授权创建表。如果表已经存在是替换匹配source_table,用户还必须自己的桌子上。如果表不存在,它将被创建。

    • source_table

      现有的表hive_metastore用户拥有。

  • 主要

    可选设置升级表统一目录的所有者主要。默认的所有者是当前用户。

  • 干运行

    检查是否指定source_table或表内source_schema可以升级不创建或升级目标表。这个命令返回DRY_RUN_SUCCESS如果一个表可以升级。

返回

使用以下报告列:

  • source_schema字符串

    源模式的名称。模式零如果源是一个不受支持的临时视图。

  • source_name字符串不零

    源表的名称。

  • source_type字符串不零

    表的类型:管理或外部

  • target_catalog字符串不零

    目标目录在统一编目表同步。

  • target_schema字符串不零

    目标模式在统一编目表同步。

  • target_name字符串不零

    表的名称统一目录中的源表的同步。这个名字匹配源表名称。

  • status_code字符串不零

    状态码的结果同步源表的命令。

  • 描述字符串

    一个描述性的信息同步命令源表的状态。

常见的返回的状态码同步

的同步命令提供了一个独特的status_code输出为每个表中的字段升级到统一目录代表升级的状态。一些常见的状态代码的建议来解决这些问题:

  • DRY_RUN_SUCCESS:干运行成功。

    表可以升级到统一目录使用同步命令。

  • DBFS_ROOT_LOCATION:表位于砖文件系统的根。

    表位于砖文件系统根目录的位置。这个不支持统一目录。复制表数据统一目录位置使用创建表命令深克隆选择。

  • EXTERNAL_TABLE_IN_MANAGED_LOCATION:外部表路径不能在管理存储。

    外部表给出的路径是在统一目录管理存储。如果表需要在管理存储,更新表如表使用管理创建表命令深克隆选择或移动桌子位置统一目录管理存储。

  • HIVE_SERDE:表没有资格从蜂巢Metastore升级到统一目录。原因:蜂巢SerDe表。

    蜂巢SerDe表不支持统一目录。改变表成三角洲格式和问题同步命令来升级。

  • INVALID_DATASOURCE_FORMAT:未指定数据源格式或不支持。

    使用一个支持的数据源格式:三角洲、拼花、CSV、JSON、兽人、文本

  • LOCATION_OVERLAP与其他外部表:输入路径重叠。

    表的位置重叠与其他外部表。使用一个不同的位置或删除表的重叠的外部表。

  • MULTIPLE_EXT_LOCATIONS:输入路径包含其他外部位置。

    有超过一个外部位置提供表的子目录的路径。检查表内的外部位置的位置是必要的。

  • MULTIPLE_TARGET_TABLE:不同的同步表已经存在。每个源表只有一个目标表是被允许的。

    源表已经同步到一个不同的目标表之前,是不允许的。强迫同步到一个不同的表,删除该表属性upgraded_to从源表或删除以前同步表从统一目录,如果不需要了。

  • NOT_EXTERNAL:表没有资格从蜂巢Metastore升级到统一目录。原因:不是一个外部表。

    同步命令只支持外部表迁移到统一目录。管理表,创建一个目录表中统一使用管理创建表命令深克隆选择。

  • READ_ONLY_CATALOG在三角洲:数据共享目录是只读的,不能修改或删除。

    所选目录三角洲共享目录是只读的。表在一个只读目录更新后无法使用同步命令。

  • 成功:表成功同步。

  • TABLE_ALREADY_EXISTS:目标表已经存在。

    表具有相同名称的选择表中已经存在统一目录。重命名或删除现有表的统一目录和重新运行同步命令。

  • TEMP_TABLE_NOT_SUPPORTED不支持:临时表或视图。

    临时表或视图不能升级到统一目录。使用临时表或视图,创建统一目录使用显示创建表命令统一目录。

  • 超时:同步任务超时。

    同步命令任务花费了超过300秒完成。增加spark.databricks.sync.command.task.timeout在几秒钟内更高的价值。默认值是300。如果错误仍然存在联系的支持。

  • VIEWS_NOT_SUPPORTED:不支持的观点。

    使用手动创建视图显示创建表命令统一目录。

例子

- - - - - -同步一个现有的蜂巢metastore表hive_metastore。默认的。my_tbl- - - - - -来一个团结目录表命名主要。默认的。my_tbl>同步表主要。默认的。my_tbl从hive_metastore。默认的。my_tbl;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -默认的my_tbl外部主要默认的my_tbl成功表主要。默认的。my_tbl同步。- - - - - -同步一个表在干运行模式来评估的可升级性的的蜂巢metastore表。>同步表主要。默认的。my_tbl从hive_metastore。默认的。my_tbl干运行;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -默认的my_tbl外部主要默认的my_tblDRY_RUN_SUCCESS- - - - - -同步所有的符合条件的表在模式hive_metastore。mydb来一个团结目录模式主要。my_db_uc。- - - - - -的升级表在主要。my_db_uc将是拥有通过阿尔夫@melmak。等>同步模式主要。my_db_uc从hive_metastore。my_db集老板”阿尔夫@melmak。等”;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -…- - - - - -干运行模式的同步模式来评估所有的表在一个模式- - - - - -hive_metastore。mydb为升级来团结目录。>同步模式主要。my_db_uc从hive_metastore。my_db干运行;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -…