使用AWS胶水数据目录作为一个亚矿

需求

• 在部署Databricks的AWS帐户和包含Glue Data Catalog的AWS帐户中，您必须具有AWS管理员访问IAM角色和策略的权限。

• 如果胶水数据目录位于与Databricks部署位置不同的AWS帐户中，则a跨帐户访问策略必须允许从部署Databricks的AWS帐户访问目录。请注意，我们只支持使用Glue的资源策略授予跨帐户访问。

• 内置模式需要Databricks Runtime 8.4或以上版本，或Databricks Runtime 7.3 LTS。

将Glue Data Catalog配置为metastore

要启用Glue Catalog集成，请设置火花配置spark.databricks.hive.metastore.glueCatalog.enabled真正的．缺省情况下，该配置是禁用的。也就是说，默认是使用Databricks托管的Hive metastore，或者如果配置了其他外部metastore。

对于交互式或作业集群，请在集群配置中设置配置之前集群启动。

运行时spark-submit作业中设置此配置选项spark-submit参数使用——设计spark.databricks.hive.metastore.glueCatalog.enabled = true或者在代码中设置之前创建SparkSession或SparkContext．例如:

从pyspark.sql进口SparkSession#直接在这里设置Glue conf，而不是使用spark-submit中的——conf选项火花＝SparkSession．构建器．＼浏览器名称（“ExamplePySparkSubmitTask”）．＼配置（“spark.databricks.hive.metastore.glueCatalog.enabled”，“真正的”）．＼enableHiveSupport（）．＼getOrCreate（）打印（火花．sparkContext．getConf（）．得到（“spark.databricks.hive.metastore.glueCatalog.enabled”）)火花．sql（“显示数据库”）．显示（）火花．停止（）

如何配置Glue Catalog访问取决于Databricks和Glue Catalog是在同一个AWS帐户和区域中，还是在不同的帐户中，还是在不同的区域中。在本文的其余部分中，请按照适当的步骤进行操作:

• 相同的AWS帐户和区域:遵循步骤1，然后步骤3-5。

• Cross-account:执行步骤1-6。

• 区域:执行步骤1，然后步骤3-6。

步骤1:创建一个实例概要文件以访问Glue Data Catalog

1. 在AWS控制台中，进入IAM服务。

2. 单击侧边栏中的Roles选项卡。

3. 点击创建角色．

   1. 在“选择受信任实体类型”下，选择AWS服务．

   2. 单击EC2服务。

   3. 在“选择您的用例”下，单击EC2．

      

   4. 点击下一个:权限并点击下一个:审查．

   5. 在角色名字段中，键入角色名。

   6. 点击创建角色．将显示角色列表。

4. 在角色列表中，单击角色。

5. 向Glue Catalog添加内联策略。

   1. 在“权限”页签中，单击．

   2. 单击JSON选项卡。

   3. 将此策略复制并粘贴到选项卡中。

      ｛“版本”：“2012-10-17”，“声明”：［｛“席德”：“GrantCatalogAccessToGlue”，“效应”：“允许”，“行动”：［“胶:BatchCreatePartition”，“胶:BatchDeletePartition”，“胶:BatchGetPartition”，“胶:CreateDatabase”，“胶:不知道”，“胶:CreateUserDefinedFunction”，“胶:DeleteDatabase”，“胶:DeletePartition”，“胶:DeleteTable”，“胶:DeleteUserDefinedFunction”，“胶:GetDatabase”，“胶:getdatabase”，“胶:GetPartition”，“胶:GetPartitions”，“胶:可以获得的”，“胶:可以获得的”，“胶:GetUserDefinedFunction”，“胶:GetUserDefinedFunctions”，“胶:UpdateDatabase”，“胶:UpdatePartition”，“胶:UpdateTable”，“胶:UpdateUserDefinedFunction”),“资源”：［“*”］｝］｝

有关允许的资源(目录、数据库、表、userDefinedFunction)的细粒度配置，请参见指定AWS胶水资源arn．

如果上述策略中的允许操作列表不够，请与Databricks代表联系并提供错误信息。最简单的解决方法是使用一个策略，让Glue完全访问:

｛“版本”：“2012-10-17”，“声明”：［｛“席德”：“GrantFullAccessToGlue”，“效应”：“允许”，“行动”：［“胶:*”),“资源”：“*”｝］｝

步骤2:为目标Glue Catalog创建策略

只有在目标Glue Catalog中才执行此步骤一个不同的AWS帐户而不是用于Databricks部署的。

1. 登录目标Glue Catalog的AWS帐户，并转到Glue控制台。

2. 在“设置”中，将以下策略粘贴到“权限”框。集< aws-account-id-databricks >，< iam-role-for-glue-access >从第一步开始，< aws-region-target-glue-catalog >，< aws-account-id-target-glue-catalog >相应地,。

   ｛“版本”：“2012-10-17”，“声明”：［｛“席德”：“许可”，“效应”：“允许”，“校长”：｛“AWS”：“攻击:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”}，“行动”：［“胶:BatchCreatePartition”，“胶:BatchDeletePartition”，“胶:BatchGetPartition”，“胶:CreateDatabase”，“胶:不知道”，“胶:CreateUserDefinedFunction”，“胶:DeleteDatabase”，“胶:DeletePartition”，“胶:DeleteTable”，“胶:DeleteUserDefinedFunction”，“胶:GetDatabase”，“胶:getdatabase”，“胶:GetPartition”，“胶:GetPartitions”，“胶:可以获得的”，“胶:可以获得的”，“胶:GetUserDefinedFunction”，“胶:GetUserDefinedFunctions”，“胶:UpdateDatabase”，“胶:UpdatePartition”，“胶:UpdateTable”，“胶:UpdateUserDefinedFunction”),“资源”：“攻击:aws:胶:< aws-region-target-glue-catalog >: < aws-account-id-target-glue-catalog >: *”｝］｝

步骤3:查找用于创建Databricks部署的IAM角色

此IAM角色是您在设置Databricks帐户时使用的角色。

上的帐户，下面的步骤不同E2版平台bob体育客户端下载所有新的Databricks帐户和大多数现有帐户现在都是E2。bob体育客户端下载如果您不确定您拥有哪种帐户类型，请与Databricks代表联系。

如果你在E2帐户：

1. 以帐户所有者或admin帐户登录账户控制台．

2. 去工作区然后单击您的工作区名称。

3. 在凭证时，请注意角色ARN末尾的角色名称。

   例如，在角色ARN中攻击:aws:我::123456789123:/ finance-prod角色其中，financial -prod为角色名。

如果您不是E2帐户:

1. 以帐户所有者登录账户控制台．

2. 单击AWS帐户选项卡。

3. 请注意role ARN末尾的角色名称testco-role．

   

步骤4:将Glue Catalog实例概要文件添加到EC2策略

1. 在AWS控制台中，进入IAM服务。

2. 单击角色选项卡。

3. 单击步骤3中记录的角色。

4. 在Permissions选项卡上，单击策略。

5. 点击编辑政策．

6. 修改策略，允许Databricks将步骤1中创建的实例配置文件传递给Spark集群的EC2实例。下面是一个新政策应该是什么样的例子。取代< iam-role-for-glue-access >使用您在步骤1中创建的角色。

   • 的帐户E2版平台bob体育客户端下载：

     ｛“版本”：“2012-10-17”，“声明”：［｛“席德”：“Stmt1403287045000”，“效应”：“允许”，“行动”：［“ec2: AssociateDhcpOptions”，“ec2: AssociateIamInstanceProfile”，“ec2: AssociateRouteTable”，“ec2: AttachInternetGateway”，“ec2: AttachVolume”，“ec2: AuthorizeSecurityGroupEgress”，“ec2: AuthorizeSecurityGroupIngress”，“ec2: CancelSpotInstanceRequests”，“ec2: CreateDhcpOptions”，“ec2: CreateInternetGateway”，“ec2: CreatePlacementGroup”，“ec2: CreateRoute”，“ec2: CreateSecurityGroup”，“ec2: CreateSubnet”，“ec2: CreateTags”，“ec2: CreateVolume”，“ec2: CreateVpc”，“ec2: CreateVpcPeeringConnection”，“ec2: DeleteInternetGateway”，“ec2: DeletePlacementGroup”，“ec2: DeleteRoute”，“ec2: DeleteRouteTable”，“ec2: DeleteSecurityGroup”，“ec2: DeleteSubnet”，“ec2: DeleteTags”，“ec2: DeleteVolume”，“ec2: DeleteVpc”，“ec2: DescribeAvailabilityZones”，“ec2: DescribeIamInstanceProfileAssociations”，“ec2: DescribeInstanceStatus”，“ec2: DescribeInstances”，“ec2: DescribePlacementGroups”，“ec2: DescribePrefixLists”，“ec2: DescribeReservedInstancesOfferings”，“ec2: DescribeRouteTables”，“ec2: DescribeSecurityGroups”，“ec2: DescribeSpotInstanceRequests”，“ec2: DescribeSpotPriceHistory”，“ec2: DescribeSubnets”，“ec2: DescribeVolumes”，“ec2: DescribeVpcs”，“ec2: DetachInternetGateway”，“ec2: DisassociateIamInstanceProfile”，“ec2: ModifyVpcAttribute”，“ec2: ReplaceIamInstanceProfileAssociation”，“ec2: RequestSpotInstances”，“ec2: RevokeSecurityGroupEgress”，“ec2: RevokeSecurityGroupIngress”，“ec2: RunInstances”，“ec2: TerminateInstances”),“资源”：［“*”］}，｛“效应”：“允许”，“行动”：“我:PassRole”，“资源”：“攻击:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”｝］｝

     • 对于平台其他版本的账户:bob体育客户端下载

       ｛“版本”：“2012-10-17”，“声明”：［｛“席德”：“Stmt1403287045000”，“效应”：“允许”，“行动”：［“ec2: AssociateDhcpOptions”，“ec2: AssociateIamInstanceProfile”，“ec2: AssociateRouteTable”，“ec2: AttachInternetGateway”，“ec2: AttachVolume”，“ec2: AuthorizeSecurityGroupEgress”，“ec2: AuthorizeSecurityGroupIngress”，“ec2: CancelSpotInstanceRequests”，“ec2: CreateDhcpOptions”，“ec2: CreateInternetGateway”，“ec2: CreateKeyPair”，“ec2: CreateRoute”，“ec2: CreateSecurityGroup”，“ec2: CreateSubnet”，“ec2: CreateTags”，“ec2: CreateVolume”，“ec2: CreateVpc”，“ec2: CreateVpcPeeringConnection”，“ec2: DeleteInternetGateway”，“ec2: DeleteKeyPair”，“ec2: DeleteRoute”，“ec2: DeleteRouteTable”，“ec2: DeleteSecurityGroup”，“ec2: DeleteSubnet”，“ec2: DeleteTags”，“ec2: DeleteVolume”，“ec2: DeleteVpc”，“ec2: DescribeAvailabilityZones”，“ec2: DescribeIamInstanceProfileAssociations”，“ec2: DescribeInstanceStatus”，“ec2: DescribeInstances”，“ec2: DescribePrefixLists”，“ec2: DescribeReservedInstancesOfferings”，“ec2: DescribeRouteTables”，“ec2: DescribeSecurityGroups”，“ec2: DescribeSpotInstanceRequests”，“ec2: DescribeSpotPriceHistory”，“ec2: DescribeSubnets”，“ec2: DescribeVolumes”，“ec2: DescribeVpcs”，“ec2: DetachInternetGateway”，“ec2: DisassociateIamInstanceProfile”，“ec2: ModifyVpcAttribute”，“ec2: ReplaceIamInstanceProfileAssociation”，“ec2: RequestSpotInstances”，“ec2: RevokeSecurityGroupEgress”，“ec2: RevokeSecurityGroupIngress”，“ec2: RunInstances”，“ec2: TerminateInstances”),“资源”：［“*”］}，｛“效应”：“允许”，“行动”：“我:PassRole”，“资源”：“攻击:aws:我::< aws-account-id-databricks >:角色/ < iam-role-for-glue-access >”｝］｝

7. 点击审查政策．

8. 点击保存更改．

步骤5:将Glue Catalog实例概要文件添加到Databricks工作区

1. 进入管理控制台。

2. 单击实例配置文件选项卡。

3. 单击添加实例配置文件按钮。出现一个对话框。

4. 粘贴步骤1中的实例配置文件ARN。

   

   Databricks验证该实例概要ARN在语法和语义上都是正确的。为了验证语义的正确性，Databricks通过使用这个实例概要启动一个集群来进行演练。这个演练中的任何失败都会在UI中产生验证错误。

   请注意

   如果实例概要文件包含标记强制策略，则实例概要文件的验证可能失败，从而阻止您添加合法的实例概要文件。如果验证失败，您仍然希望将实例概要文件添加到Databricks，请使用实例概要文件API并指定skip_validation．

5. 点击添加．

6. 可选地指定可以使用实例概要启动集群的用户。

   

步骤6:使用Glue Catalog实例概要启动集群

1. 创建集群。

2. 单击实例页签。

3. 在实例配置文件下拉列表，选择实例配置文件。

   

4. 在笔记本中使用以下命令，验证您可以访问Glue Catalog:

   显示数据库；

   如果命令执行成功，这个Databricks Runtime集群将被配置为使用Glue。根据您的AWS帐户和Glue区域，您可能需要执行另外两个步骤:

   • 如果Databricks部署的AWS帐户和Glue Data Catalog的AWS帐户不同，则需要额外的跨帐户设置。

     集spark.hadoop.hive.metastore.glue.catalogid< aws-account-id-for-glue-catalog >在火花配置．

   • 如果目标Glue Catalog与Databricks部署在不同的区域，也要指定spark.hadoop.aws.region< aws-region-for-glue-catalog >．

   提示

   需要提醒的是，spark. databicks .hive.metastore. gluecatalog .enabled true是连接到AWS Glue的必需配置。

5. Spark包含对Hive的内置支持，但是否使用它取决于Databricks Runtime版本。

   • 隔离模式:关闭对Hive的内置支持。Hive 1.2.1的库。Spark2是从/砖/胶水/．在Databricks Runtime 8.3中，隔离模式是启用的，不能禁用。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及以上版本中，隔离模式是默认的，但可以禁用。

   • 内置模式:开启对Hive的内置支持，Hive版本以Spark版本为准。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及以上版本中，可以通过设置启用内置模式spark.databricks.hive.metastore.glueCatalog.isolation.enabled假集群上。

6. 若要启用凭据传递，请设置spark.databricks.passthrough.enabled真正的．这需要Databricks Runtime 7.3 LTS或Databricks Runtime 8.4或以上版本。在Databricks Runtime 7.3 LTS和Databricks Runtime 8.4及以上版本上，此设置也会自动启用内置模式。

限制

• 在Databricks中使用AWS Glue Data Catalog作为metastore，可能比默认的Hive metastore有更高的延迟。有关更多信息，请参见体验胶水目录比Databricks Hive metastore更高的延迟请参阅故障排除部分。

• 属性创建的默认数据库的位置设置为URIdbfs:(Databricks文件系统)方案。不能从Databricks以外的AWS应用程序(如AWS EMR或AWS Athena)访问此位置。作为一种变通方法，使用位置子句来指定bucket位置，例如s3: / / mybucket，当你打电话时创建表格．或者，在默认数据库以外的数据库中创建表，并设置位置将该数据库转移到S3位置。

• 您不能在Glue Catalog和Hive metastore之间动态切换。新的Spark配置需要重新启动集群才能生效。

• 只有Databricks Runtime 8.4及以上版本支持凭据传递。

• 不支持以下特性:

  • 砖连接

  • 跨系统交互，跨多个系统共享相同的元数据目录或实际表数据。

故障排除

spark.hadoop.aws.glue.cache.table.enable真实spark.hadoop.aws.glue.cache.table.size 1000spark.hadoop.aws.glue.cache.table。ttl-mins 30

spark.hadoop.aws.glue.cache.db.enable真实spark.hadoop.aws.glue.cache.db.size 1000spark.hadoop.aws.glue.cache.db。ttl-mins 30

org.apache.spark.sql.AnalysisException: Java .lang. runtimeexception: com.amazonaws.SdkClientException:无法从链中的任何提供者加载AWS凭据:[EnvironmentVariableCredentialsProvider:无法从环境变量(AWS_ACCESS_KEY_ID(或AWS_ACCESS_KEY)和AWS_SECRET_KEY(或AWS_SECRET_ACCESS_KEY)加载AWS凭据，SystemPropertiesCredentialsProvider:无法从Java系统属性(AWS .lang. runtimeexception: com.amazonaws.SdkClientException:无法从链中的任何提供者加载AWS凭据:[EnvironmentVariableCredentialsProvider:无法从环境变量(AWS_ACCESS_KEY_ID(或AWS_ACCESS_KEY)和AWS_SECRET_ACCESS_KEY)加载AWS凭据。accessKeyId和aws.secretKey)， com.amazonaws.auth.profile。ProfileCredentialsProvider@2245a35d: profile文件不能为空，com.amazonaws.auth. profile文件不能为空。EC2ContainerCredentialsProviderWrapper@52be6b57: The requested metadata is not found at https://169.254.169.254/latest/meta-data/iam/security-credentials/];

org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: MetaException(message:Unable to verify exist of default database: com.amazonaws.services.glue.model.AccessDeniedException: User: arn:aws:sts::: authenticated -role//…没有权限在资源:arn:aws:glue:::catalog(服务:AWSGlue;状态代码:400;错误码:AccessDeniedException;请求ID: < Request - ID >));

选择＊从拼花．｀路径-来-数据｀

SQL语句错误:AnalysisException…没有权限执行:glue:GetDatabase on resource: :database/parquet

org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: MetaException(消息:无法验证默认数据库的存在:com.amazonaws.services.glue.model.AccessDeniedException: User:攻击:aws: sts:: < aws-account-id >:自选角色/ < role-id > /……没有权限在资源:arn:aws:glue:::catalog(服务:AWSGlue;状态代码:400;错误码:AccessDeniedException;请求ID: < Request - ID >));

无法验证默认数据库的存在:accessdeniedexception:请迁移您的Catalog以启用对该数据库的访问(Service: AWSGlue;状态代码:400;错误码:AccessDeniedException;请求ID: < Request - ID >)

不能从空字符串创建路径

不能从空字符串创建路径