连接到Amazon S3

连接到S3与统一目录

外部位置和存储凭证在S3中允许统一目录读取和写入数据代表的用户。管理员主要使用外部位置配置统一目录外部表。

存储凭证是一个统一的目录S3对象用于身份验证。这是一个我角色授权读取或写入一个S3 bucket的道路。外部的位置是一个对象,结合了云存储路径和存储凭证。

dbutils。fs。ls(“s3: / /桶/外部位置的路径/ /数据”)火花。读。格式(“铺”)。负载(“s3: / /桶/外部位置的路径/ /数据”)火花。sql(“SELECT * FROM parquet. s3: / /桶/外部位置的/道路/ /数据的“)

dbutils。fs。mv(“s3: / /桶/外部位置的路径/ /数据”,“s3: / /桶/外部位置的路径/ /新位置”)df。写。格式(“铺”)。保存(“s3: / /桶/外部位置的路径/ /新位置”)

df。写。选项(“路径”,“s3: / /桶/外部位置的路径/ /表”)。saveAsTable(“my_table”)火花。sql(”“”创建表my_table位置“s3: / /桶/外部位置的路径/ /表”(SELECT *从parquet. s3: / /桶/外部位置的/道路/ /数据”)”“”)

使用实例配置文件访问S3 bucket

可以加载我的角色在砖和附加实例配置文件的配置文件实例集群控制数据访问S3。砖时建议使用实例配置文件统一目录不可用对你的环境或工作负载。教程使用实例配置文件和数据砖,明白了S3访问配置实例配置文件。

AWS用户创建我的角色必须:

• 是一个AWS帐户用户与权限创建或更新我的角色,我的政策,S3 bucket和cross-account信任关系。

砖用户添加我作为一个实例配置文件在砖必须:

• 是一个工作空间管理

一旦实例配置文件添加到您的工作空间,您可以授予用户,组,或服务主体权限启动集群实例配置文件。看到在砖管理实例配置文件访问。

使用两个集群访问控制和笔记本一起访问控制保护访问实例配置文件。看到集群访问控制和工作区对象访问控制。

访问S3 bucket uri和AWS键

你可以设置属性来配置一个火花AWS访问S3键。

砖建议使用秘密的范围来存储所有的凭证。能给予用户、服务主体和组织您的工作区中获得阅读的秘密范围。这保护了AWS关键,同时允许用户访问S3。创建一个秘密范围,明白了秘密的范围。

凭证可以局限于集群或笔记本。使用两个集群访问控制和笔记本一起访问控制保护访问S3。看到集群访问控制和工作区对象访问控制。

设置火花属性,使用以下代码片段在集群的火花配置设置存储在AWS键秘密范围作为环境变量:

AWS_SECRET_ACCESS_KEY={{秘密/范围/aws_secret_access_key}}AWS_ACCESS_KEY_ID={{秘密/范围/aws_access_key_id}}

然后您可以读取S3使用以下命令:

aws_bucket_name=“my-s3-bucket”df=火花。读。负载(f“s3a: / /{aws_bucket_name}/花/δ/”)显示(df)dbutils。fs。ls(f“s3a: / /{aws_bucket_name}/”)

访问S3与开源Hadoop选项

砖运行时支持配置S3A文件系统使用开源Hadoop选项。您可以配置全局属性和一桶属性。

#全球S3配置spark.hadoop.fs.s3a.aws.credentials。供应商< aws-credentials-provider-class >spark.hadoop.fs.s3a。端点< aws-endpoint >spark.hadoop.fs.s3a。server-side-encryption-algorithm SSE-KMS

#设置身份验证和端点为一个特定的桶spark.hadoop.fs.s3a.bucket。< bucket名> .aws.credentials。供应商< aws-credentials-provider-class >spark.hadoop.fs.s3a.bucket。< bucket名>。端点< aws-endpoint >#配置不同的公里加密密钥为一个特定的桶spark.hadoop.fs.s3a.bucket。< bucket名> .server-side-encryption。关键< aws-kms-encryption-key >

访问请求者支付桶

可以用来访问请求者支付桶,添加以下行集群火花配置:

spark.hadoop.fs.s3a.requester-pays。使真正的

从砖弃用模式来存储和访问数据

以下是弃用存储模式:

• 砖不再建议安装外部数据位置数据砖的文件系统。看到安装云对象存储在砖上。

• 砖不再推荐使用的凭证与S3透传。看到凭据透传(遗留)。