使用Databricks Container Services定制容器

选项1。使用Databricks构建的数据库

本例使用9.倍标签，将目标集群的运行时版本Databricks runtime 9.0及以上:

从databricksruntime /标准:9。x……

要指定其他Python库，例如最新版本的pandas和urllib，请使用容器特定版本的皮普．为datatabricksruntime /标准:9. x容器，包括以下内容:

RUN /databricks/python3/bin/pip install pandas

为datatabricksruntime /标准:8. x容器或更低的容器，包括:

RUN /databricks/conda/envs/dcs-minimal/bin/pip install urllib3 . RUN /databricks/conda/envs/dcs-minimal/bin/pip

基本映像托管在Docker Hub上https://hub.docker.com/u/databricksruntime．用于生成这些基的dockerfile位于https://github.com/databricks/containers．

第二个选项。建立自己的Docker基础

您还可以从头开始构建Docker基础。Docker镜像必须满足以下要求:

• 在系统上使用JDK 8u191作为Java路径

• bash

• iproute2 (ubuntu iproute）

• coreutils (ubuntu coreutils）

• procps (ubuntu procps）

• sudo (ubuntu sudo）

• Ubuntu Linux

要从头构建自己的映像，必须创建虚拟环境。你还必须包含内置在Databricks集群中的包，比如Python和r。要开始，你可以使用适当的基本映像:

• R:databricksruntime / rbase

• Python:databricksruntime / python

• 对于Databricks构建的最小图像:databricksruntime /最小

您也可以参考示例GitHub中的Dockerfiles．

使用UI启动集群

1. 在创建集群页面，指定支持Databricks容器服务的Databricks运行时版本。

2. 下高级选项，选择码头工人选项卡。

   

3. 选择使用您自己的Docker容器．

4. 在Docker图片URL字段，输入自定义Docker映像。

   Docker镜像URL示例:

   注册表	标签格式
   码头工人中心	<组织> / <库>:<标记>(例如:databricksruntime /标准:最新）
   亚马逊ECR	< aws-account-id > .dkr.ecr。<地区> .amazonaws.com/ <库>:<标记>
   Azure容器注册中心	< your-registry-name > .azurecr.io / <存储库名>:<标记>

5. 选择认证类型。

使用API启动集群

1. 生成一个API令牌．

2. 使用集群API 2.0使用自定义Docker基础启动集群。

   curl -X POST -H"授权:持有者<令牌>"https:// < databricks-instance > / api / 2.0 /集群/创建- d”{:“cluster_name <集群名称>”,“num_workers”:0,:“node_type_id i3.xlarge”," docker_image ": {“url”:“最新databricksruntime /标准:”," basic_auth ": {“用户名”:“< docker-registry-username >”,“密码”:“< docker-registry-password >”｝}，:“spark_version 7.3.x-scala2.12”," aws_attributes ": {“可用性”:“ON_DEMAND”,:“instance_profile_arn攻击:aws:我::< aws-account-number >: instance-profile / < iam-role-name >”｝} '

   basic_auth要求取决于你的Docker镜像类型:

   • 对于公共Docker映像，不包括basic_auth字段。

   • 对于私有Docker映像，必须包含basic_auth字段，使用服务主体ID和密码作为用户名和密码。

   • 对于Azure容器注册表，必须设置basic_auth字段转换为服务主体的ID和密码。看到Azure容器注册中心服务主体身份验证文档有关创建服务主体的信息。

   • 对于Amazon ECR图像，不包括basic_auth字段。您必须使用实例配置文件包括从镜像所在的Docker存储库中提取Docker镜像的权限。要做到这一点，请遵循步骤3和步骤4使用实例配置文件建立对S3桶的安全访问．

     下面是一个IAM角色的示例，该角色具有提取任何图像的权限。存储库由< arn-of-repository >．

     ｛“版本”：“2012-10-17”，“声明”：［｛“效应”：“允许”，“行动”：［“ecr: GetAuthorizationToken”]，“资源”：“*”}，｛“效应”：“允许”，“行动”：［“ecr: BatchCheckLayerAvailability”，“ecr: GetDownloadUrlForLayer”，“ecr: GetrepositoryPolicy”，“ecr: DescribeRepositories”，“ecr: ListImages”，“ecr: DescribeImages”，“ecr: BatchGetImage”]，“资源”：［“< arn-of-repository >”］｝］｝

     如果Amazon ECR映像驻留在与Databricks集群不同的AWS帐户中，则使用ECR存储库策略除了集群实例配置文件，授予Databricks集群访问权限。下面是一个ECR存储库策略的示例。集群实例配置文件所承担的IAM角色由< arn-of-IAM-role >．

     ｛“版本”：“2012-10-17”，“声明”：[{“席德”：“AllowCrossAccountPush”，“效应”：“允许”，“校长”：｛“AWS”：“< arn-of-IAM-role >”}，“行动”：［“ecr: BatchCheckLayerAvailability”，“ecr: BatchGetImage”，“ecr: DescribeImages”，“ecr: DescribeRepositories”，“ecr: GetDownloadUrlForLayer”，“ecr: GetrepositoryPolicy”，“ecr: ListImages”］})｝