Customer-managed VPC

概述

默认情况下，集群创建在单个AWS VPC(虚拟私有云)中，由Databricks在您的AWS帐户中创建和配置。您可以选择在自己的VPC中创建Databricks工作空间，该特性称为customer-managed VPC．您可以使用客户管理的VPC来对您的网络配置进行更多的控制，以符合您的组织可能需要的特定的云安全和治理标准。

客户管理的VPC是一个很好的解决方案，如果你有:

• 防止PaaS提供商在您自己的AWS帐户中创建vpc的安全策略。

• 创建新VPC的审批流程，由内部信息安全或云工程团队以良好的文档方式配置和保护VPC。

福利包括:

• 较低的权限级别:您可以更好地控制自己的AWS帐户。并且您不需要通过跨帐户IAM角色授予Databricks许多权限，就像您为Databricks管理的VPC所做的那样。例如，创建vpc不需要权限。这个有限的权限集可以使您更容易获得在平台堆栈中使用Databricks的批准。bob体育客户端下载

• 简化网络操作:网络空间利用率更高。与默认的CIDR /16相比，可选地为工作空间配置更小的子网。并且不需要其他解决方案可能需要的复杂的VPC对等配置。

• vpc合并:多个Databricks工作区可以共享一个数据平面VPC，通常用于计费和实例管理。

• 限制传出连接:默认情况下，数据平面不限制Databricks Runtime worker的外发连接。对于配置为使用客户管理的VPC的工作区，可以使用出口防火墙或代理设备将出站流量限制为允许的内部或外部数据源列表。

为了利用客户管理的VPC，必须在首次创建Databricks工作空间时指定VPC。不能将已使用databicks管理的VPC的工作空间移动到客户管理的VPC中。但是，您可以通过更新工作空间配置的网络配置对象，将带有客户管理VPC的现有工作空间从一个VPC移动到另一个VPC。看到更新工作区．

要在自己的VPC中部署工作空间，您必须:

1. 根据要求创建VPCVPC需求．

2. 在创建工作空间时，使用Databricks引用VPC网络配置。

   • 使用帐户控制台并根据名称选择配置

   • 使用帐户API并根据其ID选择配置

   向数据库注册VPC时，需要提供VPC ID、子网ID和安全组ID。

VPC需求

您的VPC必须满足本节所述的要求，才能运行Databricks工作空间。

创建VPC

要创建vpc，您可以使用各种工具:

• AWS控制台

• AWS CLI

• 起程拓殖

• AWS快速入门(创建一个新的由客户管理的VPC和一个新的工作空间)

使用AWS Console，创建和配置VPC及相关对象的基本说明如下所示。有关完整的说明，请参阅AWS文档。

1. 去AWS中的vpc页面．

2. 请查看右上方的区域选择器。如果需要，切换到工作区的区域。

3. 在右上角，单击橙色按钮创建VPC．

   

4. 点击VPC及更多．

5. 在名牌自动生成为您的工作区键入一个名称。Databricks建议在名称中包含地区。

6. “VPC地址范围”可根据实际需要修改。

7. 对于公网子网，单击2．Databricks工作空间不直接使用这些子网，但是在这个编辑器中启用nat需要它们。

8. 对于私有子网，单击2为工作空间子网的最小值。如果需要，您可以添加更多。

   Databricks工作区至少需要两个私有子网。如果需要调整它们的大小，例如与多个需要单独子网的工作区共享一个VPC，请单击自定义子网CIDR块．

9. 对于NAT网关，单击1 AZ．

10. 确保底部的以下字段已启用:启用DNS主机名而且启用DNS解析．

11. 点击创建VPC．

12. 在查看新创建的VPC时，单击左侧导航中的，更新VPC的相关设置。为了便于查找相关对象，在按VPC过滤字段，选择新的VPC。

13. 点击子网AWS称之为私人标记为1和2的子网，您将使用它们来配置您的主工作区子网。修改子网VPC需求．

    如果创建了额外的私有子网用于PrivateLink，请配置私有子网3启用AWS PrivateLink．

14. 点击安全组中指定的安全组安全组．

    如果您将使用后端PrivateLink连接，请按照本节的PrivateLink文章中指定的方法，使用入站和出站规则创建一个额外的安全组步骤1:配置AWS网络对象．

15. 点击网络acl，修改网络acl子网级网络acl．

16. 选择是否执行本文后面指定的可选配置。

17. 在数据库中注册VPC，创建网络配置使用帐户控制台或通过使用帐户API．

更新cidr

稍后，您可能需要更新与原始子网重叠的子网cidr。

更新cidr和其他工作空间对象:

1. 终止所有在需要更新的子网中运行的集群(和其他计算资源)。

2. 通过AWS控制台，删除需要更新的子网。

3. 用更新的CIDR范围重新创建子网。

4. 更新两个新子网的路由表关联。您可以在每个可用分区中重用现有子网。

   重要的

   如果跳过此步骤或错误配置路由表，可能导致集群启动失败。

5. 使用新的子网创建一个新的网络配置对象。

6. 更新工作区以使用这个新创建的网络配置对象

配置防火墙和出站接入(可选)

如果你正在使用安全的集群连接(2020年9月1日的默认值)，使用出口防火墙或代理设备来阻止大部分流量，但允许Databricks需要连接到的url:

• 如果防火墙或代理设备与Databricks工作空间VPC在同一个VPC中，请对流量进行路由，并将其配置为允许以下连接。

• 如果防火墙或代理设备在不同的VPC或内部网络中，请选择路由0.0.0.0/0首先连接到该VPC或网络，并将代理设备配置为允许以下连接。

允许以下传出连接:

• Databricks web应用:必须的。也用于对工作区的REST API调用。

• 数据安全集群连接(SCC)中继:如果您的工作空间使用安全集群连接，则必需，这是帐户中的工作空间的默认E2版平台bob体育客户端下载截至2020年9月1日。

• AWS S3全局URL: Databricks访问S3根桶时的要求。

• AWS S3区域URL:可选的。但是，您可能会使用其他S3 bucket，在这种情况下，还必须允许S3区域端点。Databricks建议创建一个S3 VPC端点，以便此流量通过AWS网络骨干网上的私有隧道。

• AWS STS全球URL:必须的。

• AWS STS区域URL:由于预期切换到区域端点，因此需要。

• AWS Kinesis区域URL: Kinesis端点用于获取管理和监控软件所需的日志。对于大多数区域，使用区域URL。然而，对于vpcus-west-1此时，VPC端点今天不会生效，需要确保Kinesis URL被允许使用us-west-2(不us-west-1)．Databricks建议您创建一个Kinesis VPC端点，以便此流量通过AWS网络骨干网上的私有隧道。

• 表亚metastore RDS区域URL(按数据平面区域):如果你的Databricks工作空间使用默认的Hive metastore，这是必需的，它总是与你的数据平面区域在同一个区域。这意味着它可能与控制平面处于相同的地理位置，但区域不同。您可以选择不使用默认的Hive metastore实现您自己的表metastore实例，在这种情况下，您负责其网络路由。

配置区域端点(推荐)

使用自定义VPC(可选)和安全的集群连接(2020年9月1日的默认值)，Databricks建议您将VPC配置为只使用区域VPC端点到AWS服务，以获得更直接的连接，并与AWS全球端点相比降低成本。具有客户管理的VPC的Databricks工作空间必须访问四种AWS服务:STS、S3、Kinesis和RDS。

仅当使用默认的Databricks metastore时，才需要从VPC连接RDS服务。虽然RDS没有VPC端点，但是您可以配置自己的外部metastore，而不是使用默认的Databricks metastore。实现一个外部亚稳态蜂巢metastore或AWS胶．

对于其他三种服务，您可以创建VPC网关或接口端点，以便来自集群的相关区域内流量可以通过安全AWS骨干网而不是公共网络传输:

• S3:创建VPC网关端点可以从Databricks集群子网直接访问。这将导致所有区域内S3桶的工作空间流量使用端点路由。要访问任何跨区域桶，请打开对S3全局URL的访问s3.amazonaws.com在出口设备或路由中0.0.0.0/0到AWS互联网网关。

  使用DBFS坐骑启用区域端点:

  • 必须在要设置的集群配置中设置一个环境变量AWS_REGION = < aws-region-code >．例如，如果您的工作空间部署在N. Virginia区域，则设置AWS_REGION = us-east-1．要对所有集群强制执行，请使用集群政策．

• STS:创建VPC接口端点直接从您的Databricks集群子网访问。您可以在工作区子网中创建此端点。Databricks建议您使用为您的工作空间VPC创建的相同的安全组。此配置导致到STS的工作区通信使用端点路由。

• 运动:创建VPC接口端点直接从您的Databricks集群子网访问。您可以在工作区子网中创建此端点。Databricks建议您使用为您的工作空间VPC创建的相同的安全组。这个配置导致Kinesis的工作空间流量使用端点路由。该规则的唯一例外是AWS区域中的工作区us-west-1这是不正确的，因为在这种情况下，目标运动流是跨区域到区域的us-west-2．

使用实例概要访问S3(可选)

访问S3挂载使用实例配置文件，设置如下Spark配置:

• 要么在每个源笔记本中：

  ％scala火花．相依．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地区> .amazonaws.com”。）火花．相依．集（“fs.s3a.endpoint”，“https://s3 <地区> .amazonaws.com”。）

  ％python火花．相依．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地区> .amazonaws.com”。）火花．相依．集（“fs.s3a.endpoint”，“https://s3 <地区> .amazonaws.com”。）

• 或在集群的Apache Spark配置中：

  火花．hadoop．fs．s3a．端点https：//s3．<地区>。amazonaws．com火花．hadoop．fs．s3a．stsAssumeRole．stsEndpointhttps：//sts．<地区>。amazonaws．com

若要为所有集群设置这些值，请将这些值作为您的集群政策．

限制S3桶访问(可选)

大多数对S3的读取和写入都是自包含在数据平面内的。但是，有些管理操作来源于控制平面，由Databricks管理。如果需要限制S3桶只能访问指定的源IP地址，可以创建S3桶策略。桶策略中包含aws: SourceIp列表。如果您使用VPC端点，请将其添加到策略的Endpoint中，允许访问该Endpointaws: sourceVpce．

有关S3桶策略的详细信息，请参见限制对特定IP地址的访问在Amazon S3文档中。工作桶策略示例也包括在本主题中。

｛“席德”：“IPDeny”，“效应”：“否认”，“校长”：“*”，“行动”：“s3: *”，“资源”：［“攻击:aws: s3::: < s3 bucket >”，“攻击:aws: s3::: < s3 bucket > / *”),“条件”：｛“NotIpAddress”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< DATA-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］｝｝｝

｛“席德”：“IPDeny”，“效应”：“否认”，“校长”：“*”，“行动”：“s3: *”，“资源”：［“攻击:aws: s3::: < s3 bucket >”，“攻击:aws: s3::: < s3 bucket > / *”),“条件”：｛“NotIpAddressIfExists”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］}，“StringNotEqualsIfExists”：｛“aws: sourceVpce”：“< VPCE-ID >”｝｝｝