安全最佳实践为三角洲共享

的数据lakehouse使我们巩固我们的数据管理体系结构,消除筒仓和利用一个共同的平台,所有用例。bob体育客户端下载统一的数据仓库和AI用例在单个平台组织来说是一个巨大的进步,但一旦迈出这一步,要考虑下一个问题是“我们如何共享数据简单地和安全地不bob体育客户端下载管客户端,工具或平台接收者使用访问吗?”Luckily, thelakehouse有一个回答这个问题:数据共享与δ共享。

三角洲分享

三角洲分享是世界上第一个吗开放的协议安全地共享实时数据内部和跨组织,独立的平台数据驻留的地方。bob体育客户端下载这是一个关键组成部分的开放lakehouse架构,组织的重要推动者,我们团队和数据访问模式的方式,这在以前是没有的,如数据网格。

安全的设计

重要的是要注意,三角洲分享已建成的与安全,允许您利用以下的开箱即用的特性是否使用bob下载地址开源版本或其托管等效:

• 端到端TLS加密从客户端到服务器存储账户
• 短暂的凭证如pre-signed url来访问数据
• 轻松管理、跟踪和审计访问你通过共享数据集统一目录

的最佳实践,我们将分享作为这个博客是添加剂的一部分,允许顾客调整适当的安全控制风险和敏感的数据。

安全最佳实践

我们使用的最佳实践建议三角洲分享分享敏感数据如下:

1. 评估开源与托管版本基于bob下载地址您的需求
2. 设置适当的接收者牌每metastore一生
3. 建立一个旋转的过程凭证
4. 考虑正确的粒度级别股票,接受者和分区
5. 配置IP访问列表
6. 配置数据砖审计日志记录
7. 配置网络限制存储账户(年代)
8. 配置登录存储账户(年代)

1。评估bob下载地址兑版本管理根据你的要求

我们建立了上面,三角洲分享从头构建了安全思想。然而,使用有好处版本管理:

• 砖是由三角洲共享统一目录,它允许您提供细粒度访问任何数据集之间不同的用户从一个地方集中。开源版本,你需要单bob下载地址独的数据集,各种数据的访问权限和共享服务器,几张,你也需要访问限制强加于这些服务器和底层存储账户。为便于部署码头工人形象是提供的开源版本,但重要的是要注意,扩展部bob下载地址署在大型企业将构成一个非平凡的开销团队负责管理他们。
• 就像其他的砖Lakehouse平bob体育客户端下载台,统一目录作为管理服务提供。你不需要担心诸如可用性、运行和维护的服务,因为我们为你担心。
• 统一目录允许您配置全面的审计日志记录功能。
• 数据所有者将能够管理股票使用SQL语法。此外,REST api管理股票是可用的。使用熟悉的SQL语法简化了我们共享数据的方式,减少行政负担。
• 使用开放源码的版本,bob下载地址你负责配置,基础设施和管理的数据共享,但管理版本所有可用此功能开箱即用的。

由于这些原因,我们建议评估两个版本和根据您的需求做出决定。如果易于设置和使用、开箱即用的治理和审计、和外包服务管理是重要的,管理的版本可能是正确的选择。

2。设置适当的接收者牌每metastore一生

当你使三角洲分享,你为收件人配置令牌一生凭证。如果你设置令牌一生为0,收件人标记永远不会过期。

设置适当的象征性的一生是至关重要的监管合规和声誉的角度来看。有一个令牌,永远不会过期,是一个巨大的风险;因此,建议使用短暂的令牌作为最佳实践。更容易给予一个新的令牌接受者的令牌过期了要比调查使用令牌的一生已经设置不当。

看到文档(AWS,Azure)配置令牌到期后适当的秒数分钟、数小时或数天。

3所示。建立一个旋转的过程凭证

有很多原因,你可能想要旋转的凭证,到期的现有的令牌,担心证书可能已遭泄露,甚至是你修改了象征性的一生,想要发行新证书过期时间的尊重。

确保这样的请求是可预测和及时满足,重要的是要建立一个过程,最好建立SLA。这可以集成到你的IT服务管理过程中,通过适当的行动完成业主指定的数据,数据管理员或DBA metastore。

看到文档(AWS,Azure)如何旋转凭证。特别是:

• 如果你需要立即旋转凭据,集——existing-token-expire-in-seconds来0,现有的令牌将立即失效。
• 砖推荐以下操作时有人担心证书可能已遭泄露:
  1. 撤销收件人的访问。
  2. 收件人和设置旋转——existing-token-expire-in-seconds来0这令牌失效后立即。
  3. 与预期的接收者分享新激活链接在一个安全的通道。
  4. 激活的URL访问后,格兰特接收者访问再次分享。

4所示。考虑正确的粒度级别股票,接受者和分区

在版本管理,每股可以包含一个或多个表,可以与一个或多个收件人,使用细粒度的控制管理谁或者访问多个数据集的方法。这使我们能够提供细粒度访问多个数据集的方式将更加难以实现bob下载地址一个人。我们甚至可以比这更进一步,仅仅增加一个表的一部分分享通过提供一个分区规范(见文档AWS,Azure)。

值得利用这些特性通过实现你的股票和接受者遵循最小特权原则,这样,如果接收方证书被盗,它与最少数量的数据集或者数据的最小子集。

5。配置IP访问列表

默认情况下,所有需要访问你的股票是一个有效的三角洲共享凭证文件,因此它是至关重要的减少的可能性,实现网络级证书可能被限制,他们可以使用。

配置三角洲共享IP访问列表(参见文档AWS,Azure)来限制收件人访问可信IP地址,例如,企业的公共IP VPN。

结合IP访问列表的访问令牌大大减少了未授权访问的风险。人以未经授权的方式访问数据,他们需要获得一份你的令牌和在相同的授权网络比仅仅获得令牌本身更加困难。

6。配置数据砖审计日志记录

审计日志是你的权威发生了什么在你的记录砖Lakehouse平台bob体育客户端下载,包括所有相关的活动三角洲分享。因此,我们强烈建议你配置数据砖审计日志对于每个云(见文档AWS,Azure),建立自动化的管道来处理这些日志和监控/警报在重要事件。

看看我们的同伴的博客,监控你的砖Lakehouse平台与审计日志bob体育客户端下载更深层次的潜水在这个问题上,包括您需要设置的所有代码三角洲生活表管道、配置砖的SQL警报和运行SQL查询回答重要问题:

• δ是最受欢迎的股票?
• δ股票被访问是哪个国家的?
• δ共享创建收件人没有IP访问列表限制被应用?
• δ收件人创建共享IP访问列表限制哪些是我忠实的IP地址范围之外的?
• 试图访问我的三角洲股票失败IP访问列表限制吗?
• 试图访问我的δ股价反复失败的认证?

7所示。配置网络限制存储账户(年代)

一次三角洲共享请求已成功通过共享服务器身份验证,短暂的数组凭证生成并返回给客户端。然后客户端使用这些url请求直接从云提供商的相关文件。这个设计意味着转移可以发生在平行巨大带宽,没有流结果通过服务器。这也意味着从安全的角度来看,你可能会想要实现类似的网络限制存储账户三角洲分享接受者本身——没必要保护分享在收件人级别,如果数据本身驻留在一个存储帐户可以访问的任何人,任何地方。

Azure

在Azure,砖推荐使用身份管理(目前在公共预览版)访问底层存储账户代表统一目录。用户可以配置存储防火墙限制所有其他访问可信私人端点,虚拟网络或公共IP范围,三角洲共享客户可以使用访问数据。请伸出你的砖代表的更多的信息。

重要提示:再一次,重要的是要考虑所有可能的用例在确定哪些网络应用水平的限制。例如,以及通过三角洲共享访问数据,很可能一个或多个砖工作区也将需要访问数据,因此你应该允许访问有关信任的私人端点,虚拟网络或公共IP范围使用的工作区。

AWS

在AWS,砖推荐使用S3 bucket的政策限制访问S3 bucket。例如,下面的否认声明可以被用来限制对可信IP地址和vpc的访问。

重要提示:重要的是要考虑所有可能的用例在确定哪些网络应用水平的限制。例如:

• 当使用托管版本,生成的pre-signed url统一目录,因此您需要允许访问的砖控制平面的NAT IP的地区。
• 很可能一个或多个砖工作区也将需要访问数据,因此你应该允许访问有关VPC IDs如果底层S3 bucket是在同一地区和你使用VPC端点连接到S3或者数据平面交通的公共IP地址解析为(例如通过NAT网关)。
• 从公司网络内避免失去连接,砖建议总是从至少一个已知和允许访问可信IP地址,如企业的公共IP VPN。这是因为否认条件应用即使在AWS控制台。

{“版本”:“2012-10-17”,“声明”:【{“席德”:“DenyAccessFromUntrustedNetworks”,“效应”:“否认”,“校长”:“*”,“行动”:“s3: *”,“资源”:【“攻击:aws: s3::: <桶>”,“攻击:aws: s3::: <桶> / *”),“条件”:{“NotIpAddressIfExists”:{“aws: SourceIp”:【“< databricks_nat_ip >”,“< other-allowed-ip >”,“< other-allowed-ip >”]},“StringNotEqualsIfExists”:{“aws: SourceVpc”:【“< allowed_vpc_id >”,“< allowed_vpc_id >”]}}}]}</ allowed_vpc_id > < /allowed_vpc_id > </ other-allowed-ip > < /other-allowed-ip > </ databricks_nat_ip > < /桶桶> < / >

除了网络级限制,也建议你限制访问底层S3 bucket我所使用的角色统一目录。原因是:正如我们所见,统一目录提供细粒度访问您的数据,是不可能提供的粗粒度权限AWS我/ S3。因此,如果有人能够直接访问S3 bucket可以绕过这些细粒度的权限和访问更多的比你预期的数据。

重要提示:如上所述,否认条件应用即使在AWS控制台,所以建议您也允许访问管理员角色,少数特权用户可以使用它来访问UI / AWS api。

{“席德”:“DenyActionsFromUntrustedPrincipals”,“效应”:“否认”,“校长”:“*”,“行动”:“s3: *”,“资源”:【“攻击:aws: s3::: <桶>”,“攻击:aws: s3::: <桶> / *”),“条件”:{“StringNotEqualsIfExists”:{“aws: PrincipalArn”:【“< uc_iam_role_arn >”,“< aws_admin_iam_role_arn >”]}}}</ aws_admin_iam_role_arn > < / uc_iam_role_arn > </桶> < /桶>

8。配置登录存储账户(年代)

除了执行网络级限制底层存储账户(s),你可能想要监控是否有人试图绕过他们。因此,砖建议:

• 设置S3服务器访问日志在AWS和适当的监控和报警
• 设置诊断日志记录在Azure,以及适当的监控和报警

结论

的lakehouse解决了大部分的数据管理问题,导致我们有分散的数据架构和访问模式,严重扼杀了时间价值一个组织可能希望看到的数据。现在,数据从这些问题,团队已经被释放开放但安全的数据共享已经成为了下一个前沿。

三角洲分享是世界上第一个吗开放的协议安全地共享实时数据内部和跨组织,独立的平台数据驻留的地方。bob体育客户端下载并利用三角洲分享结合上述最佳实践,组织很容易但安全地交换数据和他们的用户,在企业范围内合作伙伴和客户。bob体育外网下载

现有数据市场未能业务价值最大化数据提供者和数据使用者,但是砖的市场您可以利用砖Lakehouse平台达到更多的客户,降低成本,提供更多的价值在你所有的bob体育客户端下载数据产品。

如果你有兴趣成为一个数据提供商的合作伙伴,我们很乐意收到你的信!