安全与信任中心

您的数据安全是我们的首要任务

背景图像

我们知道,数据是您最宝贵的资产之一,必须始终得到保护-这就是为什么Databricks Lakehouse平台的每一层都内置了安全性。bob体育客户端下载我们的透明度使您能够在利用我们的平台的同时满足您的监管需求。bob体育客户端下载

使用我们的尽职调查包执行自己的Databricks自助安全审查,其中包括文档和合规材料。

埃森哲咨询公司
Wehkamp标志
Wehkamp标志
通过简化管理和治理,Databricks平台使我们能够为整个组织的团队带来基于数据的决策。bob体育客户端下载添加用户的便利性,与云提供商的本地安全集成以及面向一切的api,使我们能够为Wehkamp的每位员工提供所需的数据和工具。”

——Wehkamp首席数据科学家Tom Mulder

Adren街实验室
Wehkamp标志
Wehkamp标志
“我们开发的近12个解决方案都是基于Azure Databricks作为核心基础构建的。这使我们能够利用实验室到运营的快速部署模式,同时保持数据安全性和计算可扩展性。”

-杰夫·费尔德曼,亚顿街实验室的首席技术官

瑞士信贷(Credit Suisse)
Wehkamp标志
Wehkamp标志
“尽管人们越来越多地接受大数据和人工智能,但大多数金融服务公司仍在数据类型、隐私和规模方面面临重大挑战。瑞信正在通过标准化开放的云平台(包括Azure Databricks)来克服这些障碍,以提高整个组织的运营和ML的速度和规模。”bob体育客户端下载

-瑞士信贷案例分析

背景图像

信任

我们的可信平台是通过在整bob体育客户端下载个软件开发和交付生命周期中嵌入安全性来构建的。我们遵循严格的操作安全实践,如渗透测试、漏洞评估和强大的内部访问控制。我们相信透明度是赢得信任的关键——我们公开分享我们的运营方式,并与客户和合作伙伴密切合作,以满足他们的安全需求。bob体育外网下载我们提供符合PCI-DSS, HIPAA和FedRAMP的产品,我们是ISO 27001, ISO 27017, ISO 27018和SOC 2 Type II兼容的

合同的承诺

除了您可以在我们的安全与信任中心找到的文档和最佳实践之外,我们还向所有客户提供以通俗语言编写的安全合同承诺。这种承诺体现在安全附件我们的客户协议,该协议描述了我们为保证您的数据安全所遵循的安全措施和实践。

脆弱性管理

检测并快速修复您所依赖的易受攻击的软件是任何软件或服务提供商最重要的责任之一。我们认真对待这一责任,并在我们的网站上分享我们的补救时间表承诺安全附件

在内部,我们有自动化的漏洞管理,以有效地跟踪、优先级、协调和补救我们环境中的漏洞。我们每天对Databricks和Databricks使用的第三方/开源包进行经过身份验证的漏洞扫描,以及使用可信的安全扫描工具进行静态和动态代码分析(SAST和DAST),然后再将新代码或图像推广到生产环境中。Databricks还聘请第三方专家分析我们面向公众的网站,并报告潜在风险。

Databricks已经资助了一个漏洞响应计划,用于在我们的扫描供应商报告给我们之前监控新出现的漏洞。我们使用内部工具、社交媒体、邮件列表和威胁情报来源(例如,US-CERT和其他政府、行业和开源提要)来实现这一目标。Databricks监控开放的漏洞平台,例如bob体育客户端下载CVE趋势而且打开CVDB.我们有一个既定的流程来应对这些问题,因此我们可以快速识别对我们公司、产品或客户的影响。该程序允许我们快速重现报告的漏洞并解决零日漏洞。

我们的漏洞管理计划致力于以最高的紧迫性处理严重程度为0的漏洞,例如零日漏洞,将其修复优先于其他部署。

渗透测试和bug奖励

我们通过内部攻击性安全团队、合格的第三方渗透测试人员和全年的公开漏洞赏金计划来执行渗透测试。我们混合使用模糊、安全代码审查和动态应用程序测试来评估我们平台的完整性和应用程序的安全性。bob体育客户端下载我们对主要版本、新服务和安全敏感功能进行渗透测试。攻击性安全团队与我们的事件响应团队和工程内部的安全冠军合作,解决发现问题,并在整个公司内注入经验教训。

我们通常每年进行8-10次外部第三方渗透测试和15-20次内部渗透测试,在测试被标记为通过之前,必须解决所有的材料问题。作为我们对透明度承诺的一部分,我们在我们的平台上公开分享我们的平台范围的第三方测试报告bob体育客户端下载尽职调查方案

我们的公众bug赏金该项目由HackerOne推动,允许全球网络安全研究人员和渗透测试人员对Databricks的安全漏洞进行测试。为了使项目取得成功,我们做出的一些关键决定包括:

  • 通过提供HackerOne项目统计数据的透明度,例如回复率和支付金额,鼓励黑客社区积极参与我们的项目
  • 及时响应bug赏金提交,平均赏金时间在一周以内
  • 对每个有效提交执行变体分析,以确定漏洞可能使用的替代方式,并验证100%的修复
  • 增加奖励,将注意力吸引到产品最重要的领域

我们努力使我们的项目成功,并从每次提交中学习。我们的漏洞赏金计划以开放和合作的方式进行,已经有超过100名安全研究人员因超过200份报告而受到感谢。感谢大家帮助我们保持数据库的安全!

我们希望我们的客户对他们在Databricks上运行的工作负载有信心。如果您的团队希望对Databricks运行漏洞扫描或渗透测试,我们鼓励您:

  1. 在位于云服务提供商帐户内的数据平面系统上运行漏洞扫描。
  2. 针对您的代码运行测试,前提是这些测试完全包含在位于您的云服务提供商帐户中的数据平面(或其他系统)中,并且正在评估您的控件。
  3. 加入Databricks Bug Bounty程序访问Databricks的专用部署以执行渗透测试。任何针对我们的多租户控制平面的渗透测试都需要参与该计划。

安全调查和事件响应

我们使用Databricks作为SIEM和XDR平台,每天处理超过9tb的数bob体育客户端下载据,用于检测和安全调查。我们接收并处理来自云基础设施、设备、身份管理系统和SaaS应用程序的日志和安全信号。我们使用结构化的流管道和Delta Live表来识别最相关的安全事件,使用数据驱动的方法和统计ML模型来生成新的警报,或对已知安全产品的现有警报进行关联、重复删除和优先级排序。我们对对手战术、技术和程序(TTP)进行建模主教法冠ATT&CK框架。我们的安全调查团队使用协作的Databricks笔记本创建可重复的调查过程,不断演变事件调查手册,并对超过2pb的历史事件日志执行威胁搜索,处理非结构化和半结构化数据的复杂搜索。

我们的事件响应团队保持最新状态,并通过以下方式帮助Databricks准备事件管理场景:

  • 参加业界知名的供应商课程,如SANS和参加安全会议,如fwd:cloudsec, Black Hat, BSides, RSA
  • 与行政领导和内部团队定期进行桌面练习,以练习与Databricks产品和公司基础设施相关的安全响应场景
  • 与工程团队合作,优先考虑平台的可观察性,以实现有效的安全检测和响应bob体育客户端下载
  • 根据不断发展的事件响应技能和能力矩阵,定期更新招聘和培训策略

内部访问

我们对内部员工访问我们的生产系统、客户环境和客户数据实行严格的政策和控制。

我们需要多因素身份验证来访问核心基础设施控制台,如云服务提供商控制台(AWS、GCP和Azure)。Databricks有策略和过程,尽可能避免使用显式凭据,如密码或API密钥。例如,只有指定的安全团队成员才能处理新的AWS IAM主体或策略的异常请求。

Databricks员工可以在非常特定的情况下(例如紧急故障修复)访问生产系统。访问由databicks构建的系统进行管理,该系统验证访问并执行策略检查。访问要求员工连接到我们的VPN,并使用我们的单点登录解决方案与多因素身份验证进行身份验证。
BOB低频彩了解更多→

我们的内部安全标准要求在任何可能的情况下将职责分开。例如,我们将云身份验证提供者的身份验证和授权过程集中起来,以分离授权访问(Mary应该访问系统)和授予访问(Mary现在可以访问系统)。

无论是在内部系统中还是在对生产系统的访问中,我们都优先考虑最少的特权访问。最低特权明确地建立在我们的内部政策中,并反映在我们的程序中。例如,大多数客户可以控制Databricks员工是否有权访问他们的工作空间,在授予访问权限之前,我们通过编程应用大量检查,并在有限的时间后自动撤销访问权限。
BOB低频彩了解更多→

安全的软件开发生命周期

Databricks拥有一个软件开发生命周期(SDLC),它将安全性构建到所有的设计、开发和生产步骤中——从功能请求到生产监控——由旨在跟踪整个生命周期中的功能的工具支持。我们有自动安全扫描和自动漏洞跟踪系统,库和代码。

Databricks利用思想门户它可以跟踪功能需求,并允许客户和员工投票。我们的功能设计过程包括设计隐私和安全。在初步评估之后,高影响功能将接受产品安全团队与工程安全负责人联合进行的安全设计审查,以及威胁建模和其他特定于安全的检查。

我们使用敏捷开发方法,将新功能分解为多个sprint。Databricks不会将Databricks平台的开发外包出去,所有开发人员在受雇时和以后每年都必须接受安全的软件开发培训——bob体育客户端下载包括OWASP Top 10。生产数据和环境与开发、QA和登台环境分离。所有代码都被检入一个源代码控制系统,该系统需要单点登录、多因素身份验证和细粒度权限。代码合并需要得到每个受影响区域的功能工程所有者的批准,并且所有代码都要经过同行评审。产品安全团队手动检查对安全性敏感的代码,以消除业务逻辑错误。

我们使用最佳工具来识别易受攻击的包或代码。预生产环境中的自动化运行操作系统和已安装包的经过身份验证的主机和容器漏洞扫描,以及动态和静态代码分析扫描。针对任何漏洞自动创建工程票据,并分配给相关团队。产品安全团队还对关键漏洞进行分类,以评估其在Databricks体系结构中的严重程度。

我们在SDLC过程的多个阶段运行质量检查(如单元测试和端到端测试),包括代码合并时、代码合并后、发布时和生产中。我们的测试包括阳性测试、回归测试和阴性测试。部署后,我们可以进行广泛的监视以识别故障,用户可以通过状态页.如果出现任何P0或P1问题,Databricks自动化会触发一个“5个为什么”的根本原因分析方法,选择一个事后分析团队的成员来监督审查。调查结果传达给行政领导,并跟踪后续项目。

Databricks有一个正式的发布管理过程,其中包括在发布代码之前正式的放行/不放行决定。更改将通过旨在避免回归的测试,并验证新功能已经在实际工作负载上测试过。此外,有一个阶段性的推出,通过监视来尽早发现问题。为了实现职责分离,只有我们的部署管理系统可以向生产发布变更,并且所有部署都需要多人批准。

我们遵循一个不变的基础设施模型,其中系统被替换而不是打补丁,以提高可靠性和安全性,并避免配置漂移的风险。当启动新的系统映像或应用程序代码时,我们将工作负载转移到随新代码一起启动的新实例。对于控制平面和数据平面都是如此(请参阅有关Databricks体系结构的更多信息,请参见安全特性部分).一旦代码投入生产,验证过程就会确认工件没有未经授权添加、删除或更改。

SDLC流程的最后一个阶段是创建面向客户的文档。Databricks文档的管理方式很像我们的源代码,文档存储在同一个源代码控制系统中。重要的更改在合并和发布之前需要技术和文档团队的评审。
参观文件→

安全策略和通信详细信息

Databricks在安全漏洞处理和通信方面遵循RFC 9116、ISO/IEC 30111:2019(E)和ISO/IEC 29147:2018(E)标准。有关我们的保密通讯及PGP签名的详情,请参阅我们的security.txt文件。

背景图像

安全特性

我们提供全面的安全措施来保护您的数据和工作负载,例如加密、网络控制、数据治理和审计。

Customer-Managed键

使用Databricks上的客户管理密钥对数据加密进行更大的控制。

BOB低频彩
私人联系

使用私有链接从您的网络安全地连接到Databricks。

BOB低频彩
增强安全性和遵从性

利用最高标准的Databricks安全使用增强的安全性和合规性。

BOB低频彩
网络访问

部署到您管理和保护的VPC/VNet的选项。默认情况下,数据平面没有入站网络连接。

AWSAzure

用户或客户端对Databricks控制平面UI和api的私有访问(或私有链接)

AWSAzure

从经典数据平面到Databricks控制平面的私有访问(或私有链接)

AWSAzure

从经典数据平面到云平台上数据的私有访问(或私有链接)bob体育客户端下载

AWSAzure

IP访问列表,用于控制通过internet访问Databricks控制平面UI和api

AWSAzureGCP

基于主机的自动防火墙,限制通信

AWSAzureGCP

用户和组管理

使用云服务提供商身份管理与云资源无缝集成

AWSAzureGCP

支持Azure活动目录条件访问策略

Azure(不适用AWS / GCP)

用于管理用户标识和组的SCIM供应

AWSAzureGCP

带有标识提供程序集成的单点登录(您可以通过标识提供程序启用MFA)

AWS(Azure / GCP不适用*)

服务主体或服务帐户管理应用程序标识以实现自动化

AWSAzureGCP

用户帐户锁定,暂时禁止用户访问Databricks

AWS(Azure / GCP不适用*)

禁用具有密码权限的本地密码

AWS(Azure / GCP不适用*)

访问管理

对所有Databricks对象(包括工作区、作业、笔记本、SQL)的基于细粒度权限的访问控制

AWSAzureGCP

使用权限管理的个人访问令牌保护API访问

AWSAzureGCP

OAuth令牌支持

AzureGCP

在多个工作空间中使用不同的安全配置文件划分用户、工作负载和数据

AWSAzureGCP

数据安全

静止时控制平面数据加密

AWSAzureGCP

客户管理的密钥加密可用

AWSAzure

控制平面和数据平面之间所有通信传输中的加密

AWSAzureGCP

集群内Spark传输加密或平台优化传输加密bob体育客户端下载

AWSAzure

细粒度的数据安全性和屏蔽动态视图

AWSAzureGCP

管理控制以限制数据泄露的风险

AWSAzureGCP

数据治理

的细粒度数据治理统一目录

AWSAzure

统一目录集中元数据和用户管理

AWSAzure

集中的数据访问控制与统一目录

AWSAzure

数据沿袭与统一目录

在AWS和Azure上预览

使用Unity Catalog进行数据访问审计

AWSAzure

安全的数据共享三角洲分享

AWSAzure

工作负载的安全

使用回购协议有效地管理代码版本

AWSAzureGCP

内置秘密管理,避免在代码中硬编码凭证

AWSAzureGCP

管理数据平面机器图像定期更新补丁,安全扫描和基本加固

AWS、Azure(不适用GCP)

通过集群策略控制成本,加强安全性和验证需求

AWSAzureGCP

不可改变的短期基础设施,以避免配置漂移

AWSAzureGCP

增强了管理数据平面图像的安全监控和漏洞报告的加固

AWS

审计和日志记录

Databricks用户活动的全面和可配置的审计日志

AWSAzureGCP

Databricks SQL命令历史日志记录

AWSAzure

数据集群日志记录

AWSAzure

安全验证(遵从性)

符合ISO 27001, 27017, 27018标准

AWS, Azure, GCP

SOC 1 II型,SOC 2 II型,SOC 3

AWS, Azure, GCP

GDPR和CCPA合规性

AWS, Azure, GCP

PCI dss兼容部署

AWS, Azure

FedRAMP适度遵从

AWSAzure

FedRAMP高遵从性

Azure

与hipaa兼容的部署

AWSAzureGCP

HITRUST

Azure

* Azure Databricks与Azure Active Directory集成,GCP上的Databricks与谷歌Identity集成。不能在Databricks中配置这些,但可以根据需要配置Azure Active Directory或谷歌Identity。

安全最佳实践

Databricks已与数以千计的客户合作,以安全部署Databricks平台,其安全特性满足他们的架构需求。bob体育客户端下载本文档提供了一份安全实践、注意事项和模式的清单,您可以将其应用于您的部署,这些都是从我们的企业约定中学到的。

查看文档AWSAzure而且GCP

安全分析工具

安全工作空间分析工具(SAT)通过根据我们的安全最佳实践审查部署来监视您的工作空间加固。它使用标准API调用以编程方式验证工作空间,并根据严重程度报告偏差,并提供解释如何提高安全性的链接。

查看我们的博客有关详情及Github开始使用AWS、Azure和GCP。

Databricks安全文档

Databricks包括关于如何操作我们的安全功能和最佳实践的文档,以帮助我们的客户快速安全地部署。文档主要针对部署或使用Databricks的团队。

访问文档AWSGCPAzure

数据库安全与信任概述白皮书

安全概述白皮书旨在提供Databricks各个方面的摘要,供安全团队快速查看。

查看文档

共同责任模式

Databricks共享责任模型概述了Databricks和客户对Databricks平台上的数据和服务的安全性和遵从性义务。bob体育客户端下载

查看文档

bob体育客户端下载平台架构

Databricks Lakehouse架构分为两个单独的平面,以简化您的权限,避免数据重复和降低风险。控制平面是Databricks运行工作空间应用程序、管理笔记本、配置和集群的管理平面。除非你选择使用serverless计算,数据平面在您的云服务提供商帐户内运行,处理您的数据而无需将其从您的帐户中取出。您可以将Databricks嵌入到您的数据泄露保护架构中,使用诸如客户管理的vpc /VNets和管理控制台选项来禁用导出。

虽然某些数据(例如您的笔记本电脑、配置、日志和用户信息)存在于控制平面中,但这些信息在静止时在控制平面中是加密的,并且进出控制平面的通信在传输过程中是加密的。您还可以选择某些数据的存储位置:您可以托管关于数据表的元数据存储(Hive metastore),将查询结果存储在您的云服务提供商帐户中,并决定是否使用Databricks Secrets API

假设您有一个数据工程师登录到Databricks并编写了一个笔记本,将Kafka中的原始数据转换为规范化的数据集,并发送到Amazon S3或Azure data Lake storage等存储设备。实现这一目标有六个步骤:

  1. 数据工程师通过您的单点登录(如果需要的话)无缝地对Databricks帐户托管的控制平面中的Databricks web UI进行身份验证。
  2. 当数据工程师编写代码时,他们的web浏览器将其发送到控制平面。JDBC/ODBC请求也遵循相同的路径,使用令牌进行身份验证。
  3. 当准备就绪时,控制平面使用Cloud Service Provider api在CSP帐户中创建Databricks集群,该集群由数据平面中的新实例组成。管理员可以应用集群策略来实施安全配置文件。
  4. 实例启动后,集群管理器将数据工程师的代码发送到集群。
  5. 集群从你账户中的Kafka中提取数据,转换你账户中的数据,并将其写入你账户中的存储。
  6. 集群向集群管理器报告状态和任何输出。

数据工程师不需要担心很多细节——他们只需要编写代码,Databricks就可以运行它。

合规

全世界的客户都信任我们,把他们最敏感的数据交给我们。Databricks已经实施了控制,以满足高度监管行业的独特合规需求。

尽职调查方案

自助安全审查,您可以下载我们的尽职调查包。它包括常见的合规文件,如我们的ISO认证和我们的年度钢笔测试确认信。您也可以联系您的Databricks客户团队,以获取我们的企业安全指南和SOC 2 Type II报告的副本。

下载

认证和标准

背景图像

概述

Databricks非常重视隐私。我们理解您使用Databricks分析的数据对您的组织和客户都很重要,并且可能受到各种隐私法律法规的约束。

为了帮助您了解Databricks如何适应可能适用于您的监管框架,我们准备了隐私常见问题解答和文档,透明地说明Databricks如何处理隐私。

背景图像

帮助调查Databricks工作空间中的安全事件

如果您怀疑您的工作空间数据可能已被泄露,或者您注意到数据中存在不一致或不准确的地方,请尽快向Databricks报告。

报告来自Databricks的垃圾邮件或可疑通信

如果您收到垃圾邮件或任何您认为是欺诈的通信,或有不适当的,不适当的内容或恶意软件,请尽快联系Databricks。

了解Databricks产品的内部漏洞扫描报告

为了帮助分析漏洞扫描报告,请通过您的Databricks支持渠道提出支持请求,提交产品版本、任何特定配置、特定报告输出以及扫描是如何进行的。

了解CVE如何影响Databricks工作空间或运行时

如果您需要关于第三方CVE或Databricks CVE影响的信息,请通过您的Databricks支持渠道提出支持请求,并提供在数据库中找到的CVE描述、严重性和参考国家漏洞数据库

报告Databricks产品或服务中的错误

如果您在我们的任何产品中发现了可复制的漏洞,我们希望知道,以便我们可以解决它。请加入我们的公共漏洞赏金计划由HackerOne协助。

背景图像

HIPAA

HIPAA是一项美国法规,其中包括对受保护健康信息的各种保护。Databricks具有符合hipaa的部署选项。

支持云

地区

Azure多租户-所有区域

AWS单一租户-所有区域

AWS多租户- us-east-1, us-east-2, ca-central-1, us-west-2