セキュリティ&トラストセンタ

デ,タ保護は数据库の最優先事項です

背景

砖では,お客様にとっての貴重な資産であるデータが常に保護されるよう,レイクハウスプラットフォームの全レイヤーにセキュリティを組み込んでいます。また,プラットフォーム利用におけるコンプライアンスを確実にし,お客様に対する透明性を維持することで,お客様に安心して利用していただけるサービスの提供に努めています。

砖のセキュリティをお客様にセルフサービスでレビューしていただけるよう,コンプライアンス関連資料をご用意しています。

埃森哲咨询公司
Wehkamp标志
Wehkamp标志
“砖のプラットフォームは運用とガバナンスの管理がシンプルで,組織全体のデータドリブンな意思決定が促進されています。容易なユーザー追加機能,主要なクラウドプロバイダとのネイティブなセキュリティ統合,充実したAPIにより,データとツールを社員が効率よく利用できるようになりました。」

Wehkamp社リ,ドデ,タサ,エンティスト
トム·ムルダ(汤姆·穆德)氏

Adren街实验室
Wehkamp标志
Wehkamp标志
“Azure Databricksを基盤として10件ほどのソリュ,ションを構築しました。Azure砖を利用したことで、データのセキュリティとコンピュートのスケーラビリティを確保すると同時に、ラボから実運用までの時間を短縮できるようになりました。」

Arden Street Labs社CTOジェフ·フェルドマン(Jeff Feldman)氏

クレディ·スescス
Wehkamp标志
Wehkamp标志
金融サ,ビス業界では,ビッグデ,タやaiを採用する企業が増加しています。しかし,依然として多くの企業が,データタイプ,プライバシー,スケーリングの面で重大な課題を抱えているのが実情です。世界有数の金融機関クレディ・スイス社は,Azure砖などのクラウドベースのオープンプラットフォームを活用することで,データの標準化を進めてこの課題に対応しています。また,組織全体でのオペレーション効率の向上と大規模データを対象とした機械学習の高速化に取り組んでいます。」

-瑞士信贷案例分析

背景

トラスト

我们的可信平台是通过在整bob体育客户端下载个软件开发和交付生命周期中嵌入安全性来构建的。我们遵循严格的操作安全实践,如渗透测试、漏洞评估和强大的内部访问控制。我们相信透明度是赢得信任的关键——我们公开分享我们的运营方式,并与客户和合作伙伴密切合作,以满足他们的安全需求。bob体育外网下载我们提供符合PCI-DSS, HIPAA和FedRAMP的产品,我们是ISO 27001, ISO 27017, ISO 27018和SOC 2 Type II兼容的

契約上の要件

除了您可以在我们的安全与信任中心找到的文档和最佳实践之外,我们还向所有客户提供以通俗语言编写的安全合同承诺。这种承诺体现在安全附件我们的客户协议,该协议描述了我们为保证您的数据安全所遵循的安全措施和实践。

脆弱性の管理

检测并快速修复您所依赖的易受攻击的软件是任何软件或服务提供商最重要的责任之一。我们认真对待这一责任,并在我们的网站上分享我们的补救时间表承诺安全附件

在内部,我们有自动化的漏洞管理,以有效地跟踪、优先级、协调和补救我们环境中的漏洞。我们每天对Databricks和Databricks使用的第三方/开源包进行经过身份验证的漏洞扫描,以及使用可信的安全扫描工具进行静态和动态代码分析(SAST和DAST),然后再将新代码或图像推广到生产环境中。Databricks还聘请第三方专家分析我们面向公众的网站,并报告潜在风险。

Databricks已经资助了一个漏洞响应计划,用于在我们的扫描供应商报告给我们之前监控新出现的漏洞。我们使用内部工具、社交媒体、邮件列表和威胁情报来源(例如,US-CERT和其他政府、行业和开源提要)来实现这一目标。Databricks监控开放的漏洞平台,例如bob体育客户端下载CVE趋势而且打开CVDB.我们有一个既定的流程来应对这些问题,因此我们可以快速识别对我们公司、产品或客户的影响。该程序允许我们快速重现报告的漏洞并解决零日漏洞。

我们的漏洞管理计划致力于以最高的紧迫性处理严重程度为0的漏洞,例如零日漏洞,将其修复优先于其他部署。

ペネトレ,ションテストとバグバウンティ

我们通过内部攻击性安全团队、合格的第三方渗透测试人员和全年的公开漏洞赏金计划来执行渗透测试。我们混合使用模糊、安全代码审查和动态应用程序测试来评估我们平台的完整性和应用程序的安全性。bob体育客户端下载我们对主要版本、新服务和安全敏感功能进行渗透测试。攻击性安全团队与我们的事件响应团队和工程内部的安全冠军合作,解决发现问题,并在整个公司内注入经验教训。

我们通常每年进行8-10次外部第三方渗透测试和15-20次内部渗透测试,在测试被标记为通过之前,必须解决所有的材料问题。作为我们对透明度承诺的一部分,我们在我们的平台上公开分享我们的平台范围的第三方测试报告bob体育客户端下载尽职调查方案

我们的公众bug赏金该项目由HackerOne推动,允许全球网络安全研究人员和渗透测试人员对Databricks的安全漏洞进行测试。为了使项目取得成功,我们做出的一些关键决定包括:

  • 通过提供HackerOne项目统计数据的透明度,例如回复率和支付金额,鼓励黑客社区积极参与我们的项目
  • 及时响应bug赏金提交,平均赏金时间在一周以内
  • 对每个有效提交执行变体分析,以确定漏洞可能使用的替代方式,并验证100%的修复
  • 增加奖励,将注意力吸引到产品最重要的领域

我们努力使我们的项目成功,并从每次提交中学习。我们的漏洞赏金计划以开放和合作的方式进行,已经有超过100名安全研究人员因超过200份报告而受到感谢。感谢大家帮助我们保持数据库的安全!

我们希望我们的客户对他们在Databricks上运行的工作负载有信心。如果您的团队希望对Databricks运行漏洞扫描或渗透测试,我们鼓励您:

  1. 在位于云服务提供商帐户内的数据平面系统上运行漏洞扫描。
  2. 针对您的代码运行测试,前提是这些测试完全包含在位于您的云服务提供商帐户中的数据平面(或其他系统)中,并且正在评估您的控件。
  3. 加入Databricks Bug Bounty程序访问Databricks的专用部署以执行渗透测试。任何针对我们的多租户控制平面的渗透测试都需要参与该计划。

安全调查和事件响应

我们使用Databricks作为SIEM和XDR平台,每天处理超过9tb的数bob体育客户端下载据,用于检测和安全调查。我们接收并处理来自云基础设施、设备、身份管理系统和SaaS应用程序的日志和安全信号。我们使用结构化的流管道和Delta Live表来识别最相关的安全事件,使用数据驱动的方法和统计ML模型来生成新的警报,或对已知安全产品的现有警报进行关联、重复删除和优先级排序。我们对对手战术、技术和程序(TTP)进行建模主教法冠ATT&CK框架。我们的安全调查团队使用协作的Databricks笔记本创建可重复的调查过程,不断演变事件调查手册,并对超过2pb的历史事件日志执行威胁搜索,处理非结构化和半结构化数据的复杂搜索。

我们的事件响应团队保持最新状态,并通过以下方式帮助Databricks准备事件管理场景:

  • 参加业界知名的供应商课程,如SANS和参加安全会议,如fwd:cloudsec, Black Hat, BSides, RSA
  • 与行政领导和内部团队定期进行桌面练习,以练习与Databricks产品和公司基础设施相关的安全响应场景
  • 与工程团队合作,优先考虑平台的可观察性,以实现有效的安全检测和响应bob体育客户端下载
  • 根据不断发展的事件响应技能和能力矩阵,定期更新招聘和培训策略

内部アクセス

本番稼働システム,顧客環境,顧客データへの社員のアクセスについては,厳格なポリシーと制御を適用しています。

我们需要多因素身份验证来访问核心基础设施控制台,如云服务提供商控制台(AWS、GCP和Azure)。Databricks有策略和过程,尽可能避免使用显式凭据,如密码或API密钥。例如,只有指定的安全团队成员才能处理新的AWS IAM主体或策略的异常请求。

Databricks员工可以在非常特定的情况下(例如紧急故障修复)访问生产系统。访问由databicks构建的系统进行管理,该系统验证访问并执行策略检查。访问要求员工连接到我们的VPN,并使用我们的单点登录解决方案与多因素身份验证进行身份验证。
BOB低频彩了解更多→

我们的内部安全标准要求在任何可能的情况下将职责分开。例如,我们将云身份验证提供者的身份验证和授权过程集中起来,以分离授权访问(Mary应该访问系统)和授予访问(Mary现在可以访问系统)。

无论是在内部系统中还是在对生产系统的访问中,我们都优先考虑最少的特权访问。最低特权明确地建立在我们的内部政策中,并反映在我们的程序中。例如,大多数客户可以控制Databricks员工是否有权访问他们的工作空间,在授予访问权限之前,我们通过编程应用大量检查,并在有限的时间后自动撤销访问权限。
BOB低频彩了解更多→

セキュアなソフトウェア開発ラ▪▪フサ▪▪クル

Databricks拥有一个软件开发生命周期(SDLC),它将安全性构建到所有的设计、开发和生产步骤中——从功能请求到生产监控——由旨在跟踪整个生命周期中的功能的工具支持。我们有自动安全扫描和自动漏洞跟踪系统,库和代码。

Databricks利用思想门户它可以跟踪功能需求,并允许客户和员工投票。我们的功能设计过程包括设计隐私和安全。在初步评估之后,高影响功能将接受产品安全团队与工程安全负责人联合进行的安全设计审查,以及威胁建模和其他特定于安全的检查。

我们使用敏捷开发方法,将新功能分解为多个sprint。Databricks不会将Databricks平台的开发外包出去,所有开发人员在受雇时和以后每年都必须接受安全的软件开发培训——bob体育客户端下载包括OWASP Top 10。生产数据和环境与开发、QA和登台环境分离。所有代码都被检入一个源代码控制系统,该系统需要单点登录、多因素身份验证和细粒度权限。代码合并需要得到每个受影响区域的功能工程所有者的批准,并且所有代码都要经过同行评审。产品安全团队手动检查对安全性敏感的代码,以消除业务逻辑错误。

砖では,ベストオブブリードのツールを使用して,脆弱性のあるパッケージやコードを特定しています。本番前の環境における自動化では,認証済みホストとコンテナに対して,オペレーティングシステムとインストールされたパッケージの脆弱性スキャン,および動的・静的コード分析スキャンを実行します。脆弱性が確認された場合は,エンジニアリングチケットが自動的に作成され,関連チームに割り当てられます。また,製品のセキュリティチームは,砖アーキテクチャにおける重要な脆弱性をトリアージし,その深刻度を評価しています。

我们在SDLC过程的多个阶段运行质量检查(如单元测试和端到端测试),包括代码合并时、代码合并后、发布时和生产中。我们的测试包括阳性测试、回归测试和阴性测试。部署后,我们可以进行广泛的监视以识别故障,用户可以通过状态页.如果出现任何P0或P1问题,Databricks自动化会触发一个“5个为什么”的根本原因分析方法,选择一个事后分析团队的成员来监督审查。调查结果传达给行政领导,并跟踪后续项目。

Databricks有一个正式的发布管理过程,其中包括在发布代码之前正式的放行/不放行决定。更改将通过旨在避免回归的测试,并验证新功能已经在实际工作负载上测试过。此外,有一个阶段性的推出,通过监视来尽早发现问题。为了实现职责分离,只有我们的部署管理系统可以向生产发布变更,并且所有部署都需要多人批准。

我们遵循一个不变的基础设施模型,其中系统被替换而不是打补丁,以提高可靠性和安全性,并避免配置漂移的风险。当启动新的系统映像或应用程序代码时,我们将工作负载转移到随新代码一起启动的新实例。对于控制平面和数据平面都是如此(请参阅有关Databricks体系结构的更多信息,请参见安全特性部分).一旦代码投入生产,验证过程就会确认工件没有未经授权添加、删除或更改。

SDLC流程的最后一个阶段是创建面向客户的文档。Databricks文档的管理方式很像我们的源代码,文档存储在同一个源代码控制系统中。重要的更改在合并和发布之前需要技术和文档团队的评审。
参观文件→

安全策略和通信详细信息

Databricks在安全漏洞处理和通信方面遵循RFC 9116、ISO/IEC 30111:2019(E)和ISO/IEC 29147:2018(E)标准。有关我们的保密通讯及PGP签名的详情,请参阅我们的security.txt文件。

背景
ネットワ,クアクセス クラウド

部署到您管理和保护的VPC/VNet的选项。默认情况下,数据平面没有入站网络连接。

AWSAzure

ユーザーやクライアントから砖のコントロールプレーンUIおよびAPIへのプライベートアクセス(またはプライベートリンク)

AWSAzure

従来のデータプレーンから砖のコントロールプレーンへのプライベートアクセス(またはプライベートリンク)

AWSAzure

従来のデータプレーンからクラウドプラットフォーム上のデータへのプライベートアクセス(またはプライベートリンク)

AWSAzure

IPアクセスリストによる砖のコントロールプレーンのUIやAPIへのインターネット経由のアクセス制御

AWSAzureGCP

ホストベスの自動ファアウォルによる通信制限

AWSAzureGCP

ユ,ザ,およびグル,プの管理 クラウド

クラウドのサビスプロバダのid管理を利用したクラウドリソスとのシムレスな統合

AWSAzureGCP

Azure Active Directoryの条件付きアクセスポリシ,のサポ,ト

Azure(aws, gcpは対象外)

Scimプロビジョニングによるユ,ザ,idおよびグル,プ管理

AWSAzureGCP

IDプロバイダの統合によるシングルサインオン(IDプロバイダ経由でMFAを有効化できます)

Azure(aws, gcpは対象外*)

サ,ビスプリンシパルまたはサ,ビスアカウントによる自動化されたアプリケ,ションidの管理

AWSAzureGCP

数据库へのユ,ザ,アクセスを一時的に無効にするユ,ザ,アカウントのロック

Azure(aws, gcpは対象外*)

パスワ,ド権限を使用したロ,カルパスワ,ドの無効化

Azure(aws, gcpは対象外*)

アクセス管理 クラウド

对所有Databricks对象(包括工作区、作业、笔记本、SQL)的基于细粒度权限的访问控制

AWSAzureGCP

権限管理を使用した個人アクセストクンによるセキュアなAPIアクセス

AWSAzureGCP

OAuthト,クンのサポ,ト

AzureGCP

複数ワークスペースの異なるセキュリティプロファイルを持つユーザー,ワークロード,データのセグメント化

AWSAzureGCP

デ,タセキュリティ クラウド

保存コントロ,ルプレ,ンデ,タの暗号化

AWSAzureGCP

カスタマ,マネ,ジドキ,の暗号化

AWSAzure

コントロルプレンとデタプレン間の全ての送受信デタの暗号化

AWSAzureGCP

集群内Spark传输加密或平台优化传输加密bob体育客户端下载

AWSAzure

ダナミックビュによるきめ細やかなデ,タセキュリティとマスキング

AWSAzureGCP

デ,タ流出リスクを抑制する管理者コントロ,ル

AWSAzureGCP

数据治理 クラウド

Unityカタログによるきめ細やかなデ,タガバナンス

AWSAzure

统一目录集中元数据和用户管理

AWSAzure

集中的数据访问控制与统一目录

AWSAzure

数据沿袭与统一目录

在AWS和Azure上预览

使用Unity Catalog进行数据访问审计

AWSAzure

安全的数据共享三角洲分享

AWSAzure

ワ,クロ,ドセキュリティ クラウド

回购を使用した効率的なコ,ドのバ,ジョン管理

AWSAzureGCP

コ,ド内での認証情報のハ,ドコ,ディングを回避する組み込みのシ,クレット管理

AWSAzureGCP

バッチ,セキュリティスキャン,基本的なハードニングにより定期的に更新されるマネージドデータプレーンのマシンイメージ

AWS、Azure(不适用GCP)

クラスタポリシ,によるコスト抑制,セキュリティと検証ニ,ズの強化

AWSAzureGCP

構成のドリフトを回避する短命の▪▪ミュ▪▪ダブル▪▪ンフラストラクチャ

AWSAzureGCP

增强了管理数据平面图像的安全监控和漏洞报告的加固

AWS

監査とロギング クラウド

数据库ユ,ザ,のアクティビティに関する包括的で構成可能な監査ロギング

AWSAzureGCP

Databricks SQLコマンド履歴のロギング

AWSAzure

数据库によるクラスタのロギング

AWSAzure

セキュリティ検証(コンプラaapl .アンス) クラウド

Iso 27001, 27017, 27018への準拠

AWS, Azure, GCP

SOC 1 II型,SOC 2 II型,SOC 3

AWS, Azure, GCP

Gdpr / ccpaへの準拠

AWS, Azure, GCP

Pci DSS要件に準拠したデプロメント

AWS

FedRAMP(中レベル)への準拠

AWSAzure

FedRAMP(高レベル)への準拠

Azure

Hipaa要件に準拠したデプロメント

AWSAzureGCP

HITRUST

Azure

* Azure DatabricksはAzure Active Directoryと統合されており,GCP上的Databricksは谷歌身份と統合されています。砖での設定はできませんが,必要に応じてAzure Active Directoryまたは谷歌身份を設定できます。

安全最佳实践

Databricks已与数以千计的客户合作,以安全部署Databricks平台,其安全特性满足他们的架构需求。bob体育客户端下载本文档提供了一份安全实践、注意事项和模式的清单,您可以将其应用于您的部署,这些都是从我们的企业约定中学到的。

查看文档AWSAzure而且GCP

安全分析工具

安全工作空间分析工具(SAT)通过根据我们的安全最佳实践审查部署来监视您的工作空间加固。它使用标准API调用以编程方式验证工作空间,并根据严重程度报告偏差,并提供解释如何提高安全性的链接。

视图博客有关详细信息,和GitHub开始吧。
(目前适用于AWS)

Databricks安全文档

Databricks包括关于如何操作我们的安全功能和最佳实践的文档,以帮助我们的客户快速安全地部署。文档主要针对部署或使用Databricks的团队。

访问文档AWSGCPAzure

数据库安全与信任概述白皮书

安全概述白皮书旨在提供Databricks各个方面的摘要,供安全团队快速查看。

查看文档

プラットフォ,ムのア,キテクチャ

砖のレイクハウスアーキテクチャは2つのプレーンに分割され,権限設定の簡素化,データの重複の回避,リスクの軽減を実現します。コントロールプレーンは,砖がワークスペースアプリケーションの実行や,ノートブック,構成,クラスタなどを管理する管理プレーンです。サ,バ,レスコンピュ,ティングを選択しない限り,データプレーンはユーザーのクラウドサービスプロバイダのアカウント内で実行し,アカウントからデータを取り出すことなく処理します。顧客管理のVPC / VNetやエクスポートを無効にする管理コンソールオプションなどの機能を使用して,砖をデータ漏出保護アーキテクチャに組み込むことができます。

ノートブック,構成,ログ,ユーザー情報などの特定のデータがコントロールプレーン内に存在しても,その情報は,コントロールプレーン内では保存データ暗号化で,コントロールプレーン間の通信では送受信データの暗号化によって保護されます。また,特定のデ,タの保存場所を選択できます。データテーブルに関する独自のメタデータストア(蜂巢メタストア)のホストや,クエリ結果をユーザーのクラウドサービスプロバイダのアカウントに格納してからDatabricks秘密APIの使用を決定することも可能です。

卡夫卡の未加工データを正規化されたデータセットに変換し,Amazon S3やAzure数据存储な湖どのストレージに送信するためのノートブックをデータエンジニアが砖で作成するとします。その際の流れは次のようになります。

  1. ユ,ザ,認証:データエンジニアをシームレスに認証し,砖アカウントでホストされているコントロールプレーンの砖Web UIへのアクセスを可能にする(シングルサインオンも選択可能)。
  2. コ,ドの送信:デ,タエンジニアが記述したコ,ドは,Webブラウザからコントロ,ルプレ,ンに送信される。Jdbc / odbcリクエストも同じパスをたどり,認証にはト,クンが使用される。
  3. クラスタの作成:コントロールプレーンは,クラウドサービスプロバイダのAPIを使用し,データプレーンの新しいインスタンスで構成される砖クラスタをCSPアカウントに作成する。管理者は,セキュリティプロファ。
  4. クラスタへのコ,ド送信:
  5. 書き込み:クラスタが,ユーザーのアカウントの卡夫卡からデータを取得し,変換して,ストレージへの書き込みを行う。
  6. ステ,タスの通知:クラスタから,ステ,タスとアウトプットがクラスタマネ,ジャ,にレポ,トされる。

デ,タエンジニアはコ,ドを記述するだけです。砖が上記の全ステップを実行します。

コンプラ@ @アンス

砖は,規制の厳しい業界をはじめとするあらゆる業界のコンプライアンス要件に対応し,機密性の高いものを含む重要なデータを扱う多くのお客様に信頼されています。

デュ,デリジェンスパッケ,ジ

砖のセキュリティをお客様にセルフサービスでレビューしていただけるよう,デューデリジェンスパッケージをご用意しています。このパッケージには,ISO認証や年次ペネトレーションテストの確認書など,一般的なコンプライアンス関連のドキュメントが含まれています。エンタープライズセキュリティガイドおよびSOC 2 II型レポートについては,砖のアカウントチームにお問い合わせください。

ダウンロ,ド

認証·規格

背景

概要

数据库では、プラ、バシ、を重要視しています。砖を利用して分析するデータは、お客様の組織およびビジネスにおいて極めて重要であり、さまざまなプライバシーに関する法律や規制の対象となる可能性があることを理解しています。

お客様に関連するプライバシー要件に対する砖の取り組みについては,下記の資料で詳しく説明しています。

背景

数据库ワ、クスペ、スのセキュリティ、ンシデントの調査にご協力ください

ワークスペースのデータが漏えいしたおそれがある場合,データの不整合などの問題が発生した場合は,速やかに砖までご連絡ください。

数据库から発信されたスパムや不審な通信

砖から,スパムメールその他の不審なメッセージ,不適切なコンテンツやマルウェアなど受信された場合は,速やかに砖までご連絡ください。

Databricks製品の内部脆弱性スキャンレポ,ト

脆弱性スキャンレポートの解釈に関するご質問については,砖サポートチャネルを通じてサポートリクエストを発行してください。その際に,スキャンの対象となった製品・バージョン,構成,生成されたレポート,スキャンの実施方法についての情報をあわせてご提供ください。

CVEが数据库のワクスペスまたはランタムに与える影響

サードパーティまたは砖のCVEの影響に関する情報が必要な場合は,砖のサポートチャネルを通じてサポートリクエストを発行してください。その際に,脆弱性情報デ、タベ、ス(nvd)に記載されているcveの説明,重大度,リファレンスをあわせてご提供ください。

数据库の製品·サ,ビスに関するバグレポ,ト

砖製品における再現可能な脆弱性を発見された場合は,解決のため,情報のご提供をお願いいたします。HackerOneが運営するDatabricksのバグバウンティ(公開バグ報奨金プログラム)にご参加ください。

背景

HIPAA

hipaaは,保護されるべき健康情報に対するさまざまな保護を含む米国の法規制です。数据にはHIPAA準拠のデプロ电子病历メントオプションがあります。

対応クラウド

リ,ジョン

Azureマルチテナント-全てのリ,ジョン

Awsシングルテナント-全てのリジョン

AWSマルチテナント——us-east-1 us-east-2, ca-central-1 us-west-2