发布SAT (Security Analysis Tool)
2022年11月2日 在bob体育客户端下载平台的博客
在Databricks,我们知道数据是组织最有价值的资产之一,保护它是首要任务。这就是为什么我们在每一层Databricks Lakehouse平bob体育客户端下载台.但是我们认识到,客户可能很难评估他们的部署是否架构良好,哪些领域得到了很好的加强,哪些需要注意。即使您在部署平台时很自信,安全团队也可能不会重新评估,配置漂移可能会无意中导致数据和知识产bob体育客户端下载权泄露。一个链条的强度取决于它最薄弱的环节,这让我们的客户问:
- 如何知道我是否遵循了Databricks安全最佳实践?
- 如何轻松地随时监视所有帐户工作区的安全运行状况?
我们激动地宣布安全分析工具(SAT)!SAT帮助我们的客户回答这些问题,并通过根据我们的安全最佳实践审查当前部署来加强他们的Databricks部署。它使用一个检查表,根据严重程度对观察到的偏差进行优先级排序,并提供资源链接,帮助您解决悬而未决的问题。可以将SAT作为环境中所有工作区的常规扫描来运行,以帮助建立对最佳实践的持续遵守,并且可以计划运行状况报告,以提供对敏感数据集安全性的持续信心。
SAT在客户的帐户中作为自动程序运行工作流通过Databricks REST api收集部署细节。扫描结果持久化在Delta表中,以分析一段时间内的安全运行状况趋势。SAT包含一个仪表板,显示的结果分为五个安全类别:网络安全、身份与访问、数据保护、治理和信息。安全团队可以设置警报,当SAT检测到不安全的配置和策略偏差时通知他们。它还提供了关于失败的个别检查的其他详细信息,以便管理员可以快速查明和纠正问题。未雨绸缪!
SAT组成部分
SAT由以下资产组成:
- 可配置的安全检查表
- 一组笔记本和库,使用REST api和确定一致性的逻辑收集详细信息
- 一个参数化的SQL仪表板以及相关的查询和警报,用于显示检查结果
- 灵活的工作流程,可审计的每日扫描,按日期组织
如上所示(图2),SAT组件在客户工作区中运行,如图中的数字所示。每个组件执行以下功能:
- 坐在工作流程:预定或手动执行的SAT工作流作业将启动扫描。
- 坐在笔记本:SAT安全分析笔记本通过对注册的工作空间运行一系列最佳实践检查来执行安全扫描。
- 结果:坐SAT安全分析笔记本将验证结果保存到Delta表中,以供趋势和历史参考。
- 坐在仪表板:预建的SAT仪表板显示从Delta表中提取的最新扫描结果。管理员、安全分析师和审计人员现在可以轻松地在一个屏幕上评估Databricks的安全态势。
卫星部署细节
SAT的设置和使用可以分为三个阶段,如下图所示(图3)。
- 部署与配置
SAT设置需要管理员权限,并涉及以下活动:- 在选定的工作空间中,管理员使用一系列笔记本进行文档所述的初始一次性设置在这里.
- 默认情况下,列表中的所有检查都是启用的,但管理员可以关闭任何不必要的检查
- 管理员将为Databricks帐户中的每个工作空间提供PAT令牌,并且将验证连接。日常检查中只包括配置好的工作区。
- 工作流被配置为以预定的时间间隔运行(通常是每天)
- 每日评估在所有配置的环境中
- 预定的工作流将每天运行。每个已配置工作区中的每日检查将保存在Delta表中,从而支持趋势和历史引用。
- 洞察的消费
- 管理员、安全分析师和审计员可以通过Databricks SQL仪表板上的工作区查看结果
安装安全分析工具的详细说明可以在这里找到在这里.
坐的见解
SAT Dashboard显示每个工作区的安全扫描结果(图4),按严重程度排序。
仪表盘分为五个部分,每个支柱都以一致的格式布局。
- 工作空间安全性摘要
- 高级摘要按类别显示结果,并按严重程度分类。
- 工作空间数据
- 这个部分提供了关于用户、组、数据库、表和服务细节(如层和区域)数量的使用统计信息。
- 个别证券类别详情
- 每个安全类别的一个部分,包含:
- 安全部分总结详细信息,例如与推荐的最佳实践的偏差数
- 一个表,其中包含安全类别的安全查找详细信息,按严重程度排序。该表描述了每一个安全违规,并提供了有助于修复发现的文档链接。
- 每个安全类别的一个部分,包含:
- 信息部分
- 它们本质上说明性较低,但提供了数据点,数据角色可以仔细检查这些数据点,以验证为其组织正确设置了阈值。
- 其他查找细节
- 本节提供有助于查明安全偏差来源的其他详细信息,包括用于检测它们的逻辑。例如,“未使用的集群策略”将提供未应用该策略的集群工作负载列表,从而避免大海捞针的情况。
如何使用SAT降低风险
安全分析工具(SAT)分析了37个最佳实践,以及更多的方法,并在仪表板中展示了见解。你怎么处理这些见解呢?我们将使用两个示例来说明典型用户如何使用这些见解。
在第一个例子中,SAT扫描突出显示了一个潜在风险的发现——图5中的红色复选标记。的已弃用的运行时版本检查为红色,表示存在已弃用的运行时。不受支持的运行时版本上的工作负载可能继续运行,但它们不会得到Databricks支持或修复。与该发现相关联的“检查id”可在“附加详细信息”部分中使用,以查询关于哪些配置设置或控制失败了特定最佳实践规则的更详细信息。例如,下图显示了“已弃用的运行时版本“管理人员需要调查的风险。屏幕截图中的“补救”列描述了所需的风险和补救措施,并链接到目前支持的Databricks运行时版本的文档。用户应根据发现的严重程度及时采取建议的补救行动。
在第二个例子中,我们强调了一个符合Databricks最佳实践的发现——图5中的绿色复选标记。的日志交付check为绿色,确认工作区遵循Databricks安全最佳实践。同样,“检查id”(“GOV-3”)可以在“其他详细信息”部分中使用,以获得详细信息。不需要进一步的操作,但我们建议用户定期执行这些检查,以查看Databricks帐户工作空间安全性,并确保持续全面改进。
结论
这篇博文向您介绍了Databricks Lakehouse平台的安全分析工具。bob体育客户端下载你也看到了这是多么容易设置SAT并随时间观察Databricks帐户工作空间的安全状况。我们还向您展示了检测示例,以便您可以加强Databricks部署。我们邀请您在Databricks部署中设置SAT,或向Databricks帐户团队寻求帮助。请继续关注Databricks Security的更多博客文章和视频内容!
如果您对Databricks如何处理安全问题感到好奇,请参阅我们的安全与信任中心.我们鼓励您回顾Databricks安全最佳实践文档.如果您对SAT有任何疑问或建议,请随时与我们联系(电子邮件保护).