增强安全监控

增强的安全监控提供了一个增强的磁盘映像(aCIS-hardenedUbuntu的优势AMI)和生成您可以查看的日志的其他安全监视代理。其中两个监控器代理运行在工作空间中的计算资源(集群工作人员)上AWS帐户中的经典数据平面.这适用于用于笔记本和作业的集群,以及用于pro或经典SQL仓库

本文档中讨论的数据平面增强仅适用于AWS帐户中的经典数据平面.额外的安全控制和监控不适用于Serverless计算,用于运行共享中的计算资源无服务器数据平面在Databricks帐户中。例如,这些新控件适用于专业和经典SQL仓库,但不适用于无服务器SQL仓库。

需求

  • Databricks工作空间位于平台的E2版本上。bob体育客户端下载

  • Databricks工作区位于企业级。

启用Databricks增强安全监控

  1. 联系Databricks代表,要求Databricks为您的工作空间启用该特性。

  2. 等待确认它已为您的工作空间启用。

  3. 终止工作空间中的所有计算资源,例如集群和SQL仓库。

  4. 重新启动计算资源。

增强了加固的磁盘映像

当启用了Databricks增强的安全监控时,经典数据平面中的Databricks计算资源(集群工作映像)将使用基于Ubuntu的优势.Ubuntu Advantage是一个针对开源基础设施和应用程序的企业安全和支持包,包括以下内容:bob下载地址

在Databricks中监视代理计算映像

虽然启用了Databricks增强的安全监控,但还有其他安全监控代理,包括两个预安装在用于Databricks计算资源虚拟机的映像中的代理。不能禁用增强磁盘映像中的监视代理。

监控代理

描述

如何获得输出

Capsule8

监视文件完整性和安全边界的违反。此监控器代理运行在集群中的工作者VM上。

配置审计日志传递并检查日志新行

ClamAV

扫描文件系统中的病毒,包括每日主机病毒扫描。此监控器代理运行在您的计算资源(如集群和专业或经典SQL仓库)中的vm上。

配置审计日志传递并检查日志新行

Qualys

扫描容器主机虚拟机,查找某些已知漏洞和cve。扫描发生在Databricks环境中的代表性图像中。

向Databricks代表请求图像扫描报告。

文件完整性监视(Capsule8)

数据平面映像包括Capsule8,这是一个文件完整性监视服务,为帐户中的Classic数据平面中的计算资源(集群工作者)提供运行时可见性和威胁检测。

在其中生成Capsule8监视输出审计日志.要访问这些日志,管理员必须进行设置审计日志传递到Amazon S3桶。有关特定于Capsule8的新可审计事件的JSON模式,请参见Capsule8和ClamAV的审计日志模式

重要的

检查Capsule8日志是您的责任。根据Databricks的全权决定,Databricks可以审查这些日志,但不承诺这样做。如果代理检测到恶意活动,则您有责任对这些事件进行分类,如果需要Databricks采取解决或补救措施,则使用Databricks打开支持票据。Databricks可能会根据这些日志采取行动,包括暂停或终止资源,但不作出任何承诺。

反病毒和恶意软件检测(ClamAV)

增强的数据平面映像包括ClamAV,这是一个用于检测木马、病毒、恶意软件和其他恶意威胁的开源防病毒引bob下载地址擎。

在内部生成ClamAV监控输出审计日志.要访问这些日志,管理员必须进行设置审计日志传递到Amazon S3桶。有关特定于ClamAV的新可审计事件的JSON模式,请参见Capsule8和ClamAV的审计日志模式

重要的

你有责任检查ClamAV的日志。根据Databricks的全权决定,Databricks可以审查这些日志,但不承诺这样做。如果代理检测到恶意活动,则您有责任对这些事件进行分类,如果需要Databricks采取解决或补救措施,则使用Databricks打开支持票据。Databricks可能会根据这些日志采取行动,包括暂停或终止资源,但不作出任何承诺。

构建新AMI时,更新的签名文件将包含在新AMI中。

漏洞扫描(Qualys)

一个名为Qualys的监视代理为某些已知cve执行容器主机(VM)的漏洞扫描。

重要的

扫描发生在Databricks环境中的代表性图像中。

您可以向Databricks代表索取Qualys扫描报告。

当通过Qualys发现漏洞时,Databricks会根据其漏洞管理SLA跟踪漏洞,并在可用时发布更新的映像。您有责任定期重新启动所有计算资源,以使映像保持最新的映像版本。

监控代理的管理和升级

在Classic数据平面中用于计算资源的磁盘映像上的附加监视代理是用于升级系统的标准Databricks过程的一部分:

  • 经典数据平面基本磁盘映像(AMI)由Databricks拥有、管理和修补。

  • Databricks通过发布新的磁盘映像(ami)来发布和应用安全补丁。交付计划取决于新功能和已发现漏洞的SLA。典型的交货是每2-4周。

  • 数据平面的基本操作系统是Ubuntu Advantage 18.04 LTS。

  • 默认情况下,数据库集群和专业或经典SQL仓库是短暂的。在启动时,集群和专业或经典SQL仓库使用最新可用的基本映像。可能存在安全漏洞的旧版本对新集群不可用。

    • 您负责确保没有长时间运行的集群。

    • 你有责任重新启动集群(使用UI或API),以确保他们使用最新补丁的主机虚拟机镜像。

    • Databricks可以根据请求共享一个Databricks笔记本,该笔记本列出了您的工作区正在运行的集群,并识别出超过指定天数的主机,还可以选择重新启动集群。

监视代理终止

如果发现worker VM上的监控器代理由于崩溃或其他终止而没有运行,系统将尝试重新启动该代理。

监控器代理数据的数据保留策略

ClamAV和Capsule8日志被发送到您自己的Amazon S3桶审计日志传递.这些日志的保留、摄取和分析由您负责。

Qualys漏洞报告和日志由Databricks在Qualys SaaS平台中保留至少一年。bob体育客户端下载如果需要,可以请求提供漏洞报告。您可以向Databricks代表请求这些日志。