为云规模的网络安全增强SIEM

在过去的十年中，安全事件和事件管理工具(SIEMs)已经成为企业安全操作的标准。siem一直都有批评者。但云足迹的爆炸式增长提出了一个问题，在云规模的世界里，siem是正确的战略吗?汇丰银行(HSBC)的安全主管不这么认为。在最近的一次谈话中，授权Splunk和其他SIEMs与Databricks湖屋网络安全，汇丰强调了传统siem的局限性，以及Databricks Lakehouse平台如何改变网络防御。bob体育客户端下载汇丰拥有3万亿美元资产，其言论值得进行一些探究。

在这篇博客文章中，我们将讨论不断变化的IT和网络攻击威胁格局，SIEM的好处，Databricks Lakehouse的优点，以及为什么SIEM + Lakehouse正在成为安全运营团队的新战略。当然，我们会谈谈我最喜欢的SIEM!但我要警告你，这篇文章并不是要批评“为即时世界构建的传统技术”。这篇文章是关于安全运营团队如何武装自己，以最好地保护他们的企业免受高级持续威胁。

企业技术足迹

有人称之为云优先，也有人称之为云智能。不管怎样，人们普遍认为，每个组织都参与了某种形式的云转换或评估——即使是在公共部门，在那里，入职技术不是一个轻松的决定。因此，美国主要的云服务提供商都排在前5名之内最大市值世界各地的公司。随着技术足迹迁移到云端，对网络安全团队的要求也在不断提高。探测、调查和威胁搜索实践都受到了新足迹复杂性以及海量数据的挑战。根据IBM，平均需要280天才能发现和遏制一个安全漏洞。根据汇丰银行在数据+人工智能峰会上的讲话在美国，280天意味着超过1pb的数据——仅对网络和EDR(端点威胁检测和响应)数据源而言。

当一个组织需要这么多数据进行检测和响应时，他们该怎么做呢?许多企业都希望将云数据保存在云中。但是从一个云到另一个云呢?本周，我与一家大型金融服务机构交谈，他们说:“我们向云提供商支付了超过100万美元的出口成本。”为什么?因为他们目前的SIEM工具在一个云服务上，而他们最大的数据生产者在另一个云服务上。他们的SIEM不是多云。多年来，他们已经建立了复杂的传输管道，将数据从一个云提供商传输到另一个云提供商。像这样的复杂情况扭曲了他们对技术的期望。例如，他们认为5分钟的数据延迟是实时的。 I present this here as a reality of what modern enterprises are confronted with -- I am sure the group I spoke with is not the only one with this complication.

云世界中的安全分析

云环境确实打乱了每个安全运营团队的工作模式。10年前所谓的大数据在今天的云标准下只是微不足道的数据。随着当今网络流量的规模，千兆字节变成了千兆字节，过去需要几个月才能生成的数据现在只需几个小时就能生成。这些堆栈是新的，安全团队必须学习它们。像“我们以前见过这些ip吗”这样的普通任务变成了在SIEM和日志工具中花费数小时或数天的搜索。稍微复杂一点的情境化任务，比如把用户的名字添加到网络事件中，正在变成几乎不可能的考验。如果有人想每天以tb级的数据丰富外部威胁情报——祝你好运——希望你有一支小军队和一个雄厚的财力。我们甚至还没有涉及异常检测或威胁搜索用例。这绝不是对seim的抨击。事实上，环境已经改变，是时候适应了。安全团队需要最好的工具来完成这项工作。

在云世界中，安全团队需要什么能力?首先，这是一个开放的平台，可以与IT和安全工具链集成，不bob体育客户端下载需要您将数据提供给专有数据存储。另一个关键因素是多云平台，因此它可以在您选择的云上运行。bob体育客户端下载此外，一个可扩展的高性能分析平台，其中计算和存储是分离的，可以支持端到端流和批处理。bob体育客户端下载最后，一个统一的平台可以为数据科学家、数据工程bob体育客户端下载师、SOC分析师和业务分析师——所有的数据人——提供支持。这些是Databricks Lakehouse平bob体育客户端下载台。

Databricks的SaaS和自动伸缩功能简化了这些复杂功能的使用。Databricks的安全客户正在处理千兆字节的数据不到十分钟．一个客户可以在一小时内从1500多万个端点收集数据并分析威胁指标。一家全球石油和天然气生产商，对勒索软件感到偏执，运行多个分析，并将其环境中的每一个powershell执行都放在背景中——分析师只看到高置信度警报。

Lakehouse + SIEM:云规模安全操作的模式

汇丰银行网络安全科学与分析主管George Webster表示，Lakehouse + SIEM是安全运营的模式。它利用了两个组件的优势:用于多云本地存储和分析的湖屋架构，以及用于安全操作工作流的SIEM。对于Databricks客户，这种集成有两种通用模式。但它们都有韦伯斯特所说的，与Lakehouse合作的网络安全数据湖．

第一种模式:湖屋存储最大保留期的所有数据。数据的子集被发送到SIEM并存储一小部分时间。这种模式的优点是，分析师可以使用SIEM查询近期数据，同时能够在Databricks中进行历史分析和更复杂的分析。并管理SIEM部署的任何许可或存储成本。

第二种模式是将最大容量的数据源发送到Databricks，(例如云原生日志、端点威胁检测和响应日志、DNS数据和网络事件)。相对低容量的数据源进入SIEM(例如警报、电子邮件日志和漏洞扫描数据)。这种模式使Tier 1分析师能够快速处理SIEM中的高优先级警报。威胁搜索团队和调查人员可以利用Databricks的先进分析功能。这种模式具有从SIEM中卸载处理、摄取和存储的成本效益。

整合Lakehouse和Splunk

一个有效的示例应该是什么样的?由于客户的需求，Databricks网络安全SME团队为Splunk创建了Databricks插件。该插件允许安全分析师从Splunk运行Databricks查询和笔记本，并将结果返回到Splunk。一个配套的Databricks笔记本使Databricks能够查询Splunk，获得Splunk结果，并将事件和结果从Databricks转发给Splunk。

有了这两个功能，Splunk搜索栏上的分析师无需离开Splunk UI就可以与Databricks进行交互。Splunk搜索构建器或仪表板可以将Databricks作为搜索的一部分。但最令人兴奋的是，安全团队可以在Splunk和Databricks之间创建双向的分析自动化管道。例如，如果Splunk中有警报，Splunk可以自动在Databricks中搜索相关事件，然后将结果添加到警报索引或仪表板或后续搜索中。或者相反，Databricks笔记本代码块可以查询Splunk并将结果作为后续代码块的输入。

使用此参考架构，组织可以维护其当前的流程和程序，同时现代化其基础设施，并成为多云本地，以应对其不断扩大的数字足迹带来的网络安全风险。

实现规模、速度、安全和协作

自从与Databricks合作以来，汇丰银行已经降低了成本，加速了威胁检测和响应，并改善了安全态势。金融机构不仅可以处理所有所需的数据，而且还可以将在线查询保留时间从仅几天提高到PB级别的几个月。攻击者的速度与汇丰检测恶意活动并进行调查的能力之间的差距正在缩小。通过对对手的速度和速度进行高级分析，汇丰更接近他们的目标，即比不良行为者行动更快。

由于数据保留能力，HSBC威胁搜索的范围已经大大扩展。汇丰银行现在可以在没有硬件限制的情况下，每名分析师多执行2-3倍的威胁搜索。通过Databricks笔记本，狩猎是可重复使用和自我记录的，这为未来的狩猎保存了完整的历史数据。这些信息以及调查和威胁搜索生命周期现在可以在HSBC团队之间共享，以迭代和自动化威胁检测。随着效率、速度和机器学习/人工智能的创新，汇丰银行能够简化成本、重新分配资源，并更好地保护其业务关键数据。

接下来是什么

看授权Splunk和其他SIEMs与Databricks湖屋网络安全直接听取汇丰银行和Databricks关于他们如何解决网络安全需求的意见。

BOB低频彩Splunk的Databricks插件

---

参考文献

市场限制:https://www.visualcapitalist.com/the-biggest-companies-in-the-world-in-2021/

违反生命周期:https://www.ibm.com/security/digital-assets/cost-data-breach-report/#/