客户的故事
停止的
勒索软件正在运行

工业:技术与软件

解决方案:威胁检测

bob体育客户端下载平台用例:Lakehouse三角洲湖砖的SQL数据科学机器学习ETL

云:AWS

异常安全的行为AI分析超过50,000个信号,以检测和补救所有电子邮件攻击。知道他们的传统Hadoop系统不能让他们有效地扩展快速增长的服务需求,Abnormal Security迁移到Databricks Lakehouse平台,并采用Databricks SQL为他们的工程仪表板提供动力。bob体育客户端下载如今,Abnormal Security能够保持数据优先的文化,轻松地管理他们的数据基础设施,每秒处理数千封电子邮件,并部署机器学习模型,检测可疑行为信号的最小异常,以保护客户免受基于电子邮件的攻击。

电子邮件安全对速度的需求

随着大型电子邮件钓鱼和勒索软件攻击的增加继续成为全球头条新闻,保护用户免受这种范围不断扩大的有针对性的电子邮件攻击正迅速成为各行业的首要任务。2017年,Abnormal Security带着一个特定的使命进入了这个阶段:为企业提供一定程度的电子邮件安全,以应对现代网络攻击日益复杂的挑战。他们的解决方案立即获得了成功,虽然业务需求很大,但Abnormal认为需要快速且显著地扩展他们的系统和流程,以继续提供最佳的客户体验。

“规模是我们关注的关键领域,”Abnormal Security数据科学主管Sanny Liao解释说。“随着我们通过频繁发布产品来保持领先于不断发展的攻击战略,并满足由世界上一些最大的公司组成的快速增长的客户群的需求,我们现在能够不断完善和扩大我们的模型,以满足我们的需求。”

Abnormal Security还必须确保他们的数据分析基础设施足够强大,以满足他们的规模要求。由于使用了遗留的Hadoop系统,他们陷入了花费资源维护AWS EMR集群的困境,而不是为客户识别恶意攻击。随着数据量的不断增长,这成为了成功的更大障碍。

“我们在管理Spark基础设施上花了太多时间,”Abnormal Security的软件工程师卡洛斯·加斯佩里(Carlos Gasperi)补充道。“在这段时间里,我们需要做的是建立管道,让产品变得更好。”

正确的数据平台会让挑战消失bob体育客户端下载

一旦他们实现了Databricks Lakehouse平台,他们就找到时间来对抗网络攻击,该平台简化了他们的数据架构,同时通过Delta Lake和Databricks SQL最大限度地提高了数据管道和bob体育客户端下载分析的性能。

Gasperi表示:“一旦我们在AWS上实现了Databricks,管理长期运行的AWS EMR集群的需求就完全消失了。Databricks允许我们为运行的每个作业安排一个集群,这意味着我们不需要解决以前在计算资源管理方面遇到的许多问题,因为它们已经消失了。”

随着基础设施不再是一个挑战,他们现在能够直接从S3中获取数据,并在Delta Lake的帮助下进行近乎实时的查询,Delta Lake是一个开放格式的存储层,可在数据湖上提供可靠性、安全性和性能——用于流处理和批处理操作。数据从Kinesis Firehose流入Delta Lake,使数据科学家可以立即获得威胁信号数据。使用Databricks SQL,数据科学家可以使用丰富的仪表板创建可视化,以驱动产品决策并提高检测效率。

除了使他们的数据可操作之外,Databricks还提供了提高生产力所需的非正常安全协作环境。卡洛斯解释说:“我们有一个传统的Jupyter笔记本电脑,它是一个很大的服务器,可以在一群人之间共享。”“当时的扩展意味着要再增加一个,但由于在这台笔记本电脑上有各种各样的项目,在运行繁重的应用程序的同时在笔记本电脑上工作,实际上会拖慢其他人的处理时间。”

现在,数据分析师、数据科学家和数据工程师可以在同一个空间工作,而不必不断竞争计算资源,更不用说能够更容易地在数据上协作,这导致了生产力的显著提高。

利用数据分析减轻电子邮件攻击

Databricks Lakehouse平台的实现为Abnormal Security提供了一bob体育客户端下载个单一的平台,该平台为分析师和数据科学家提供了统一的所有数据,以帮助他们的客户防止各种形式的电子邮件攻击。不仅单个管道的基础设施成本下降了,而且Abnormal Security的数据科学和数据工程团队的平均生产率提高了30%以上。

接下来,Abnormal Security将使用Databricks以隐私优先的方式将整个组织的威胁信号数据使用民主化。“我们希望确保每个团队——不仅仅是数据团队——都能使用数据来推动决策,”Sanny补充道。“这是提高整个公司工作质量和速度所需要的。Databricks将实现这一点。”

  • 20%
    减少成功的电子邮件攻击
  • 40%
    降低基础设施成本
  • 30 + %
    提高生产力

Databricks Lakehouse使我们能够大规模组织和利用我们的所有数据,为分析提供动力,以检测和阻止我们客户的所有形式的电子邮件攻击,包括有针对性的社交工程电子邮件攻击,逃避传统防御。”

- Sanny Liao,异常安全数据科学负责人