CyberMLToolkit:异常检测作为Apache Spark上的可扩展通用服务

下载幻灯片

网络犯罪是当今世界上每家公司面临的最大威胁之一,也是全人类面临的主要问题。到2021年,网络犯罪造成的损失估计约为6万亿美元。安全专业人士正在努力应对这一威胁。因此,强大且易于使用的工具在这场战斗中是必要的。为此,我们创建了一个专注于安全性的异常检测框架,该框架可以识别异常访问模式。它构建在Apache Spark之上,可以在多个租户上并行应用。这使得模型可以在不到一小时的时间内通过Databricks集群对数千个客户的数据进行训练。该模型利用推荐引擎的成熟技术来生成高质量的异常。通过使用综合生成的数据,以及创建实际攻击,我们全面评估了模型识别实际异常的能力,并表明模型清楚地将攻击识别为异常行为。我们计划开源这个库,作bob下载地址为我们将提供的网络机器学习工具包的一部分。

试着砖
查看更多Spark + AI欧洲峰会2019视频


«回来
罗伊·莱文
关于Roy Levin

微软

Roy Levin于2013年获得Technion以色列理工学院计算机科学系博士学位。他目前是微软的高级研究员,也是Azure安全中心(ASC)的一员。Roy在机器学习、数据管理和信息检索方面拥有超过15年的学术和行业经验。