美国金融业监管局

客户案例研究

美国金融业监管局

美国金融业监管局(FINRA)是一个独立的非政府组织,负责通过确保美国证券市场以公平和诚实的方式运作来保护投资者。FINRA监管着12个市场和交易所、3700家公司和60多万经纪商。FINRA通过执行规则、发现和防止美国市场的不当行为以及惩罚违反规则的成员来遏制不当行为。

垂直用例

  • 利用机器学习检测欺诈证券交易

技术用例

  • 数据摄取和ETL
  • 机器学习

的挑战

为了保护投资者,FINRA参与识别市场上的欺诈计划。它通过监控99%的股票市场和大约70%的期权市场来实现这一目标。为了做到这一点,FINRA从各种证券市场获取所有交易数据——每天超过1000亿次交易事件。然后,FINRA使用机器学习算法识别欺诈行为模式进行调查。不幸的是,他们的遗留架构师创造了许多挑战,阻止他们有效和高效地监控安全市场。挑战包括:

  • 数据存储在不同的内部部署系统中,这些系统非常复杂,构建和扩展成本高,导致数据管道脆弱
  • 脱节的开发和生产系统要求数据工程师将基于python的机器学习模型转换为复杂的SQL语句,这些语句通常总共有60-70页代码
  • 复杂的模型开发过程使得对模型进行调试和迭代具有挑战性,并限制了跨团队的代码重用
  • 由于细分的数据科学家和工程团队,开发周期很长

解决方案

Databricks为FINRA提供了一个统一的数据分析平台,该平台将数据民主化,并将以前孤立的团队聚集在一起,bob体育客户端下载缩短了推向市场的总体时间,提高了功能库的可重用性,并提高了运营效率。使用Databricks,团队可以快速迭代ML模型,并将检测工作扩展到每天1000亿的市场事件。因此,FINRA显著改善了欺诈预防,为美国投资者带来了更安全的财务未来。

  • 统一数据分析平台,包括基础设施管理、Databbob体育客户端下载ricks运行时和交互式工作空间,简化了机器学习模型的开发过程,同时降低了基础设施成本
  • 交互式工作空间使他们的数据科学能够克服竖井,在相同的环境中使用他们所选择的代码(SQL、R或Python)更快地迭代和更好地协作
  • 完全托管的云服务允许他们的团队专注于与机器学习领域相关的高级问题,而不是DevOps工作

通过Databricks,我们有一个统一的团队负责保护证券市场,有一个有凝聚力的端到端流程。

Saman Michael Far, FINRA技术高级副总裁