客户的故事

YipitData将金融市场信息过载转化为洞察力

60%

降低数据库成本

2.5美元

每年节省百万美元

90%

减少数据处理时间

背景图像

工业:金融服务

解决方案:数据驱动的环境、社会和治理风险管理事务浓缩

bob体育客户端下载平台用例:三角洲湖数据科学机器学习ETL

云:AWS

“有了Databricks,我们在数据工程和分析功能方面的创新速度比以往任何时候都快,每年在数据库方面的支出也更少。”

——Steve Pulec, YipitData的首席技术官

YipitData提供数据驱动的研究,通过将替代数据源与网络数据结合起来进行全面覆盖,为投资者提供支持。通过利用Databricks, YipitData的数据团队已经能够将数据处理时间减少90%,提高他们的分析师向客户提供有影响力的、可靠的见解的能力。此外,通过迁移到AWS上的Databricks, YipitData已经将数据库费用降低了近60%。

在替代数据中解锁隐藏的见解

做出明智的投资选择需要信息。您拥有的可操作信息越多,金融服务机构(fsi)更好地了解其客户、市场和业务的几率就会显著增加。YipitData致力于为全球最大的对冲基金和企业提供数据驱动的洞察,帮助他们获得真正的竞争优势,并为客户提供更好的服务。具体来说,他们利用替代数据源和web抓取来帮助银行机构和资产管理公司通过揭示有关消费者行为的有价值的信息(例如公用事业支付历史,交易信息)来做出更好的决策,并扩展到各种用例,包括交易分析,信用风险和信用风险环境、社会和治理风险。

“替代数据是我们金融服务客户成功的关键,”YipitData高级软件工程师Anup Segu解释道。“然而,大多数组织都没有办法最大限度地利用替代数据。这就是我们提供帮助的地方。”

然而,YipitData团队面临的挑战不仅是替代数据的数量和多样性(每个月他们从数百个网站收集数据,发出数十亿个请求),而且他们还受到竖井团队的限制,无法扩展数据处理和分析。运行查询和扩展他们以前的数据仓库证明是具有挑战性和耗时的。

Segu解释道:“我们经常遇到性能瓶颈。“非常大的问题可能需要长达6个小时,这减慢了我们回答问题的能力。”

跨团队的协作也是一个问题,因为他们努力共享学习和代码。YipitData的数据分析师比尔•门什(Bill Mensch)解释说:“我们曾与部落知识的孤岛作斗争,这阻碍了我们扩大规模和快速运营的能力。”

在整个组织中实现数据分析的民主化

借助Databricks, YipitData团队现在能够管理从数据摄取到下游分析的整个数据分析工作流。具有自动伸缩等功能的集成集群管理极大地简化了基础设施管理,同时降低了运营成本。Segu解释说:“由于我们可以独立管理计算和存储,Databricks使我们能够优化集群管理和AWS支出。

Databricks已授权其40多名数据分析师将其角色转变为混合数据工程师和分析师-使他们能够独立创建数据摄取系统,管理ETL工作流,并为客户提供有意义的金融研究。

Databricks为我们的分析师提供了灵活性,以便他们能够控制,”YipitData的CTO Steve Pulec解释道。“因此,数据工程甚至不需要参与,可以专注于更高价值的任务。”

现在他们可以在Databricks笔记本中快速构建和部署健壮的ETL工作流,并利用他们选择的编程语言(Python或SQL)来探索、可视化和分析他们的数据。

故事背后是数据团队效应

来认识一下YipitData背后的伟大数据团队

更快的处理和简化的操作有助于降低成本

使用Databricks最大的收获是大规模的处理能力,云平台成本效率的提高,以及数据的民主化。bob体育客户端下载有了触手可及的可扩展云基础设施,他们已经能够将数据管道的速度平均提高90%。在某些情况下,一些过去需要花费6个小时的大型查询现在可以在大约7秒内完成。

“Databricks让我们可以毫不费力地以规模换速度,这在以前是不可能的,”YipitData的员工工程师Andrew Gross说。“现在我们能够用同样的资源回答更多的问题。”

他们不仅处理更多数据的速度更快,而且处理数据的效率也更高,这有助于推动业务发展。Pulec说:“新冠肺炎在市场上产生了大量问题,我们在分析数据以找到答案方面已经超速了。”“所有这些额外的工作对我们的收入产生了巨大的影响,并真正帮助我们的业务能够及时地为投资者回答这些问题。这在旧世界可能是不可能的。”

尽管分析和向客户报告的规模增加了4-5倍,但Pulec估计整体运营支出已显著下降。“Databricks将我们的运营成本降低了近60%,”Pulec说。总的来说,在Databricks的帮助下精明的成本削减技巧在美国,他们能够将每年的AWS费用削减50%,即250万美元。

Databricks作为数据分析工作流程的基础,YipitData正在寻求在整个公司范围内扩展Databricks的采用-促进更大的透明度和跨团队协作。展望未来,YipitData将充分利用替代数据的爆炸式增长,为金融服务机构和企业提供新的见解,以做出更明智的业务决策。