Fuwang胡
PayPal数据工程师
胡福旺目前是Paypal全球数据治理与监管技术的MTS-1数据工程师，专注于开发数据应用以满足各种业务场景的需求，包括风险管理和企业合规。Fuwang在利用各种大数据技术构建数据应用方面有5年以上的经验。spark, hadoop, hbase等软件，在同济大学获得硕士学位后。
过去的会议
目前，Spark在大型企业中被广泛采用，可以处理大量的数据。在PayPal中，越来越多复杂的数据处理应用程序运行在Spark之上，以获得更好的性能和使用方便。图形分析是不同业务用例的新兴趋势之一，例如，风险控制，合规等。在这次演讲中，我们将分享我们在Spark上构建大规模图形应用程序的实践。如何在处理数十亿个节点/边的同时实现4-5倍的性能提升?如何有效地平衡性能和资源?在使用Spark管理企业生产级管道时，关键的学习是什么?
关键外卖:
- 介绍我们在PayPal中Spark上的大型图表分析用例。
- 分享我们的优化实践，以实现较大的性能改进。
- 关于构建其生产级管道的主要学习，例如，如何处理显著的数据倾斜，显著的数据增长和构建可扩展的解决方案
