玛雅克邦萨尔

Zeus是一种高效、高可扩展性的分布式shuffle服务，为Uber的所有数据处理(Spark和Hive)提供动力。Uber在YARN上运行了业内最大的Spark和Hive集群之一，这导致了许多问题，如硬件故障(烧坏磁盘)，可靠性和可伸缩性挑战。去年，我们在这个论坛上讨论了Zeus服务架构的特征和早期结果。从那以后，我们取得了很大的进展，去年我们开源了Zeus，并将其部署到我们所有的分析集群中。

在这次演讲中，我们将讨论如何将Zeus服务扩展到所有spark工作负载，在uber上扩展到数十亿条shuffle消息和pb级的shuffle数据。我们还将讨论我们所采取的策略，以便在用户没有注意到任何差异或任何服务中断的情况下大规模推广Zeus。我们还想谈谈即将对Zeus进行的进一步改进，以及在未来版本中已经完成的性能和可靠性改进。

(daisna21-sessions-od)

Zeus是一种高效、高度可扩展和分布式的shuffle服务，为Uber的所有数据处理(Spark和Hive)提供动力。Uber在YARN上运行了业界最大的Spark和Hive集群之一，这导致了许多问题，如硬件故障(烧坏磁盘)，可靠性和可伸缩性挑战。Zeus的基础是支持数十万个作业和数百万个容器，这些容器可以洗牌pb级的洗牌数据。Zeus已经改变了当前外部洗牌的范例，这导致了更好的洗牌性能。虽然shuffle数据被写入远程，但性能是更好的或相同的大多数工作。在这次演讲中，我们将深入探讨Zeus架构，并描述它是如何在Uber中部署的。然后，我们将描述如何集成它来运行Spark的shuffle，并将其与Spark内置的基于排序的shuffle机制进行对比。我们还将对比由外部shuffle支持的不同存储系统(如NFS和HDFS)的Zeus性能数据。我们还将讨论宙斯未来的路线图和计划。