剑张

在人工智能和分析工作负载的驱动下，服务不断增长的数据的挑战越来越大，这使得分解存储和计算更具吸引力，因为它使公司能够独立扩展其存储和计算能力，以匹配数据和计算增长率。基于云的大数据服务正在获得发展，因为它提供了简化的管理、弹性和现收现付模式。然而，Spark shuffle在分解架构中带来了性能、可伸缩性和可靠性问题。Shuffle是一种I/O密集型操作，如果使用典型的云供应卷作为Shuffle介质，将导致性能问题。同时，不同任务的shuffle操作可能会相互干扰，从而限制了Spark的可伸缩性。此外，在计算节点故障的情况下，shuffle重新计算对长时间运行的作业造成了巨大的开销。对于云原生Spark应用来说，从计算节点分解shuffle变得越来越重要。

在本次会议中，我们提出了一种新的完全分解的shuffle解决方案，它利用了包括持久存储器和RDMA在内的最新硬件技术。它包括:一个新的可插拔的shuffle管理器，一个基于持久内存的分布式存储系统，一个RDMA驱动的网络库和一个创新的方法，使用持久内存作为shuffle介质和RDMA内存区域，以减少额外的内存副本和上下文切换。这种新的远程shuffle解决方案通过将Spark shuffle从计算节点分解到高性能分布式存储，提高了Spark的可扩展性，通过高速持久内存和低延迟RDMA网络提高了Spark shuffle性能，并通过提供shuffle数据复制和容错优化提高了可靠性。实验性能数据也将被展示，这表明与传统的shuffle解决方案相比，性能加速高达10倍，并且在shuffle读取块时间方面减少了三个数量级。