延迟调度:在集群调度中实现局部性和公平性的一种简单技术

摘要

随着组织开始在更多应用程序中使用Hadoop和Dryad等数据密集型集群计算系统，在用户之间共享集群的需求也越来越大。然而，在调度公平性和数据局部性(将任务放置在包含其输入数据的节点上)之间存在冲突。我们通过为Facebook上的600节点Hadoop集群设计公平调度程序的经验来说明这个问题。为了解决局部性和公平性之间的冲突，我们提出了一种简单的算法，称为延迟调度:当根据公平性应该下一个调度的作业无法启动本地任务时，它会等待一小段时间，让其他作业启动任务。我们发现，延迟调度在各种工作负载下实现了近乎最优的数据局部性，并且可以在保持公平性的同时将吞吐量提高最多2倍。此外，延迟调度的简单性使它适用于各种各样的调度策略，而不仅仅是公平共享。