Mesos:数据中bob体育客户端下载心细粒度资源共享平台

摘要

我们提出Mesos，这是一个在多个不同的bob体育客户端下载集群计算框架(如Hadoop和MPI)之间共享商品集群的平台。共享提高了集群利用率，避免了每个框架的数据复制。Mesos以细粒度的方式共享资源，允许框架通过轮流读取存储在每台机器上的数据来实现数据局部性。为了支持当今框架的复杂调度器，Mesos引入了一种称为资源提供的分布式两级调度机制。Mesos决定为每个框架提供多少资源，而框架决定接受哪些资源以及在这些资源上运行哪些计算。我们的结果表明，当在不同的框架之间共享集群时，Mesos可以实现近乎最优的数据局部性，可以扩展到50,000个(模拟)节点，并且对故障具有弹性。