Tachyon:集群计算框架的可靠内存速度存储

摘要

Tachyon是一种分布式文件系统，可以跨集群计算框架以内存速度实现可靠的数据共享。虽然现在的缓存提高了读工作负载，但写工作负载是网络或磁盘绑定的，因为复制用于容错。Tachyon通过将谱系(一种众所周知的技术)推入存储层来消除这个瓶颈。建立一个长期运行的基于谱系的存储系统的关键挑战是在发生故障时及时恢复数据。Tachyon通过引入检查点算法来解决这个问题，该算法保证了有限的恢复成本和资源分配策略，可以在常用的资源调度程序下进行重新计算。我们的评估表明，Tachyon的写性能比内存中的HDFS好110倍。它还将实际工作流的端到端延迟提高了4倍。Tachyon是开源的bob下载地址，被多家公司部署。