DAWNBench:端到端的深度学习基准和竞争

摘要

尽管在加速深度学习工作负载的系统、算法和硬件方面进行了大量研究，但目前还没有评估端到端深度学习性能的标准方法。现有的基准测试衡量的是代理指标，比如处理一个小批量数据的时间，这些指标并不能表明整个系统是否会产生高质量的结果。在这项工作中，我们引入了DAWNBench，这是一个基准和竞赛，专注于端到端训练时间，以达到最先进的精度水平，以及具有该精度的推断时间。使用时间到准确度作为目标度量，我们探索了不同的优化，包括优化器的选择，随机深度和多gpu训练，如何影响端到端训练性能。我们的结果表明，优化在结合使用时可以以非平凡的方式相互作用，产生较低的速度和较不准确的模型。我们相信DAWNBench将提供一种有用的、可重复的方法来评估深度学习系统中的许多权衡。