Clipper:一种低延迟在线预测服务系统

摘要

机器学习正被部署在越来越多的应用程序中，这些应用程序需要在繁重的查询负载下进行实时、准确和健壮的预测。然而，大多数机器学习框架和系统只处理模型训练，而不是部署。本文介绍了一种通用的低时延预测服务系统Clipper。Clipper在终端用户应用程序和广泛的机器学习框架之间插入了一个模块化的架构，以简化跨框架和应用程序的模型部署。此外，通过引入缓存、批处理和自适应模型选择技术，Clipper减少了预测延迟，提高了预测吞吐量、准确性和鲁棒性，而无需修改底层机器学习框架。我们在四个常见的机器学习基准数据集上评估了Clipper，并展示了它满足在线服务应用程序的延迟、准确性和吞吐量需求的能力。最后，我们将Clipper与Tensorflow服务系统进行了比较，并证明我们能够实现可比的吞吐量和延迟，同时使模型组合和在线学习能够提高准确性并提供更可靠的预测。