NoScope:优化大规模视频的神经网络查询

摘要

计算机视觉的最新进展——以深度神经网络的形式——已经使得高精度地查询越来越多的视频数据成为可能。然而，神经网络推理在大规模计算上是昂贵的:对单个视频应用最先进的实时对象检测器(即每秒30+帧)需要4000美元的GPU。作为回应，我们提出了NOSCOPE，这是一个用于查询视频的系统，可以通过推理优化模型搜索将神经网络视频分析的成本降低三个数量级。给定一个目标视频、要检测的对象和参考神经网络，NOSCOPE自动搜索和训练一个序列或级联模型，该模型保留了参考网络的准确性，但专门针对目标视频，因此计算成本要低得多。NOSCOPE级联了两种类型的模型:专门的模型，放弃了参考模型的全部通用性，但忠实地模拟了目标视频和对象的行为;以及能突出帧间时间差异的差异检测器。我们展示了最佳级联架构因视频和对象而异，因此NOSCOPE使用高效的基于成本的优化器来跨模型和级联进行搜索。通过这种方法，NOSCOPE在固定角度网络摄像头和监控视频上的二进制分类任务上实现了两到三个数量级的加速(265- 15500 ×实时)，同时将精度保持在最先进的神经网络的1-5%以内。