迪帕克派

许多高科技产业依赖于机器学习系统在生产环境中自动分类和应对大量的输入数据。尽管他们重要的角色,这些系统往往不积极监测。当一个问题第一次出现时,它可能会忽略一段时间。一旦注意到,调查其根本原因是一个耗时的手工过程。不是很好如果模型的输出自动监控吗?如果他们可以可视化,中间夹杂着不同的尺寸吗?如果系统可以自动检测性能下降,触发警报?在这个报告中,我们描述我们的经验从建立这样一个核心机器学习服务:模型评估。

我们的服务提供自动、连续部署模型的性能评价常用指标的曲线下的面积(AUC),均方根误差(RMSE)等。此外,汇总统计信息模型的输出,其分布也计算。服务还提供了一个仪表板可视化性能指标,汇总统计和分布的模型随着时间的推移以及REST api以编程方式获取这些指标。

这些指标可以通过输入切片特性(如地理位置、产品类型)来提供洞察模型的性能在不同的段。讨论将描述构建这样一个服务所需的各种组件和指标。我们的系统有一个后端组件用火花在Azure砖建造的。后端可以扩展分析TBs数据生成模型评价指标。

我们将讨论如何修改火花MLLib计算AUC切片的不同维度和其他优化火花来提高计算和性能。我们的前端和中间层,建码头工人和Azure应用提供了视觉和REST api来检索上述指标。这个演讲将涵盖的各个方面构建、部署和使用上述系统。

你可曾想过ML模式是如何运作的吗?为什么它想出一定的预测,而不是别人?你见过一个模型行为方式怪异或反直觉的?你缺乏信任模型,因为它是一个黑盒?最近的流行深度学习神经网络models-impenetrable他们甚至他们的创造者——强调了数学的重要性可解释性框架模型。然而,即使是简单的模型,如线性模型很难解释对于那些没有足够的技术专长。

这个演讲将调查各种方法在学术界和产业界模型解释能力。我们将展示全球和本地(实例级)的见解,使用一个特定的模型为例。全球可解释性价值提供一个总结水平理解模型的行为。然而,模型的复杂性使其准确实例级。因此,我们增加实例级的解释。

我们将讨论如何构建和部署在生产一个算法,可以解释黑箱模型在全球和地方。我们的系统有一个后端组件用火花在Azure砖建造的。后端可以扩展分析数百万数据点生成的解释。我们将讨论位置敏感哈希(激光冲徊化)和其他优化火花来提高计算和性能。该方法是更有效的与现有技术相比,这是计算密集型的。我们的前端和中间层,建码头工人和Azure应用提供了视觉和REST api来检索模型解释。这个演讲将涵盖的各个方面构建、部署和使用上述系统。