宣布MLflow模型在砖

通过亚伦戴维森,托马斯Nykodym,克莱门斯Mewald和Cyrielle西蒙尼

2020年6月25日在工程的博客

分享这篇文章

砖MLflow模型提供交钥匙解决方案服务主机机器学习(ML)模型作为REST端点自动更新,使数据科学团队拥有一个实时的端到端的生命周期从培训到生产机器学习模型。

在部署时毫升模型、数据科学家必须做出选择根据他们的用例。如果他们需要大量的预测和延迟不是一个问题,他们通常在批处理执行推理,喂食大量的模型数据和编写预测表。如果他们需要预测低延迟,例如在一个应用程序响应用户操作,最佳实践是部署毫升模型作为REST端点。这允许应用程序发送请求的端点总是立即收到预测。

在砖上,我们已经简化了部署毫升的工作流模型在大数据批处理或流的方式,使用MLflow的spark_udf。对于需要部署的情况下模型实时的方式,我们正在引入砖MLflow模型服务:一个新的交钥匙服务,简化了最初部署模型的工作流和也保持更新。砖MLflow模型直接关系到服务MLflow模型注册自动部署新版本的模型和路由请求,方便毫升开发人员直接管理其所服务的模型。

看火花+人工智能峰会主题演讲

服务模型

今天,服务模型可以复杂,因为它需要运行一个单独的服务系统,比如Kubernetes毫升开发人员可能没有访问权。此外,开发人员必须小心使用更新版本的模型作为他们设计新车型,并请求路由到正确的模型。

砖MLflow模型解决这个问题通过集成与服务注册中心。所有机器学习的模型注册表可以存储模型库(TensorFlow, scikit-learn等等),并允许您存储多个版本的模型,评论他们,促进他们登台和生产等不同生命周期阶段。模型服务利用这些阶段;你能提供最新的生产模型在“/模型/ 在uri /生产”和其他型号的具体模型。在引擎盖下,模型服务管理计算集群执行请求,并确保他们总是最新的和健康的。

一旦启用模型服务,砖集群启动,哪些主机所有活动模型版本与注册相关模型作为REST端点。每个模型运行在一个conda环境反映环境训练。

一旦端点正在运行,您可以从砖UI测试查询,或者使用REST API提交自己。我们也与最近发布的模型集成模式和示例(在MLflow 1.9允许注释模型模式和示例输入),使其更容易和更安全的考验你的服务模型。

https://www.youtube.com/watch?v=IVS2PyoQN0M

相同的请求可以发送通过REST API使用标准砖认证,例如使用curl:

curl - u标志:XXXhttps:/ /dogfood.staging.cloud.www.neidfyre.com/model/model_with_example/Production/invocations- happlication / json内容类型:;格式= pandas-records '- d“[[5.1,3.5,1.4,0.2]]”

注意,URL包含“生产”,这意味着这是一个稳定的URL指向最新的生产版本。你也可以直接参考模型的版本号,如果你想锁定您的应用程序到一个特定的版本(例如“/模型/ model_with_example / 1”)。