工程的博客

MLflow有什么新特性?按需网络研讨会和常见问题解答现已可用!

2019年6月26日 工程的博客

分享这篇文章

6月6日,我们团队举办了一场网络直播研讨会管理完整的机器学习生命周期:MLflow的新特性——与Databricks产品管理总监Clemens Mewald一起。

机器学习开发带来了传统软件开发生命周期之外的许多新的复杂性。与传统的软件开发不同,ML开发人员希望尝试多种算法、工具和参数来获得最佳结果,并且他们需要跟踪这些信息来重现工作。此外,开发人员需要使用许多不同的系统来生产模型。

为了解决这些挑战,去年6月,我们推出了MLflow,这是一个管理完整机器学习生命周期的开源平台。bob下载地址bob体育客户端下载最近,我们宣布了托管MLflow在Databricks上的一般可用性MLflow 1.0发布

在本次网络研讨会中,我们回顾了新的和现有的MLflow功能,这些功能允许您:

  • 跟踪跨框架的实验运行和结果。
  • 在Databricks集群上远程执行项目,并快速重现您的运行。
  • 使用Databricks生产作业、Docker容器、Azure ML或Amazon SageMaker快速生产模型

我们使用笔记本和教程从我们的公开文件,以便您可以按照自己的节奏练习。如果你想免费访问Databricks统bob体育亚洲版一分析平台bob体育客户端下载试一下我们的笔记本,你可以访问免费试用

最后,我们进行了问答环节,以下是问答环节。

问:除了所有的设置都很麻烦之外,在本地使用MLflow而不是在Databricks的云中使用MLflow有什么缺失的特性/缺点吗?

Databricks非常致力于开源社区。bob下载地址我们的创始人是Apache Spark的最初创建者TM-一个被广泛采用的开源统一分析引擎-我bob下载地址们公司仍然积极维护和贡献bob体育亚洲版开源Spark代码。同样,对于两者三角洲湖而且MLflow我们同样致力于帮助开源社区从这些产品中受益,并提供这些产品的开箱即用的管理版bob下载地址本。

当我们考虑在Delta Lake或MLflow的开源或托管版本上提供的特性时,我们不会考虑是否bob下载地址应该在某个版本上保留某个特性。我们考虑我们可以提供哪些仅在托管和托管版本中对企业用户有意义的附加特性。因此,从Databricks上的托管MLflow中获得的所有好处是,您不需要担心设置、管理服务器以及与Databricks统一分析平台的所有这些集成,这些集成使其与工作流的其余部分无缝地工作。bob体育亚洲版bob体育客户端下载访问//www.neidfyre.com/product/managed-mlflow了解更BOB低频彩多。

问:MLflow 1.0是否支持Windows?

是的,我们添加了在windows上运行MLflow客户端的支持。请参阅我们的发行说明在这里

问:MLflow是TensorFlow的补充还是竞争?

这是一个完美的补充。您可以训练TensorFlow模型,并使用MLflow记录度量标准和模型。

问:使用MLflow我们可以跟踪多少种不同的指标?有什么限制吗?

MLflow没有对您可以跟踪的指标数量施加任何限制。唯一的限制是用于存储这些指标的后端。

问:如何用MLflow并行化模型训练?

MLflow与用于训练模型的ML框架无关。例如,如果你使用TensorFlow或PyTorch,你可以将你的训练任务分发给它们HorovodRunner并使用MLflow记录您的实验、运行和模型。

问:是否有一种方法可以批量提取MLflow信息来执行操作分析(例如,上个季度有多少次训练运行。有多少人在训练模型等等)?

我们正在研究一种更容易地将MLflow跟踪元数据提取为可以进行数据科学研究的格式的方法熊猫dataframe

问:是否可以使用一个平台(例如Databricks使用TensorFlow和PySpark)来训练和构建一个MLflowbob体育客户端下载模型,然后在另一个平台上重用这个MLflow模型(例如在R中使用RStudio)来对任何输入进行评分?

MLflow模型的格式和抽象允许您从任何地方加载任何MLflow模型。例如,您可以使用python函数风格从任何python库调用模型,或者使用r函数风格将其作为r函数调用。MLflow不会将模型重写为新的格式,但是您总是可以将MLflow模型公开为REST端点,然后以与语言无关的方式调用它。

问:为了服务于一个模型,在数据库之外部署的选项有哪些?Sagemaker。你们有计划将其部署为AWS Lambdas吗?

我们提供了几种部署MLflow模型的方法,包括亚马逊SageMaker、微软Azure ML、Docker容器、Spark UDF等…看到这个页面为了一个列表。举一个如何在AWS Lambda中使用MLflow模型的例子,您可以使用python函数风格,它允许您从任何可以调用python函数的地方调用模型。

问:MLflow可以与Databricks之外的python程序一起使用吗?

是的,MLflow是一个开源产品,可bob下载地址以在GitHub而且PyPi

问:Databricks的定价模式是什么?

请参阅//www.neidfyre.com/product/pricing

问:你如何看待MLflow与风流的关系?

我们正在寻找支持多步骤工作流的方法。我们可以使用的一种方法是使用“气流”。我们还没有做出这些决定。

Q:部署多步骤模型的建议,例如几个基本模型的集成。

现在,您可以通过编写代码集成其他模型来将这些模型部署为MLflow模型。例如,类似于多步骤流程实例实现。

问:MLflow是否提供了在数据上进行特征工程的框架?

不是特别的,但是您可以将任何其他框架与MLflow一起使用。

要开始使用MLflow,请遵循mlflow.org或查看发布代码Github.我们最近还创建了一个松弛的通道MLflow以及实时问题,你可以跟随@MLflow在Twitter上。我们期待听到您的反馈!

免费试用Databricks
看到所有工程的博客的帖子