使用MLflow跟踪模型开发

本文包含砖跟踪模型发展的例子。日志和跟踪模型与MLflow自动或手动MLflow API。

模型跟踪& MLflow

模型开发过程是迭代的,它可能是一个挑战来跟踪你的工作当您开发和优化模型。在砖,你可以使用MLflow跟踪帮助你跟踪模型的开发过程,包括参数设置或组合你有试过和他们如何影响模型的性能。

MLflow跟踪使用实验运行日志和跟踪您的模型的发展。跑步是一个单一的执行模型代码。一个MLflow运行期间,您可以登录模型参数和结果。一个实验是相关的集合。在一个实验中,可以比较和过滤器运行了解您的模型执行以及其性能取决于参数设置,输入数据,等等。

本文中的笔记本电脑提供简单的例子,可以帮助您快速开始使用MLflow跟踪您的模型的发展。为更多的细节在砖使用MLflow跟踪,看看跟踪机器学习培训

请注意

MLflow提交和跟踪不支持工作spark_submit_taskAPI的工作。相反,您可以使用MLflow项目火花运行代码。

用autologging跟踪模型的发展

MLflow可以自动日志训练许多毫升框架编写的代码。这是最简单的方法开始使用MLflow跟踪。

这个例子笔记本显示了如何使用autologgingscikit-learn。autologging其他Python库的信息,请参阅自动日志训练运行MLflow

Python笔记本MLflow autologging快速入门

在新标签页打开笔记本

使用日志API跟踪模型的发展

这个笔记本演示了如何使用MLflow日志API。使用日志记录API给你更多的控制指标和让你日志记录附加的构件(如表或情节。

这个例子笔记本显示如何使用Python日志API。MLflow也休息,R, Java api

Python笔记本MLflow日志API快速入门

在新标签页打开笔记本

的端到端示例

本教程的笔记本提供了一个端到端在砖训练模型的例子,包括装载数据,可视化数据,建立一个并行hyperparameter优化,并利用MLflow审查结果,注册模型,对新数据进行推理火花UDF使用注册模型。

需求

砖运行时毫升

例如笔记本电脑

请注意

以下的笔记本可能包括功能不可用这个版本的砖在谷歌的云。

MLflow的端到端示例笔记本

在新标签页打开笔记本