Python快速入门

MLflow是一个用于管bob下载地址理端到端机bob体育客户端下载器学习生命周期的开源平台。MLflow为记录指标(例如,模型损失)、参数(例如,学习率)和拟合模型提供了简单的api,从而便于分析训练结果或稍后部署模型。

安装MLflow

如果你在使用Databricks运行时机器学习, MLflow已经安装。否则,从PyPI安装MLflow包

自动将训练运行记录到MLflow

使用Databricks运行时10.3 ML及以上,砖Autologging在默认情况下启用,并在从各种流行的机器学习库训练模型时自动捕获模型参数、指标、文件和沿袭信息。

在Databricks Runtime 10.2及以下版本中,MLflow提供了mlflow。<框架> .autolog ()用于自动记录在许多ML框架中编写的训练代码的api。您可以在运行训练代码之前调用这个API来记录特定于模型的度量、参数和模型构件。

请注意

中也支持Keras模型mlflow.tensorflow.autolog ()

# autoinstruments tf.keras进口mlflow.tensorflowmlflowtensorflowautolog()
进口mlflow.xgboostmlflowxgboostautolog()
进口mlflow.lightgbmmlflowlightgbmautolog()
进口mlflow.sklearnmlflowsklearnautolog()

如果使用pyspark.ml,度量和模型自动记录到MLflow。看到Apache Spark MLlib和自动MLflow跟踪

查看结果

在执行机器学习代码之后,您可以使用experimental Runs侧栏查看结果。看到查看笔记本实验有关如何查看实验的说明,运行和笔记本修订使用的快速入门。

跟踪额外的指标、参数和模型

方法可以记录其他信息MLflow跟踪日志api

数值指标

进口mlflowmlflowlog_metric“准确性”0.9

训练参数

进口mlflowmlflowlog_param“learning_rate”0.001

模型

进口mlflow.sklearnmlflowsklearnlog_model模型“myModel”
进口mlflow.sparkmlflow火花log_model模型“myModel”
进口mlflow.xgboostmlflowxgboostlog_model模型“myModel”
进口mlflow.tensorflowmlflowtensorflowlog_model模型“myModel”
进口mlflow.kerasmlflowkeraslog_model模型“myModel”
进口mlflow.pytorchmlflowpytorchlog_model模型“myModel”
进口mlflow.spacymlflow宽大的log_model模型“myModel”

其他工件(文件)

进口mlflowmlflowlog_artifact“/ tmp /我的文件”“myArtifactPath”

例如笔记本电脑

请注意

使用Databricks运行时10.3 ML及以上,砖Autologging默认情况下启用,并且这些示例笔记本中的代码不是必需的。本节中的示例笔记本设计用于Databricks Runtime 10.2 ML及以下版本。

使用Python开始使用MLflow跟踪的推荐方法是使用MLflowautolog ()API。使用MLflow的自动记录功能,只需一行代码就可以自动记录生成的模型、用于创建模型的参数和模型评分。下面的笔记本向您展示如何使用自动记录设置运行。

MLflow自动快速入门Python笔记本

在新标签页打开笔记本

如果您需要对每次训练运行所记录的指标进行更多的控制,或者希望记录额外的工件(如表或图),您可以使用以下笔记本中演示的MLflow日志API函数。

MLflow日志API快速入门Python笔记本

在新标签页打开笔记本