砖Autologging

砖Autologging是没有代码扩展的解决方案MLflow自动记录提供自动实验跟踪砖机器学习训练。砖Autologging、模型参数、标准、文件,自动地获取和血统信息,当你的火车模型从不同的流行的机器学习库。培训记录MLflow跟踪运行。模型文件跟踪,这样你可以很容易地记录他们MLflow模型注册和部署它们实时得分模型服务。

下面的视频展示了砖Autologging scikit-learn模型训练在交互式Python笔记本。跟踪信息是自动捕获和显示在实验运行栏和MLflow UI。

Autologging例子

需求

  • 与砖砖Autologging通常可用在所有地区运行时10.3毫升以上。

  • 与砖砖Autologging可用选择预览区域运行时9.1 LTS毫升以上。

它是如何工作的

当你高度交互式Python笔记本砖集群,砖Autologging调用mlflow.autolog ()建立跟踪模型训练。当你在笔记本上火车模型,模型训练信息自动跟踪MLflow跟踪。信息关于这个模型培训信息的保护和管理,明白了安全性和数据管理。

的默认配置mlflow.autolog ()电话是:

mlflow。autolog(log_input_examples=假,log_model_signatures=真正的,log_models=真正的,禁用=假,独家=真正的,disable_for_unsupported_versions=真正的,沉默=真正的)

你可以定制autologging配置。

使用

使用砖Autologging,火车在一个机器学习模型支持框架使用Python交互式数据砖笔记本。砖Autologging血统信息自动记录模型,参数和指标MLflow跟踪。你也可以定制数据砖Autologging的行为。

请注意

砖Autologging并不适用于创建运行使用MLflow流利的API与mlflow.start_run ()。在这些情况下,您必须调用mlflow.autolog ()为了节省autologged MLflow运行的内容。看到跟踪附加内容。

自定义日志行为

自定义日志记录、使用mlflow.autolog ()。这个函数提供了配置参数,使模型日志记录(log_models),收集输入的例子(log_input_examples),配置警告(沉默),等等。

跟踪附加内容

跟踪其他指标、参数、文件和元数据与MLflow由砖Autologging运行,在砖交互式Python的笔记本遵循以下步骤:

  1. 调用mlflow.autolog ()与独家= False。

  2. 开始一个MLflow运行使用mlflow.start_run ()。你可以用这个电话与mlflow.start_run ();当你这样做时,运行结束后自动完成。

  3. 使用MLflow跟踪方法,如mlflow.log_param (),跟踪训练的内容。

  4. 火车一个或多个机器学习模型在砖Autologging支持的框架。

  5. 使用MLflow跟踪方法,如mlflow.log_metric (),跟踪的岗位培训内容。

  6. 如果你没有使用与mlflow.start_run ()在步骤2中,最后MLflow运行使用mlflow.end_run ()。

例如:

进口mlflowmlflow。autolog(独家=假)与mlflow。start_run():mlflow。log_param(“example_param”,“example_value”)# <模型训练代码>mlflow。log_param(“example_metric”,5)

禁用砖Autologging

禁用砖Autologging砖交互式Python的笔记本,电话mlflow.autolog ()与禁用= True:

进口mlflowmlflow。autolog(禁用=真正的)

管理员也可以禁用砖Autologging集群在一个工作区先进的选项卡的管理员设置页面。集群必须重新启动此更改生效。

支持环境和框架

砖Autologging支持交互式Python笔记本和可供毫升框架如下:

  • scikit-learn

  • Apache火花MLlib

  • TensorFlow

  • Keras

  • PyTorch闪电

  • XGBoost

  • LightGBM

  • 胶子

  • 快。人工智能(版本1. x)

  • statsmodels。

有关支持的每个框架的更多信息,见MLflow自动记录。

安全性和数据管理

所有模型训练信息跟踪与砖Autologging存储在MLflow跟踪和安全MLflow实验权限。您可以分享、修改或删除模型训练信息使用MLflow跟踪API或UI。

政府

管理员可以启用或禁用所有互动砖Autologging笔记本会话在他们的工作空间先进的选项卡的管理员设置页面。变化不生效,直到重新启动集群。

限制

  • 在砖砖Autologging不支持工作。使用autologging从工作,可以显式地调用mlflow.autolog ()。

  • 砖Autologging只有司机节点上启用你的砖集群。使用来自工人autologging节点,您必须显式地调用mlflow.autolog ()从代码中执行每个工人。

  • 不支持的XGBoost scikit-learn集成。

Apache火花MLlib、Hyperopt和自动化MLflow跟踪

砖Autologging不会改变现有的自动化MLflow跟踪集成的行为Apache火花MLlib和Hyperopt。

请注意

在砖运行时10.1毫升,禁用自动MLflow跟踪集成Apache MLlib火花CrossValidator和TrainValidationSplit模型也禁用所有Apache火花MLlib砖Autologging特性的模型。