培训和注册机器学习模型与统一目录

统一目录允许细粒度安全适用于表和模型无缝地与其他机器学习组件交互在砖。本文展示了如何使用Python来训练一个机器学习模型使用数据目录和注册模型统一目录。

需求

  • 全民必须启用您的工作区目录。

  • 您必须能够创建一个集群或获得一个集群中运行的单用户访问模式。

创建一个砖机器学习的集群

按照以下步骤创建一个单用户砖集群运行时毫升,可以在统一目录访问数据。

  1. 点击计算图标计算

  2. 点击创建计算

  3. 访问模式中,选择单用户

    砖运行时毫升包括库,需要使用单用户集群。可以使用单个用户集群只由一个用户(默认情况下,单用户集群)的所有者。其他用户无法连接到集群。

    更多的信息特性在每个访问模式,明白了集群访问模式是什么?

  4. 砖的运行时版本的下拉菜单,选择毫升并选择11.3 LTS毫升或更高版本。

  5. 点击创建集群

创建目录

按照以下步骤创建一个新的目录,你的机器学习团队可以存储数据资产。

  1. 与metastore分配在一个工作区,metastore管理员登录,或作为一个用户创建目录特权。

  2. 创建一个笔记本或打开砖SQL编辑器中。

  3. 运行下面的命令来创建毫升目录:

    创建目录毫升;

    当您创建一个目录,一个模式命名默认的自动创建。

  4. 授权访问的毫升目录和ml.default模式,和创建表和视图的能力ml_team组。包括所有帐户级别的用户,可以使用账户用户

    格兰特使用目录目录毫升毫升团队;格兰特使用模式,创建模式毫升默认的ml_team;

现在,任何用户的ml_team集团可以运行下面的例子的笔记本。

导入示例笔记本

首先,导入以下笔记本。

机器学习与统一目录笔记本

在新标签页打开笔记本

导入笔记本:

  1. 旁边的笔记本,点击复制链接导入

  2. 在您的工作区中,单击工作空间的图标工作空间

  3. 旁边一个文件夹,单击下脱字符号,然后单击进口

  4. 点击URL,然后将复制的链接粘贴。

  5. 导入的笔记本出现在您所选择的文件夹。双击笔记本名称来打开它。

  6. 顶部的笔记本,选择连接笔记本砖机器学习的集群。

笔记本分为几个高层部分:

  1. 设置。

  2. 从CSV文件读取数据并将其写入联合目录。

  3. 数据加载到熊猫dataframes和清理。

  4. 火车一个基本的分类模型。

  5. 曲调hyperparameters和优化模型。

  6. 注册模型统一目录。

  7. 结果写入一个新的表并与其他用户分享。

要运行一个细胞,点击运行图标运行。运行整个笔记本,点击运行所有