砖12.0运行时机器学习

砖12.0运行时机器学习为机器学习和数据提供了一个准备好了环境科学的基础上砖12.0运行时。砖运行时毫升含有许多流行的机器学习库,包括TensorFlow PyTorch, XGBoost。砖运行时毫升包括AutoML,一个工具来自动训练机器学习管道。砖运行时毫升也支持使用Horovod分布深度学习培训。

更多信息,包括指令创建砖集群运行时毫升、明白了砖运行时机器学习。

新特性和改进

砖砖的运行时12.0毫升之上12.0运行时。有什么新信息的砖12.0运行时,包括Apache火花MLlib和SparkR,看到砖12.0运行时发行说明。

增强砖AutoML

  • 预测模型可以可选地包括国家假日。

  • 预测现在支持月度、季度和年度的频率。

  • AutoML现在可以使用更大的数据集进行训练。对于大型数据集AutoML自动分配更多的CPU核心。

关于砖AutoML的更多信息,请参阅AutoML是什么?。

MLflow 2.0

砖运行时12.0毫升包括MLflow 2.0。MLflow 2.0构建MLflow强劲的平台基础之上,包含了大量的用户反馈来bob体育客户端下载简化数据科学工作流和提供创新、一流MLOps工具。特性和改进包括扩展MLflow食谱(原名MLflow管道),如AutoML hyperparameter调优,和分类支持,以及现代化与ML生态系统集成,简化MLflow跟踪UI,刷新的核心api MLflow平台组件,以及更多。bob体育客户端下载有关更多信息,请参见MLflow 2.0文档或检查博客。

scikit-learn1.0

砖运行时包含12.0毫升scikit-learn1.0版。参观scikit-learn文档了解变化scikit-learn释放。

系统环境

砖的系统环境运行时12.0毫升不同于砖运行时的12.0如下:

砖运行时12.0毫升包括XGBoost 1.6.2,不支持GPU集群计算能力5.2甚至更低。

库

下面的章节列表库包含在砖运行时的12.0毫升,不同于那些包含在砖12.0运行时。

Python库

砖运行时12.0毫升使用Virtualenv Python包管理,包括许多流行毫升包。

除了指定的包在下面几节中,砖运行时12.0毫升的还包括以下方案:

  • hyperopt 0.2.7.db1

  • sparkdl 2.3.0-db3

  • automl 1.14.1

复制的砖在本地Python运行时毫升Python环境的虚拟环境,下载requirements-12.0.txt文件和运行皮普安装- rrequirements-12.0.txt。这个命令安装所有的砖运行时毫升使用开源库,但没有安装库由砖等bob下载地址databricks-automl,databricks-feature-store,或砖叉hyperopt。

Python库对CPU集群

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

1.0.0

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.0.5

astunparse

1.6.3

attrs

21.4.0

azure-core

1.26.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.3.0

漂白剂

4.1.0

bli

0.7.9

boto3

1.21.32

botocore

1.24.32

cachetools

4.2.2

目录

2.0.8

category-encoders

2.5.1.post0

certifi

2021.10.8

cffi

1.15.0

chardet

4.0.0

charset-normalizer

2.0.4

点击

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.0.8

糖果

0.0.3

configparser

5.2.0

convertdate

测试盒框

密码学

3.4.8

周期计

0.11.0

cymem

2.0.7

Cython

0.29.28

databricks-automl-runtime

0.2.13

databricks-cli

0.17.3

databricks-feature-store

0.8.0

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.5.1

装饰

5.1.1

defusedxml

是0.7.1

莳萝

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.4

ephem

4.1.3

执行

0.8.3

facets-overview

1.0.0

fastjsonschema

2.16.2

fasttext

0.9.2

filelock

3.6.0

瓶

1.1.2

flatbuffers

22.10.26

fonttools

4.25.0

fsspec

2022.2.0

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.42.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.6.0

hijri-converter

2.2.4

假期

0.16

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.11.0

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.8.1

importlib-metadata

4.11.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

绝地武士

0.18.1

Jinja2

14

jmespath

0.10.0

joblib

1.1.0

joblibspark

0.5.0

jsonschema

4.4.0

jupyter-client

6.1.12

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.10.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.2

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.3

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.2.0

减价

3.3.4

MarkupSafe

2.0.1

matplotlib

3.5.1

matplotlib-inline

0.1.2

missingno

0.5.1

使走调

0.8.4

mleap

0.20.0

mlflow-skinny

2.0.1

多重方法

1.8

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

5.3.0

nest-asyncio

1.5.5

networkx

2.7.1

nltk

3.7

笔记本

6.4.8

numba

0.55.1

numpy

1.21.5

oauthlib

3.2.0

opt-einsum

3.3.0

包装

21.3

熊猫

1.4.2

pandas-profiling

3.3.0

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感觉”

0.6.1

容易受骗的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕头

9.0.1

皮普

21.2.4

bob体育客户端下载platformdirs

2.5.4

情节

5.6.0

pmdarima

2.0.1

棒

3.0.8

prometheus-client

0.13.1

prompt-toolkit

3.0.20

先知

1.1.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.1

pycparser

2.21

pydantic

1.9.2

Pygments

2.11.2

PyGObject

3.36.0

PyJWT

2.6.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.4

pyrsistent

0.18.0

python-dateutil

2.8.2

python编辑器

1.0.4

pytz

2021.3

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

22.3.0

正则表达式

2022.3.15

请求

2.27.1

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.7.2

s3transfer

0.5.0

scikit-learn

1.0.2中

scipy

1.7.3

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

61.2.0

setuptools-git

1.2

世鹏科技电子

0.41.0

simplejson

3.17.6

六个

1.16.0

切片机

0.0.7

smart-open

5.1.0

smmap

5.0.0

soupsieve

2.3.1

宽大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.5

ssh-import-id

5.10

堆栈数据

0.2.0

statsmodels

0.13.2

汇总

0.8.9

tangled-up-in-unicode

0.2.0

韧性

8.0.1

tensorboard

2.10.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.10.0

tensorflow-estimator

2.10.0

tensorflow-io-gcs-filesystem

0.28.0

termcolor

2.1.1

terminado

0.13.1

testpath

0.5.0

thinc

8.1.5

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分词器

0.13.2

tomli

1.2.2

火炬

1.12.1 + cpu

torchvision

0.13.1 + cpu

龙卷风

6.1

tqdm

4.64.0

traitlets

5.1.1

变形金刚

4.23.1

打字机

0.4.2

typing_extensions

以下4.4.1

unattended-upgrades

0.1

urllib3

1.26.9

virtualenv

20.8.0

愿景

0.7.5

芥末酱

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

Werkzeug

2.0.3

轮

0.37.1

widgetsnbextension

3.6.1

打包

1.12.1

氧化锌碘仿糊

3.7.0

Python库在GPU集群

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

1.0.0

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.0.5

astunparse

1.6.3

attrs

21.4.0

azure-core

1.26.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.3.0

漂白剂

4.1.0

bli

0.7.9

boto3

1.21.32

botocore

1.24.32

cachetools

4.2.2

目录

2.0.8

category-encoders

2.5.1.post0

certifi

2021.10.8

cffi

1.15.0

chardet

4.0.0

charset-normalizer

2.0.4

点击

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.0.8

糖果

0.0.3

configparser

5.2.0

convertdate

测试盒框

密码学

3.4.8

周期计

0.11.0

cymem

2.0.7

Cython

0.29.28

databricks-automl-runtime

0.2.13

databricks-cli

0.17.3

databricks-feature-store

0.8.0

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.5.1

装饰

5.1.1

defusedxml

是0.7.1

莳萝

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.4

ephem

4.1.3

执行

0.8.3

facets-overview

1.0.0

fastjsonschema

2.16.2

fasttext

0.9.2

filelock

3.6.0

瓶

1.1.2

flatbuffers

22.10.26

fonttools

4.25.0

fsspec

2022.2.0

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.42.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.6.0

hijri-converter

2.2.4

假期

0.16

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.11.0

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.8.1

importlib-metadata

4.11.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

绝地武士

0.18.1

Jinja2

14

jmespath

0.10.0

joblib

1.1.0

joblibspark

0.5.0

jsonschema

4.4.0

jupyter-client

6.1.12

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.10.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.2

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.3

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.2.0

减价

3.3.4

MarkupSafe

2.0.1

matplotlib

3.5.1

matplotlib-inline

0.1.2

missingno

0.5.1

使走调

0.8.4

mleap

0.20.0

mlflow-skinny

2.0.1

多重方法

1.8

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

5.3.0

nest-asyncio

1.5.5

networkx

2.7.1

nltk

3.7

笔记本

6.4.8

numba

0.55.1

numpy

1.21.5

oauthlib

3.2.0

opt-einsum

3.3.0

包装

21.3

熊猫

1.4.2

pandas-profiling

3.3.0

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感觉”

0.6.1

容易受骗的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕头

9.0.1

皮普

21.2.4

bob体育客户端下载platformdirs

2.5.4

情节

5.6.0

pmdarima

2.0.1

棒

3.0.8

prompt-toolkit

3.0.20

先知

1.1.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.1

pycparser

2.21

pydantic

1.9.2

Pygments

2.11.2

PyGObject

3.36.0

PyJWT

2.6.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.4

pyrsistent

0.18.0

python-dateutil

2.8.2

python编辑器

1.0.4

pytz

2021.3

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

22.3.0

正则表达式

2022.3.15

请求

2.27.1

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.7.2

s3transfer

0.5.0

scikit-learn

1.0.2中

scipy

1.7.3

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

61.2.0

setuptools-git

1.2

世鹏科技电子

0.41.0

simplejson

3.17.6

六个

1.16.0

切片机

0.0.7

smart-open

5.1.0

smmap

5.0.0

soupsieve

2.3.1

宽大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.5

ssh-import-id

5.10

堆栈数据

0.2.0

statsmodels

0.13.2

汇总

0.8.9

tangled-up-in-unicode

0.2.0

韧性

8.0.1

tensorboard

2.10.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow

2.10.0

tensorflow-estimator

2.10.0

tensorflow-io-gcs-filesystem

0.28.0

termcolor

2.1.1

terminado

0.13.1

testpath

0.5.0

thinc

8.1.5

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分词器

0.13.2

tomli

1.2.2

火炬

1.12.1 + cu113

torchvision

0.13.1 + cu113

龙卷风

6.1

tqdm

4.64.0

traitlets

5.1.1

变形金刚

4.23.1

打字机

0.4.2

typing_extensions

以下4.4.1

unattended-upgrades

0.1

urllib3

1.26.9

virtualenv

20.8.0

愿景

0.7.5

芥末酱

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

Werkzeug

2.0.3

轮

0.37.1

widgetsnbextension

3.6.1

打包

1.12.1

氧化锌碘仿糊

3.7.0

R库

R库的完全相同R库在砖12.0运行时。

Java和Scala库(Scala 2.12集群)

除了Java和Scala库砖12.0运行时,砖运行时12.0毫升包含以下jar:

CPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-spark_2.12

1.6.2

ml.dmlc

xgboost4j_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

2.0.1

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-gpu_2.12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

2.0.1

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0