砖运行时5.0毫升(β)
砖在2018年11月发布了这张照片。
砖运行时5.0毫升为机器学习和数据提供了一个准备好了环境科学。它包含了许多流行的库,包括TensorFlow Keras, XGBoost。它还支持使用Horovod分布式TensorFlow培训。
更多信息,包括指令创建砖集群运行时毫升、明白了介绍砖运行时机器学习。
新功能
砖砖的运行时5.0毫升之上5.0运行时。有什么新信息的砖5.0运行时,看到的砖运行时的5.0(不支持)发行说明。除了砖运行时的5.0中的新特性,砖运行时5.0毫升包括以下新特性:
HorovodRunner为运行分布式使用Horovod深度学习培训工作。
Conda支持包管理。
MLeap集成。
GraphFrames集成。
请注意
砖运行时的ML版本捡起所有维护更新基础数据砖运行时版本。所有维护更新的列表,请参阅砖运行时的维护更新。
系统环境
系统环境的差异在砖砖5.0运行时,运行时5.0 ML:
Python:2.7.15 Python 2集群和3.6.5 Python 3集群。
GPU集群,下面的NVIDIA GPU库:
396.44特斯拉的司机
CUDA 9.2
CUDNN 7.2.1
库
不同的库包括在砖5.0运行时,那些包含在砖运行时的5.0毫升在这一节中列出。
Python库
砖的运行时5.0毫升使用Conda Python包管理。以下是提供Python包的完整列表和版本使用Conda包管理器安装。
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
absl-py |
0.6.1 |
argparse |
1.4.0 |
asn1crypto |
0.24.0 |
阿斯特 |
是0.7.1 |
backports-abc |
0.5 |
backports.functools-lru-cache |
1.5 |
backports.weakref |
1.0.post1 |
bcrypt |
3.1.4 |
漂白剂 |
2.1.3 |
宝途 |
2.48.0 |
boto3 |
1.7.62 |
botocore |
1.10.62 |
certifi |
2018.04.16 |
cffi |
1.11.5 |
chardet |
3.0.4 |
cloudpickle |
0.5.3 |
彩色光 |
0.3.9 |
configparser |
3.5.0 |
密码学 |
2.2.2 |
周期计 |
0.10.0 |
Cython |
0.28.2 |
装饰 |
4.3.0 |
docutils |
0.14 |
entrypoints |
0.2.3 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
funcsigs |
1.0.2中 |
functools32 |
3.2.3-2 |
fusepy |
2.0.4 |
期货 |
3.2.0 |
使惊讶 |
0.2.0 |
grpcio |
1.12.1 |
h5py |
2.8.0 |
horovod |
0.15.0 |
html5lib |
1.0.1 |
idna |
2.6 |
ipaddress |
1.0.22 |
ipython |
5.7.0 |
ipython_genutils |
0.2.0 |
jdcal |
1.4 |
Jinja2 |
2.10 |
jmespath |
0.9.3 |
jsonschema |
2.6.0 |
jupyter-client |
5.2.3 |
jupyter-core |
4.4.0 |
Keras |
2.2.4 |
Keras-Applications |
1.0.6 |
Keras-Preprocessing |
1.0.5 |
kiwisolver |
1.0.1 |
linecache2 |
1.0.0 |
llvmlite |
0.23.1 |
lxml |
4.2.1 |
减价 |
3.0.1 |
MarkupSafe |
1.0 |
matplotlib |
2.2.2 |
使走调 |
0.8.3 |
mleap |
0.8.1 |
模拟 |
2.0.0 |
msgpack |
0.5.6 |
nbconvert |
5.3.1 |
nbformat |
4.4.0 |
鼻子 |
1.3.7 |
nose-exclude |
0.5.0 |
numba |
0.38.0 + 0. g2a2b772fc.dirty |
numpy |
1.14.3 |
olefile |
0.45.1 |
openpyxl |
2.5.3 |
熊猫 |
0.23.0 |
pandocfilters |
1.4.2 |
paramiko |
2.4.1 |
pathlib2 |
2.3.2 |
容易受骗的人 |
0.5.0 |
pbr |
5.1.0 |
pexpect |
4.5.0 |
pickleshare |
0.7.4 |
枕头 |
5.1.0 |
皮普 |
10.0.1 |
厚度 |
3.11 |
prompt-toolkit |
1.0.15 |
protobuf |
3.6.1 |
psycopg2 |
2.7.5 |
ptyprocess |
0.5.2 |
pyarrow |
0.8.0 |
pyasn1 |
0.4.4 |
pycparser |
2.18 |
Pygments |
2.2.0 |
PyNaCl |
1.3.0 |
pyOpenSSL |
18.0.0 |
pyparsing |
2.2.0 |
PySocks |
1.6.8 |
Python |
2.7.15 |
python-dateutil |
2.7.3 |
pytz |
2018.4 |
PyYAML |
3.12 |
pyzmq |
17.0.0 |
请求 |
2.18.4 |
s3transfer |
0.1.13 |
scandir |
1.7 |
scikit-learn |
0.19.1 |
scipy |
1.1.0 |
seaborn |
0.8.1 |
setuptools |
39.1.0 |
simplegeneric |
0.8.1 |
singledispatch |
3.4.0.3 |
六个 |
1.11.0 |
statsmodels |
0.9.0 |
subprocess32 |
3.5.3 |
tensorboard |
1.10.0 |
tensorflow |
1.10.0 |
termcolor |
1.1.0 |
testpath |
0.3.1 |
龙卷风 |
正式 |
traceback2 |
1.4.0 |
traitlets |
4.3.2 |
unittest2 |
1.1.0 |
urllib3 |
1.22 |
virtualenv |
16.0.0 |
wcwidth |
0.1.7 |
webencodings |
0.5.1 |
Werkzeug |
0.14.1 |
轮 |
0.31.1 |
打包 |
1.10.11 |
wsgiref |
0.1.2 |
此外,下面的火花包包括Python模块:
火花包 |
Python模块 |
版本 |
|---|---|---|
tensorframes |
tensorframes |
0.5.0-s_2.11 |
graphframes |
graphframes |
0.6.0-db3-spark2.4 |
spark-deep-learning |
sparkdl |
1.3.0-db2-spark2.4 |
R库
R库是相同的5.0 R在砖的运行时库。
Java和Scala库(Scala 2.11集群)
除了Java和Scala库砖5.0运行时,砖运行时5.0毫升包含以下jar:
组ID |
工件ID |
版本 |
|---|---|---|
com.databricks |
spark-deep-learning |
1.3.0-db2-spark2.4 |
org.tensorframes |
tensorframes |
0.5.0-s_2.11 |
org.graphframes |
graphframes_2.11 |
0.6.0-db3-spark2.4 |
org.tensorflow |
libtensorflow |
1.10.0 |
org.tensorflow |
libtensorflow_jni |
1.10.0 |
org.tensorflow |
spark-tensorflow-connector_2.11 |
1.10.0-spark2.4-001 |
org.tensorflow |
tensorflow |
1.10.0 |
ml.dmlc |
xgboost4j |
0.80 |
ml.dmlc |
xgboost4j-spark |
0.80 |
ml.combust.mleap |
mleap-databricks-runtime_2.11 |
0.13.0-SNAPSHOT |