机器学习运行时

现成的和优化的机器学习环境

机器学习运行时(MLR)为数据科学家和机器学习从业者提供了可伸缩的集群,其中包括流行的框架、内置的AutoML和无与伦比的性能优化。

好处

框架选择

ML框架正在以疯狂的速度发展,从业者平均需要管理8个库。ML运行时提供了一键访问最流行的ML框架的可靠和性能分布,并通过预先构建的容器自定义ML环境。

增强机器学习

通过内置的AutoML功能,包括使用Hyperopt和MLflow进行超参数调优和模型搜索,加速机器学习,从数据准备到推理。

简化缩放

使用自动管理和可伸缩的集群基础设施轻松地从小数据到大数据。机器学习运行时还包括对最流行算法的独特性能改进,以及用于分布式深度学习的简单API HorovodRunner。

特性

框架选择

毫升框架:最流行的ML库和框架都是开箱即用的,包括TensorFlow、Keras、PyTorch、MLflow、Horovod、GraphFrames、scikit-learn、XGboost、numpy、MLeap和Pandas。

增强毫升

自动化实验跟踪:使用开源或托管MLflow和并行坐标绘图功能跟踪、比较和可视化数十万个实验。bob下载地址

自动模型搜索(单节点ML):优化和分布式条件超参数搜索跨多个模型架构,增强Hyperopt和自动跟踪MLflow。

单节点机器学习的自动超参数调优优化和分布式超参数搜索,增强Hyperopt和自动跟踪MLflow。

分布式机器学习的自动超参数调优与PySpark MLlib的交叉验证深度集成,自动跟踪MLlib实验中的MLflow。

为简化缩放而优化

优化TensorFlow:受益于GPU集群上的TensorFlow cuda优化版本,获得最大性能。

HorovodRunner:快速迁移您的单节点深度学习训练代码,使用HorovodRunner在Databricks集群上运行,这是一个简单的API,可以抽象使用Horovod进行分布式训练时面临的复杂问题。

优化MLlib逻辑回归和树分类器:最流行的估计器已经作为Databricks运行时ML的一部分进行了优化,与Apache Spark 2.4.0相比,为您提供高达40%的速度提升。

优化GraphFrames:运行GraphFrames速度提高2-4倍,Graph查询速度提高100倍,这取决于工作负载和数据倾斜。

深度学习工作负载优化存储:利用以下高性能解决方案AzureAWS,GCP对于数据加载和模型检查点,这两者对于深度学习训练工作负载都是至关重要的。

工作原理

机器学习运行时是建立在每个Databricks运行时版本之上并更新的。它通常可用于所有Databricks产品,包括:Azure Databricks, AWS云,GPU集群和CPU集群。

要使用ML运行时,只需在创建集群时选择运行时的ML版本。

客户的故事

观看Spark+AI峰会演讲

简化分布式TensorFlow训练用于星巴克的快速图像分类

准备开始了吗?


遵循快速入门指南