莫里茨迈斯特

分布式深入学习提供了许多好处——更快的训练模型使用更多的gpu,在许多gpu并行hyperparameter优化,并行消融研究来帮助理解深层神经网络的行为和性能。3.0与火花,火花gpu来执行人,分布深度学习使用PySpark现在是可能的。然而,迭代模型开发PySpark提出的挑战——在开发机器上开始(笔记本电脑),然后重写他们在基于集群的环境中运行。

在这次演讲中,我们将介绍一个开源框架,玛吉,可以写一次训练功能,可以在单台主机Python程序中重用和集群规模PySpark项目。培训功能与玛吉看起来像是我们提出最佳实践TensorFlow程序依赖项使用流行的编程习语(如函数来生成模型和数据批次)。在一个Jupyter笔记本,开发者可以混合香草Python代码开发和测试模型在他们的笔记本电脑PySpark-specific细胞时,可以运行一个集群使用PySpark内核是可用的,例如Sparkmagic。这种方式,深度学习模型的迭代开发成为可能,从笔记本到集群和回来,用干代码在训练函数,代码重用相同的所有阶段培训。

在过去的两年里,开源Hopsworks平台使用火花分发hyperparameter为机器学习优化任务bob体育客户端下载。Hopsworks提供一些基本的优化器(gridsearch randomsearch,微分进化)提出的组合hyperparameters(试验)上运行同步并行执行人地图功能。然而,许多这些试验表现不佳,我们浪费大量的CPU硬件加速器和周期试验,可以停止早,释放的资源供其他试验。

在这次演讲中,我们提出我们的玛吉,开源异步hyperparameter优化框架建立在火花透明地安排和管理hyperparameter试验,提高资源利用率,大大增加试验的数量可以在给定的时间内执行一个固定数量的资源。玛吉也用于支持并行消融研究使用火花。商业用户评估玛吉和我们将会报告他们看到的收益降低的时间找到好的hyperparameters和提高利用GPU硬件。最后,我们将执行Jupyter笔记本上现场演示,展示如何在现有PySpark应用程序集成玛吉。