使用gpu和RAPIDS库加速Apache Spark的几个数量级—继续

多年来,GPU加速一直是科学计算和人工智能的核心。gpu为深度神经网络、核或天气模拟等最苛刻的应用提供了所需的计算能力。自2018年年中推出RAPIDS以来,这种巨大的计算资源也可用于数据科学工作负载。RAPIDS工具包现在可以在Databricks统一分析平台上使用,是一种gpu加速的嵌入式工具,可以替代Pandas/Nbob体育亚洲版umPy/Scikibob体育客户端下载tLearn/XGboost等实用程序。

通过使用Dask包装器,该平台允许使用最小的代码更改进行真正的大规模计算。bob体育客户端下载本次演讲的目标是讨论RAPIDS,它的功能,架构,以及它与Spark集成的方式,在许多情况下,它提供了几个数量级的加速,而不是仅cpu的对应版本。

试着砖
查看更多Spark + AI欧洲峰会2019视频


«回来
米格尔马丁内斯
关于Miguel Martinez

英伟达

Miguel Martínez是NVIDIA的深度学习解决方案架构师,他专注于RAPIDS。此前,他在Udacity的人工智能纳米学位上指导学生。他拥有丰富的金融服务背景,主要专注于支付和渠道。作为一个不断学习的人,他总是准备好迎接新的挑战。

关于托马斯·格雷夫斯

英伟达

Thomas Graves是NVIDIA的分布式系统软件工程师,他专注于加速Spark。他是Apache Spark和Apache Hadoop的提交者和PMC。此前在雅虎大数据平台团队工作,负责Apache Spark、Hadoop、YARN、Stbob体育客户端下载orm和Kafka。