Xingbo江

更新项目氢:统一的最先进的人工智能和大数据在Apache火花项目氢是一个主要的Apache火花倡议将最先进的人工智能和大数据解决方案。

它包含三个主要项目:
1)执行模式的障碍
2)数据交换和优化
3)accelerator-aware调度。

基本实现障碍执行模式的合并到Apache火花测试盒框,和社区正在后两个。在这次演讲中,我们将更新项目进展氢和讨论接下来的步骤。

首先,我们将回顾从火花测试盒框执行模式实现的障碍。它使开发人员能够嵌入分布式集群培训工作正常火花。我们将演示分布式人工智能集成之上,例如,Horovod和分布式TensorFlow。我们还将讨论这些技术挑战来实现集成和未来的工作。

第二,我们将更新accelerator-aware调度和应当如何帮助加速你的火花培训工作。我们还将持续的轮廓为优化数据交换工作。

火花SQL允许火花与分析数据库执行效率和容错关系查询处理技术。关系查询编译为可执行的物理计划组成的转换和行动在抽样生成的Java代码。代码编译为Java字节码,在运行时由JVM和优化JIT执行本机代码在运行时。这个演讲将深入探究引发SQL执行引擎。讨论包括流水线执行、舞台代码生成UDF执行、内存管理、基于矢量化读者,血统抽样转换和行动。

火花SQL允许火花与分析数据库执行效率和容错关系查询处理技术。关系查询编译为可执行的物理计划组成的转换和行动在抽样生成的Java代码。代码编译为Java字节码,在运行时由JVM和优化JIT执行本机代码在运行时。这个演讲将深入探究引发SQL执行引擎。讨论包括流水线执行、舞台代码生成UDF执行、内存管理、基于矢量化读者,血统抽样转换和行动。

数据处理平台的核心组件,调度器负责安排任务计算单位。bob体育客户端下载建立在一个有向无环图(DAG)计算模型,火花集群调度程序块经理一起工作,后端,从而高效地利用高性能集群的资源用于各种工作负载。这个演讲深入的技术细节的完整生命周期一个典型的火花工作量安排和执行,也讨论了如何优化火花调度器获得更好的性能。

数据处理平台的核心组件,调度器负责安排任务计算单位。bob体育客户端下载建立在一个有向无环图(DAG)计算模型,火花集群调度程序块经理一起工作,后端,从而高效地利用高性能集群的资源用于各种工作负载。这个演讲深入的技术细节的完整生命周期一个典型的火花工作量安排和执行,也讨论了如何优化火花调度器获得更好的性能。

会话标签:# Dev9SAIS