Spark SQL:比Tungsten快16倍

下载幻灯片

由于Project Tungsten软件的改进,Apache Spark 2.1.0提高了Apache Spark SQL的性能。另外,通过使用Oracle在Apache Spark SQL上的创新实现了16倍的速度。通过使用甲骨文的Software in Silicon加速器卸载技术,这一16倍的改进成为可能。由于许多因素,内存性能变得越来越重要。用户现在在多tb的工作负载上执行更高级的SQL处理。此外,预置服务器和云服务器正在获得更大的物理内存,以便将这些巨大的工作负载存储在内存中。在这次演讲中,我们将介绍如何在Spark ML的管道中使用Spark SQL创建特性和生成特性。

本演讲将探讨大规模和复杂交互的工作负载。我们还提供最佳实践和调优建议,以在云部署中的实际应用程序上支持这些类型的工作负载。此外,还将讨论下一代钨项目的想法。

BOB低频彩了解更多:

  • Spark SQL指南
  • Spark SQL:使用Apache Spark操作结构化数据


    «回来
  • 关于布拉德·卡莱尔

    布拉德·卡莱尔是甲骨文公司战略应用工程高级总监。他的工程团队研究了x86和SPARC服务器在数据库、分析和应用程序工作负载上的性能。此外,他的团队对Oracle系统和竞争对手的系统进行详细的性能分析。在加入甲骨文之前,他曾在Sun公司工作,负责基准测试和性能创新。在加入Sun之前,他曾在Cray Research和浮点系统公司从事性能研究。他拥有西北大学(Northwestern University)的工程学学士学位,在高性能商业和科学计算领域发表了二十多篇技术论文。