在火花SQL物理计划提供了基本信息查询的执行。这个演讲的目的是传达理解和熟悉火花SQL的查询计划和使用这些知识来实现更好的性能的Apache火花查询。我们将带您亲历最常见的运营商查询计划中你会发现和解释一些相关信息,可以有用为了了解一些关于执行的细节。如果你理解了查询计划,你可以寻找弱点,试图重写查询实现更优的计划导致更有效的执行。
这个演讲的主要内容是基于火花源代码,但反映了一些真实的查询,我们会在处理数据。我们将展示一些例子查询计划和如何解释他们解释,可以采取哪些信息。我们还将描述发生了什么在引擎盖下面计划时生成的主要关注物理规划的阶段。总的来说,在这次演讲我们想分享所学火花源代码和真实的查询,我们在我们的日常运行数据处理。
Socialbakers其子as。
大卫是Socialbakers机器学习高级工程师。他正在与火花每天处理的数据从几个不同尺度GBs TBs的。他也查询优化目标达到最大的性能和各种ETL有助于productionalizing管道和ML的应用程序。大卫喜欢准备和讲课在火花引发培训和研讨会和培训等团队工程师,数据分析师和研究人员。大卫从2015年在布拉格查尔斯大学获得博士学位。