Urvashi克里

在Qubole,用户运行引发大规模云(900 +并发节点)。在如此规模、高效运行SLA关键工作,调优火花配置是至关重要的。但这仍然是一个困难的任务,主要受到审判和错误。在这次演讲中,我们将解决这一问题的调音SQL工作负载的火花。同样的技术也可以用于非sql火花工作负载。在我们以前的工作[1],我们提出了一个基于简单的规则和模型的见解。这是简单而有效的优化查询和找到合适的实例类型运行查询。

然而,对自动调优火花配置我们看到改进的范围。在探索,我们发现之前解决自动使用机器学习技术工作。简单的模型[1]的一个主要缺点是,它无法使用多个运行查询的改善建议,而使用机器学习技术的主要缺点是,它缺乏特定领域的知识。因此,我们决定将这两种技术结合起来。我们自动与两种模型到达很好的配置。

一旦用户选择一个查询来自动调整,下一个配置的计算模型和运行查询。指标的事件日志运行反馈模型,以获得下一个配置。自动将继续探索好的配置,直到满足用户指定的固定预算。我们发现,在实践中,这种方法提供了更好的配置相比,配置选择甚至通过专家实际工作量和很快收敛到最优配置。

在这次演讲中,我们将提出一个新颖的ML模型技术和结合我们以前的方式方法。结果在实际工作负载将productionizing限制和挑战。[1]Margoor et al,自动调优SQL-on-Hadoop引擎的2018年IEEE云