问题

在集群上有太多并发工作,你经常看到一些工作停留在火花UI没有任何进展。这复杂识别活动工作/阶段与死者的工作阶段。

导致

每当有太多并发工作一个集群上运行,有可能引发内部eventListenerBus下降的事件。这些事件是用来跟踪工作进展引发的UI。每当事件监听器下降事件你开始看到死工作/阶段火花UI,从未完成。的工作实际上是完成但不显示为完成火花UI。

你看到以下跟踪在司机日志:

18/01/25 06:37:32警告LiveListenerBus:自1月25日星期四下跌5044 SparkListenerEvents 06:36:32 UTC时间2018

解决方案

没有办法从火花UI中删除死工作而不需要重新启动集群。不过,您可以识别积极工作和阶段通过运行以下命令:

% scala sc.statusTracker.getActiveJobIds() / /返回一个数组,其中包含id的所有活动的工作。sc.statusTracker.getActiveStageIds() / /返回一个数组,其中包含所有活动阶段的id。