问题

你正在评估活动Apache火花工作一个集群的数量在火花UI,但太高,数量是准确的。

如果你重新启动集群,乔布斯火花UI中显示的数量是正确的,但随着时间的推移,它变得异常高。

导致

火花UI并不总是准确的为大,或长时间运行,集群由于事件滴。火花UI需要终止条目知道当一个活跃的工作已经完成。如果错过这个工作条目,由于错误或意想不到的失败,工作可能停止运行而错误地显示活跃的火花UI。

解决方案

你不应该使用火花UI作为积极工作的事实来源一个集群。

该方法.getActiveJobIds sc.statusTracker () ()在火花API是一个可靠的方法来跟踪活动工作的数量。

请检查火花状态跟踪文档的更多信息。