Apache火花UI并不是与工作同步

火花的状态工作时不同步,火花UI事件从事件队列之前被处理。

写的chetan.kardekar

去年发表在:2023年2月27日

问题

激发工作的状态不正确引发UI中显示(AWS|Azure|GCP)。有些工作是确认在完成状态显示为主动/运行在UI的火花。在某些情况下,火花UI可能出现空白。

当你回顾司机日志,你看到一个AsyncEventQueue警告。

日志= = = = = 20/12/23 21:20:26警告AsyncEventQueue:下降93909事件从共享自2020年12月23日21:19:26 UTC结婚。20/12/23 21:21:26警告AsyncEventQueue:下降52354事件从共享自2020年12月23日21:20:26 UTC结婚。20/12/23 21:22:26警告AsyncEventQueue:下降94137事件从共享自2020年12月23日21:21:26 UTC结婚。20/12/23 21:23:26警告AsyncEventQueue:下降44245事件从共享自2020年12月23日21:22:26 UTC结婚。20/12/23 21:24:26警告AsyncEventQueue:下降126763事件从共享自2020年12月23日21:23:26 UTC结婚。20/12/23 21:25:26警告AsyncEventQueue:下降94156事件从共享自2020年12月23日21:24:26 UTC结婚。
删除

信息

这是相关的Apache火花UI显示错误的就业人数KB文章。

导致

  • 所有火花工作阶段,任务推到事件队列。
  • 后端侦听器从这个队列中读取火花UI事件,并呈现UI的火花。
  • 默认的事件队列的容量(spark.scheduler.listenerbus.eventqueue.capacity)是20000。

如果更多的事件被推到事件队列的后端侦听器可以使用最古老的事件得到了从队列中,侦听器不会消耗。

这些事件是输了,不要在火花中呈现UI。

解决方案

设定的值spark.scheduler.listenerbus.eventqueue.capacity在集群的火花配置(AWS|Azure|GCP)集群级别值大于20000。

这个值设置应用程序的能力状态事件队列,该基金持有事件内部应用程序状态的听众。增加这个值允许事件队列持有更多的事件,但可能会导致司机使用更多的内存。

这篇文章有用吗?