工作失败,但是Apache火花任务完成

你的工作失败,但是所有的Apache火花任务成功完成。您正在使用spark.stop()或system . exit(0)在您的代码中。

写的harikrishnan.kunhumveettil

去年发表在:2022年5月10日

问题

砖的工作报告失败的状态,但所有火花已经成功完成工作和任务。

导致

你有明确的叫spark.stop ()或system . exit (0)在您的代码中。

如果这些被称为,火花上下文是停止,但优雅的关闭和握手与砖的工作服务不会发生。

解决方案

不叫spark.stop ()或system . exit (0)在火花砖集群上运行的代码。