问题

你的工作运行失败的扼杀了由于观察典型错误错误消息。

集群成为遥不可及的在运行原因:xxx-xxxxxx-xxxxxxx压制是由于观察典型错误

导致

返回的工作在这个集群太多大结果Apache火花司机节点。

结果,司机服务耗尽内存,和集群变得遥不可及的。

这可能发生在调用.collect或,告诉API。

解决方案

你可以减少工作负载集群或增加的价值spark.memory.chauffeur.size。

司机服务引发司机在同一主机上运行。当你司机服务分配更多的内存,那么总体内存都可以引发司机。

设定的值spark.memory.chauffeur.size:

1. 在您的工作区中打开集群配置页面。
2. 点击编辑。
3. 扩大高级选项。
4. 输入的值spark.memory.chauffeur.size在mb火花配置字段。
5. 点击确认并重新启动。