Apache火花工作失败与环境目录没有发现错误

火花工作出现超时后安装一个图书馆,因为安全规则是防止工人解决Python可执行路径。

写的亚当Pavlacka

去年发表在:2022年7月1日

问题

当你安装一个Python库(通过集群UI或使用皮普),您的Apache火花工作失败了环境目录未找到错误消息。

org.apache.spark。SparkException:环境目录未找到/ local_disk0 / .ephemeral_nfs / cluster_libraries / python

导致

图书馆是安装在一个网络文件系统(NFS)在集群上的司机节点。如果任何安全组规则防止工人与NFS服务器通信,火花命令不能解决Python可执行路径。

解决方案

你应该确保你的安全组配置适当的安全规则(AWS|Azure|GCP)。