Python命令失败在高并发集群

Python命令失败在高并发集群启用了Apache火花处理隔离和共享会话。警告错误消息。

写的xin.wang

去年发表在:2022年5月19日

问题

您正试图运行Python命令在高并发集群。

与所有Python命令失败警告错误消息。

警告PythonDriverWrapper:未能开始repl replid - 61 -性能- 9 - fc33 1 - f8f6 - 2 ExitCodeException exitCode = 1:乔恩:无效的用户:“火花- 9 - fcdf4d2 - 045 d - 4 - f3b - 9293 - 0 - f '

导致

这两个spark.databricks.pyspark。enableProcessIsolation真实spark.databricks.session。分享真实的设置在Apache火花配置集群。

这两个属性相互冲突和火花防止集群运行Python命令。

解决方案

你只能有一个两个火花属性上启用您的集群。

你必须选择处理隔离或火花共享会话基于您的需要。禁用其他选择。

这篇文章有用吗?