问题

你想集火花的价值配置在笔记本里,并得到一个不能修改火花配置的价值错误。

例如:

sql设置spark.serializer = org.apache.spark.serializer.KryoSerializer %

错误的SQL语句:AnalysisException:不能修改引发的价值配置:spark.serializer;

导致

的集命令不工作SparkConf条目。这是设计引发3.0及以上。

解决方案

你应该删除集命令SparkConf从你的笔记本的条目。

您可以输入SparkConf在集群级别值输入他们的集群火花配置(AWS|Azure|GCP),重新启动集群。