自定义垃圾回收防止集群启动

使用自定义垃圾收集算法运行时间10.0或以上防止集群启动

2022年12月8日

问题

Apachespark垃圾回收算法(默认算法除外(并行垃圾收集法))运行databricks轨迹10.0尝试启动聚类时无法启动配置设置执行程序时,执行程序立即终止

举个例子,如果你在您的自定义垃圾收集算法中设置下列任一spark配置集群创建失败

spark驱动

spark.driver.extraJavaOptions  -XX:+UseG1GC

Spark执行程序

spark.executor.extraJavaOptions -XX:+UseG1GC

新建Java虚拟机标码设置垃圾回收算法并行回收垃圾不修改默认值,修改无冲击

if you change垃圾回收算法设置spark.executor.extraJavaOptions或spark.driver.extraJavaOptions插进spark配置中值冲突结果是JVM崩溃并阻止集群启动

要围绕这个问题工作,你必须明确清除并行垃圾收集标志spark配置.这项工作必须在集群一级完成。

spark.driver.extraJavaOptions -XX:-UseParallelGC -XX:+UseG1GC  spark.executor.extraJavaOptions -XX:-UseParallelGC -XX:+UseG1GC