默认情况下,可用内存的数量为每个执行者Java虚拟机(JVM)中的分配内存堆。这是控制的spark.executor.memory财产。

然而,一些意想不到的行为观察实例分配大量的内存。jvm扩大内存大小,垃圾收集器的问题变得明显。这些问题可以被解决通过限制在垃圾收集器的内存数量管理。

选择砖集群类型使堆外模式,限制了在垃圾收集器的内存数量管理。这就是为什么某些集群有火花spark.executor.memory值设置为整个集群内存的一小部分。

堆模式控制的属性spark.memory.offHeap.enabled和spark.memory.offHeap.size在火花1.6.0以上是可用的。