问题

当你添加一个配置设置通过输入Apache火花配置文本区域,新设置替换现有的设置,而不是附加。

版本

下面的砖5.1运行时。

导致

重启当集群,集群从配置文件中读取设置创建的集群UI,覆盖默认设置。

例如,当你添加以下extraJavaOptions到火花配置文本区域:

spark.executor.extraJavaOptions- javaagent:/opt/prometheus_jmx_exporter/jmx_prometheus_javaagent.jar=9404:/opt/prometheus _jmx_exporter/jmx_prometheus_javaagent.yml

然后,在火花UI>环境>火花属性下spark.executor.extraJavaOptions,只有新添加的配置设置显示:

- javaagent: / opt / prometheus_jmx_exporter / jmx_prometheus_javaagent。jar = 9404: / opt /普罗米修斯_jmx_exporter / jmx_prometheus_javaagent.yml

删除任何现有的设置。

供参考,默认设置是:

-Djava.io。tmpdir = / local_disk0 / tmp - XX: ReservedCodeCacheSize = 256 - XX: + UseCodeCacheFlushing -Ddatabricks。名= spark-executor-1 - Djava.security.properties = /砖/ / dbconf / java /额外的火花。安全- XX: + PrintFlagsFinal - XX: + PrintGCDateStamps - verbose: gc - XX: + PrintGCDetails -Xss4m - Djavax.xml.datatype.DatatypeFactory = com.sun.org.apache.xerces.internal.jaxp.datatype.Dataty peFactoryImpl - Djavax.xml.parsers.DocumentBuilderFactory = com.sun.org.apache.xerces.internal.jaxp.Documen tBuilderFactoryImpl - Djavax.xml.parsers.SAXParserFactory = com.sun.org.apache.xerces.internal.jaxp.SAXParserFact oryImpl - Djavax.xml.validation.SchemaFactory =https://www.w3.org/2001/XMLSchema=com.sun.org.apache.xerces.internal.jaxp.validation.XMLSchemaFactory- Dorg.xml.sax.driver = com.sun.org.apache.xerces.internal.parsers.SAXParser Dorg.w3c.dom.DOMImplementationSourceList = com.sun.org.apache.xerces.internal.dom.DOMX SImplementationSourceImpl

解决方案

添加一个新的配置设置spark.executor.extraJavaOptions不失默认设置:

1. 在火花UI>环境>火花属性,选择并复制所有的默认属性设置spark.executor.extraJavaOptions。
2. 点击编辑。
3. 在火花配置文本区域(集群>集群名称>高级选项>火花),粘贴的默认设置。
4. 添加新的配置设置下面的默认设置。
5. 单击在文本区域,然后单击确认。
6. 重新启动集群。

例如,假设你粘贴到下面的设置火花配置文本区域。新的配置设置添加到默认设置。

spark.executor.extraJavaOptions= -Djava.io.tmpdir=/local_disk0/tmp - XX:ReservedCodeCacheSize=256m -XX:+UseCodeCacheFlushing -Ddatabricks.serviceName=spark- executor-1 -Djava.security.properties=/databricks/spark/dbconf/java/extra.security - XX:+PrintFlagsFinal -XX:+PrintGCDateStamps -verbose:gc -XX:+PrintGCDetails -Xss4m - Djavax.xml.datatype.DatatypeFactory=com.sun.org.apache.xerces.internal.jaxp.datatype.Dataty peFactoryImpl - Djavax.xml.parsers.DocumentBuilderFactory=com.sun.org.apache.xerces.internal.jaxp.DocumentB uilderFactoryImpl - Djavax.xml.parsers.SAXParserFactory=com.sun.org.apache.xerces.internal.jaxp.SAXParserFactor yImpl - Djavax.xml.validation.SchemaFactory:https://www.w3.org/2001/XMLSchema=com.sun.org.apache.xerces.internal.jaxp.validation.XMLSchemaFactory - Dorg.xml.sax.driver = com.sun.org.apache.xerces.internal.parsers.SAXParser Dorg.w3c.dom.DOMImplementationSourceList = com.sun.org.apache.xerces.internal.dom.DOMXSImplem entationSourceImpl - javaagent: / opt / prometheus_jmx_exporter / jmx_prometheus_javaagent。jar = 9404: / opt / prometheus_jm x_exporter / jmx_prometheus_javaagent.yml

在您重新启动集群之后,出现在默认设置和新添加的配置设置火花UI>环境>火花属性。