在笔记本中获取和设置Apache Spark配置属性

写的mathan.pillai

最后发布日期:2022年5月26日

在大多数情况下，设置火花配置（AWS|Azure)在集群级别。但是，在某些情况下，您可能需要检查(或设置)笔记本中特定Spark配置属性的值。

本文向您展示如何在笔记本中显示Spark配置属性的当前值。它还向您展示了如何为笔记本中的Spark配置属性设置一个新值。

获取Spark配置属性

得到a的当前值火花配置属性，在不包含值的情况下计算属性。

Python

% python spark.conf.get(“火花。< name-of-property >”)

R

%r library(SparkR) SparkR .conf("spark.")

Scala

% scala spark.conf.get(“火花。< name-of-property >”)

SQL

sql GET spark.;

设置Spark配置属性

若要设置Spark配置属性的值，请计算该属性并赋值。

删除

信息

类型开头的Spark配置属性只能设置spark.sql前缀。

Python

% python spark.conf.set(“spark.sql。< name-of-property >, <值>)

R

%r library(SparkR) SparkR .session()session(sparkConfig = list(spark.sql. sql. list) = ""))

Scala

% scala spark.conf.set(“spark.sql。< name-of-property >, <值>)

SQL

设置spark.sql。 = ;

例子

的当前值spark.rpc.message.maxSize．

%sql SET spark.rpc.message.maxSize;

设置的值spark.sql.autoBroadcastJoinThreshold为1。

% python spark.conf.set(“spark.sql。autoBroadcastJoinThreshold”,1)