在大多数情况下,设置火花配置(AWS|Azure)在集群级别。但是,在某些情况下,您可能需要检查(或设置)笔记本中特定Spark配置属性的值。
本文向您展示如何在笔记本中显示Spark配置属性的当前值。它还向您展示了如何为笔记本中的Spark配置属性设置一个新值。
获取Spark配置属性
得到a的当前值火花配置属性,在不包含值的情况下计算属性。
Python
% python spark.conf.get(“火花。< name-of-property >”)
R
%r library(SparkR) SparkR .conf("spark.")
Scala
% scala spark.conf.get(“火花。< name-of-property >”)
SQL
sql GET spark.;
设置Spark配置属性
若要设置Spark配置属性的值,请计算该属性并赋值。
Python
% python spark.conf.set(“spark.sql。< name-of-property >, <值>)
R
%r library(SparkR) SparkR .session()session(sparkConfig = list(spark.sql. sql. list)= " "))
Scala
% scala spark.conf.set(“spark.sql。< name-of-property >, <值>)
SQL
设置spark.sql。= ;
例子
的当前值spark.rpc.message.maxSize.
%sql SET spark.rpc.message.maxSize;
设置的值spark.sql.autoBroadcastJoinThreshold为1。
% python spark.conf.set(“spark.sql。autoBroadcastJoinThreshold”,1)