砖包含一个默认的Java和Scala库的数量。可以替换任何这些库的另一个版本使用集群级init脚本删除默认库jar,然后安装你需要的版本。

确定工件id

识别jar文件的名称你想删除:

1. 单击数据砖运行时版本支持的版本(从列表中您正在使用AWS|Azure|GCP)。
2. 导航到Java和Scala库部分。
3. 确定工件ID图书馆你想删除。

使用工件id找到jar文件名

使用ls - l命令在一个笔记本找到jar包含工件id。例如,找到jar文件名spark-snowflake_2.12工件id的砖7.0运行时您可以使用下面的代码:

% sh ls - l /砖/罐/ * spark-snowflake_2.12 *

这将返回jar文件名

”————workspace_spark_3_0 maven-trees——蜂巢2.7 - 2.3 __hadoop net.snowflake——spark-snowflake_2.12 net.snowflake__spark-snowflake_2.12__2.5.9-spark_2.4.jar”。

上传替换jar文件

上传你DBFS路径替换jar文件。

创建初始化脚本

使用以下模板来创建一个集群级init脚本。

% sh # !/bin/bash rm射频/砖/罐/ < jar_filename_to_remove >。jar cp / dbfs / < path_to_replacement_jar > / < replacement_jar_filename >。jar /砖/罐/

使用前一步spark-snowflake_2.12示例将导致一个init脚本类似如下:

% sh # !/bin/bash rm射频/砖/罐/——workspace_spark_3_0——maven-trees蜂巢2.7 - 2.3 - __hadoop -——net.snowflake spark-snowflake_2.12——net.snowflake__spark-snowflake_2.12__2.5.9-spark_2.4。jar cp / dbfs / FileStore /罐/ e43fe9db_c48d_412b_b142_cdde10250800-spark_snowflake_2_11_2_7_1_spark_2_4-b2adc。jar /砖/罐/

安装初始化脚本并重启

1. 在集群上安装集群级init脚本,在配置集群级指令后,init脚本(AWS|Azure|GCP)。
2. 重新启动集群。