问题
你想开始一个集群,但这无法开始。你会得到一个Apache引发错误消息。
内部错误消息:引发错误:司机下来
你检查集群的司机和工人日志看看包含一条错误消息. io .FileNotFoundException:文件文件:/砖/司机/假的不存在。
21/07/14 21:44:06错误DriverDaemon $: XXX致命的异常。终端驱动程序。. io .FileNotFoundException:文件文件:/砖/司机/假不存在org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus (RawLocalFileSystem.java: 611) org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal (RawLocalFileSystem.java: 824) org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus (RawLocalFileSystem.java: 601) org.apache.hadoop.fs.FilterFileSystem.getFileStatus (FilterFileSystem.java: 421) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1668) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1632) org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)应用org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)应用scala.collection.immutable.List.foreach (List.scala: 392)
导致
你有火花。假的文件在你的火花配置,但没有这样的文件存在。
火花诠释假配置值作为一个有效的文件路径,并试图找到它在本地文件系统中。如果文件不存在,它生成的错误消息。
. io .FileNotFoundException:文件文件:/砖/司机/假的不存在
解决方案
选项1:删除火花。假的文件从你的火花配置如果你不通过实际文件引发。
选项2:创建一个虚拟文件,并将其在集群上。你可以用一个init脚本。
- 创建初始化脚本。
% python dbutils.fs.put (“dbfs: /砖/ < init-script-folder > / create_dummy_file。sh”、“”“# !/bin/bash触摸/砖/司机/假”“”,真的)
- 安装初始化脚本,您刚刚创建集群级init脚本。
你需要的完整路径的位置脚本(dbfs: /砖/ < init-script-folder > / create_dummy_file.sh)。 - 重新启动集群
安装后重新启动集群init脚本。