有一些使用笔记本电脑时出现的常见问题。本节概述了一些常见问题和最佳实践,您应该遵循。

火花的工作与java.lang.NoClassDefFoundError失败

有时候你可能会遇到一个错误:

% scala . lang。NoClassDefFoundError:无法初始化类线.....读美元

这可能发生火花Scala 2.11集群,Scala的笔记本,如果你混合类定义和数据集/ DataFrame操作在同一笔记本电池,以及后来在火花中使用case类工作在不同的细胞。例如,在第一个单元格,说你定义一个类MyClass还创建了一个数据集。

% scala case类MyClass(价值:Int) val数据集= spark.createDataset (Seq (1))

然后在后面的细胞,你创建的实例MyClass在一个火花工作。

% scala的数据集。地图我= > {MyClass (i)} .count ()

解决方案

类定义中转移到自己的细胞。

% scala case类MyClass(价值:Int) / /没有其他代码在这个细胞

% = spark.createDataset scala val数据集(Seq(1))的数据集。地图我= > {MyClass (i)} .count ()

火花的工作与java.lang.UnsupportedOperationException失败

有时候你可能会遇到一个错误:

. lang。UnsupportedOperationException:方式蓄电池必须注册之前发送给执行器

这可能发生火花Scala 2.10集群,Scala笔记本。这个错误的原因和解决方案与之前相同火花的工作与java.lang.NoClassDefFoundError失败。