问题

如果你运行多个Apache火花JAR同时工作,一些运行可能会失败的错误:

org.apache.spark.sql。AnalysisException:表或视图不发现:xxxxxxx;1号线pos 48

导致

由于Scala中的一个错误会发生此错误。当一个对象扩展应用程序,它的瓦尔领域不再是不可变的,他们可以改变时主要方法被调用。如果你运行JAR多次工作,瓦尔字段包含一个DataFrame可以不经意间改变。

因此,当任何一个并发运行完成,它彻底损毁了临时视图的其他运行。Scala发行11576提供更多的细节。

解决方案

为了解决这个bug,调用main ()显式方法。作为一个例子,如果你有类似的代码:

% scala对象maint延伸应用{…}

你可以换成不扩展的代码应用程序:

% scala对象maint {def主要(args:数组(String)) {……}}