问题

Spark-submit工作失败了未能解析字节字符串:1错误消息。

java . util . concurrent。ExecutionException: . lang。NumberFormatException:大小必须指定为字节(b), kibibytes (k),对齐mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字节字符串:1在java.util.concurrent.FutureTask.report (FutureTask.java: 122) java.util.concurrent.FutureTask.get (FutureTask.java: 206) org.apache.spark.sql.execution.exchange.BroadcastExchangeExec.doExecuteBroadcast (BroadcastExchangeExec.scala: 182)…108多所造成的:. lang。NumberFormatException:大小必须指定为字节(b), kibibytes (k),对齐mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字节字符串:1

导致

的值spark.driver.maxResultSize应用程序属性是负的。

解决方案

的值分配给spark.driver.maxResultSize定义的最大大小(以字节为单位)序列化结果为每个火花行动。你可以分配一个积极的价值spark.driver.maxResultSize属性来定义一个特定的大小。你也可以指定一个值为0的定义一个无限的最大大小。你不能为这个属性分配一个负值。

如果上述工作的总大小spark.driver.maxResultSize价值,工作中止。

你应该小心当设置过高(或无限)值spark.driver.maxResultSize。高限制可以在司机如果导致内存不足的错误spark.driver.memory属性没有设置足够高。

看到火花配置应用程序属性为更多的细节。