问题
无火花工作开始,司机日志包含以下错误:
最初的工作没有接受任何资源;检查您的集群UI,以确保工人注册和有足够的资源
导致
这个错误可以发生在执行程序内存和数量的遗嘱执行人核心设置明确的火花配置选项卡。
这是一个示例配置:
AWS
在这个例子中,设置为遗嘱执行人i3.xLarge节点,火花配置设置为:
spark.executor。5 spark.executor核心。记忆6克
的i3.xLarge集群类型只有4核但用户显式地设置5芯/执行人。火花不开始任何任务,进入下面的错误消息到司机日志:
警告TaskSchedulerImpl:初始工作没有接受任何资源;检查集群的UI,以确保工人注册并有足够资源警告TaskSchedulerImpl:初始工作没有接受任何资源;检查集群的UI,以确保工人注册并有足够资源警告TaskSchedulerImpl:初始工作没有接受任何资源;检查您的集群UI,以确保工人注册和有足够的资源删除
GCP
在这个例子中,设置为遗嘱执行人n1-standard-4节点,火花配置设置为:
spark.executor。5 spark.executor核心。记忆6克
的n1-standard-4集群类型只有4核但用户显式地设置5芯/执行人。火花不开始任何任务,进入下面的错误消息到司机日志:
警告TaskSchedulerImpl:初始工作没有接受任何资源;检查集群的UI,以确保工人注册并有足够资源警告TaskSchedulerImpl:初始工作没有接受任何资源;检查集群的UI,以确保工人注册并有足够资源警告TaskSchedulerImpl:初始工作没有接受任何资源;检查您的集群UI,以确保工人注册和有足够的资源删除
解决方案
你永远不应该指定核大于可用的内核数量的节点选择一个集群。