关于提交作业到Spark on yarn cluster时，出现如下问题？？？

Question

一直处于state: ACCEPTED状态，我查了一下，是应为虚拟机内存(3G)的太小了嘛？我提交yarn client是可以正常运行的。

命令：

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--executor-memory 1G \
--num-executors 1 \
/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar \
4

Answer 1

Michael_PK 2018-06-06 23:46:43

accept的说明你的作业还没真正拿到yarn的资源，请检查下yarn是否正常或者有资源

• 提问者 阳光洒在路上就不怕心碎f #1

  多谢老师，现在问题解决了，查看日志，是因为磁盘空间不够了，导师yarn资源不够，出现了Unhealthy Nodes，我删除了虚拟机一下文件，现在yarn可以正常启动了，作业也可以正常启动了。