在YARN上提交打包的作业之后，提示已杀死，这是为什么呢？

Question

报错情况

在YARN上看到的是这样，提交了很多次都是succeeded

然而HDFS上并没有相应的输出文件，只有这样一个文件夹，里面的内容也是空的

///////////////////////////////// 修改为500M后的异常情况图

先是出现了这样的WARN，大概重复了5 6次

然后就是下面的ERROR

接上图

接上图

接上图

----------------------- 再次尝试后
我先试了一下Pi的例子，是可以出结果的(但是executor-memory设置为500M的话会失败，设置为2G可以成功运行，下一张也有YARN上记录的Pi失败任务）

然后我再提交项目中的作业任务（内存设置的2G，Yarn和Spark都开启了），会在这个进度条一直卡住一分钟多，然后告诉我失败

这是Yarn上的application具体信息

控制台信息

//////////////////////////// 代码和脚本
这是我的代码，没有找到您说的new SparkConf，是这个原因吗？

这是提交作业的脚本

/////////////////////// 1G + 2个executor

Answer 1

提问者 weixin_慕尼黑434357 2019-08-08 23:26:05

可是跑课程中的Pi案例是没问题的, yarn和yarn-cluster都成功了呢, 我是伪分布式的

• Michael_PK #1

  刚看了下那个告警还是warning，没啥问题，你这作业本地测试过没？如果成功了应该输出结果有个success文件的，你这并没有，你的作业是不是有啥问题不？本地是否测试通过

• 提问者 weixin_慕尼黑434357 回复 Michael_PK #2

  本地测试是没问题的, 也有._SUCCESS.crc这个文件, 然后第一次提交作业的时候报了个ERROR: cluster.YarnScheduler: Lost executor 1, 我搜了一下好像是内存不够的问题, 我的虚拟机配了3G内存. 提交作业的参数是1G和1个excutor. 第二次再去提交作业的时候就不出现这个ERROR了, 但是文件就是不能在HDFS上出来

• Michael_PK 回复 提问者 weixin_慕尼黑434357 #3

  你提交的时候把exe cut or 的memory调整小点试试，看看能否顺利拿到资源

点开查看后面13条评论

Answer 2

Michael_PK 2019-08-08 23:23:28

你这日志说明环境有问题，yarn作业都没跑成功的呢