跑yarn上问题

Question

老师我在yarn上跑wordcount，最开始出错，我查看错误说是需要分配8G多内存没分配到，重试命令，后面也没出现错误信息，但是直接就killed掉了是什么原因？

Answer 1

Michael_PK 2020-03-29 22:03:26

你先使用yarn跑一个mr的wc看看，先确保yarn是正常的先

• 提问者 weixin_慕慕2501778 #1

  yarn是正常的，mr的没有问题，后来我添加了--conf限制内存就能跑了，--executor-memory 2G \
  --conf "spark.yarn.executor.memoryOverhead=2G" \
  百度出来这个2个指令，不明白什么意思，但确实能跑了，统计个总字符不到30的wc需要申请内存也太大了，是什么原因导致的？

• Michael_PK 回复 提问者 weixin_慕慕2501778 #2

  一个是设置exe的内存，一个是设置堆外内存。从这现象看，还是你集群的nm上启动的默认的container资源不够，导致被kill