请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

跑yarn上问题

老师我在yarn上跑wordcount,最开始出错,我查看错误说是需要分配8G多内存没分配到,重试命令,后面也没出现错误信息,但是直接就killed掉了是什么原因?
图片描述

正在回答 回答被采纳积分+3

插入代码

1回答

Michael_PK 2020-03-29 22:03:26

你先使用yarn跑一个mr的wc看看,先确保yarn是正常的先

0 回复 有任何疑惑可以回复我~
  • 提问者 weixin_慕慕2501778 #1
    yarn是正常的,mr的没有问题,后来我添加了--conf限制内存就能跑了,--executor-memory 2G \
    --conf "spark.yarn.executor.memoryOverhead=2G" \
    百度出来这个2个指令,不明白什么意思,但确实能跑了,统计个总字符不到30的wc需要申请内存也太大了,是什么原因导致的?
    回复 有任何疑惑可以回复我~ 2020-03-30 19:04:04
  • Michael_PK 回复 提问者 weixin_慕慕2501778 #2
    一个是设置exe的内存,一个是设置堆外内存。从这现象看,还是你集群的nm上启动的默认的container资源不够,导致被kill
    回复 有任何疑惑可以回复我~ 2020-03-30 21:41:41
问题已解决,确定采纳
还有疑问,暂不采纳
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号