采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师我在yarn上跑wordcount,最开始出错,我查看错误说是需要分配8G多内存没分配到,重试命令,后面也没出现错误信息,但是直接就killed掉了是什么原因?
你先使用yarn跑一个mr的wc看看,先确保yarn是正常的先
yarn是正常的,mr的没有问题,后来我添加了--conf限制内存就能跑了,--executor-memory 2G \ --conf "spark.yarn.executor.memoryOverhead=2G" \ 百度出来这个2个指令,不明白什么意思,但确实能跑了,统计个总字符不到30的wc需要申请内存也太大了,是什么原因导致的?
一个是设置exe的内存,一个是设置堆外内存。从这现象看,还是你集群的nm上启动的默认的container资源不够,导致被kill
登录后可查看更多问答,登录/注册
大数据工程师干货课程 带你从入门到实战掌握SparkSQL
1.1k 15
1.1k 14
1.4k 12
1.9k 12
1.4k 11
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号