请稍等 ...

driver机器cpu占用过高

老师，我的streaming程序使用yarn模式在driver机器上占用cpu超过3000%，用standalone却很低，这是什么问题

iceiceice_ 2019-11-08 11:36:39

源自：6-11 功能开发之调优

742

收起

提交取消

1回答

Michael_PK 2019-11-08 11:39:08

你top下确定3000%的进程ID是否是你driver端的进程，如果是，那要检查你driver到底做了什么导致CPU这么高

0 回复有任何疑惑可以回复我~

收起回答

提问者 iceiceice_ #1

确认是driver端的机器
driver不是执行main函数里action算子之前的操作吗？用standalone模式跑driver端占用cpu很低。。这是为什么呢

回复有任何疑惑可以回复我~ 2019-11-08 11:43:02

Michael_PK 回复提问者 iceiceice_ #2

你的提交机器是yarn集群的节点吗？我们不用standalone模式，因为没法资源共享和统一调度

回复有任何疑惑可以回复我~ 2019-11-08 11:54:42

相似问题

cpu占用率问题

cpu占用过高

老师，使用docker打包scrapy后

阻塞的时候, cpu挂起不占用cpu, 为啥说cpu空转浪费资源

在虚拟机装的ubuntu18上使用x11grab抓全屏时有点卡顿

登录后可查看更多问答，登录/注册

Spark进阶大数据离线与实时项目实战

参与学习 699 人
解答问题 190 个

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

了解课程

本课精华内容

问答作业

java.lang.NoSuchMethodError错误

1.4k 21

java.lang.OutOfMemoryError: Java heap space错误

956 11

IDEA 无法访问远程虚拟机的datanode拿到数据

1.8k 11

关于虚拟机设置机器名

1.2k 11

编译支持hadoop2.6.0-cdh5.15.1的spark3.0.0失败

1.5k 11

查看更多本课问答

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

driver机器cpu占用过高

正在回答回答被采纳积分+3

1回答

相似问题