HIVE跑聚合函数的时候报错

Question

老师好， 我的HIVE只要跑聚合函数，就会报org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5

google了一下都没有找到合适的解决方案。以下是报错信息：

我重启过yarn, 检查了yarn-site.xml， 还是没能解决问题。

Answer 1

Michael_PK 2019-05-23 22:25:53

那就是yarn环境有问题，你的yarn现在跑mr的wc能通吗

• 提问者 MarcoLiLiLi #1

  跑不通...还是会报如上图的那种shuffle的错误。 但我确实是跟着视频“5-6 YARN环境部署”一步一步走的... 修改了mapred-site.xml, yarn-site.xml ； 启动yarn后，jps查看进程nodemanager和resourcemanager是不是起来了；登录ip:8088 查看Active node是不是1。   这些都没问题的.

• Michael_PK 回复 提问者 MarcoLiLiLi #2

  那还是环境有问题，不能正常执行mr类型的作业。我记得好像群里有人遇到过，你课程群里问下看看

• 提问者 MarcoLiLiLi 回复 Michael_PK #3

  好的，谢谢pk哥

点开查看后面4条评论

Answer 2

提问者 MarcoLiLiLi 2019-05-23 21:37:59

PS:  不启用yarn的话是可以成功跑出结果的。