请稍等 ...

MapReduce排序问题

如题，请问下MapReduce过程一共有几次排序，分别是哪个阶段？

慕少0127260 2019-10-20 10:33:46

源自：4-17 流量统计实战升级之自定义Partitioner

548

收起

提交取消

1回答

Michael_PK 2019-10-20 11:01:07

shuffle阶段前后都有排序

0 回复有任何疑惑可以回复我~

提问者慕少0127260 #1

是不是在maping的小文件内部排一次，reduce阶段的每一个分区又排一次

回复有任何疑惑可以回复我~ 2019-10-20 11:15:35

Michael_PK 回复提问者慕少0127260 #2
```
是的是的。map输出有排序，最终输出有排序
```
回复有任何疑惑可以回复我~ 2019-10-20 11:22:44
提问者慕少0127260 回复 Michael_PK #3
```
排序针对 的是Key还是Value，或者说两者都 可以
```
回复有任何疑惑可以回复我~ 2019-10-21 15:17:45

点开查看后面4条评论

相似问题

重排序问题

ElasticSearch相关的查询排序问题

问老师归并排序sort部分

归并排序求逆序数

重排序的问题

登录后可查看更多问答，登录/注册

Hadoop 系统入门+核心精讲

参与学习 2373 人
提交作业 84 份
解答问题 898 个

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

了解课程

本课精华内容

问答作业

在创建project的时候报这个错误怎么解决啊上论坛查了解决方法还是不行

1.1k 21

如何切换到localhost

1.4k 20

hive 创建以后 mysql没有hive_hadoop的表

1.2k 19

mr中第一次运行WordCountApp时空指针异常

1.5k 17

在做第三章 fileSystem.open 的案例报错Could not obtain block

3.0k 16

查看更多本课问答

意见反馈帮助中心 APP下载