在省份流量统计中，只对key值进行count，不同的key值不会加到一起吗？-慕课网

1回答

Michael_PK 回答被采纳获得+3积分 2021-03-10 20:15:52

map处理完，比如上海1 北京1 会经过shuffle进行分发，相同的key是分发到同一个reduce中才能进行聚合操作。

不可能会变成上海2，因为相同的key会进入同一个reduce，再进行聚合的。上海和北京是两个不同的key

0 回复有任何疑惑可以回复我~

提问者慕工程7011617 #1

谢谢老师。如果此时只有一个reduce也能实现吗？他们会不会发到一个reduce中。还是这里有多少个key就有多少个reduce

回复有任何疑惑可以回复我~ 2021-03-10 20:18:18

Michael_PK 回复提问者慕工程7011617 #2

只有一个reduce的话，也没问题的，数据都在一个reduce里面
但是我们的自定义reducer类中的reduce方法是知道的，你可以观察下reduce方法，他的第一个参数就是key，第二个参数是一个可以迭代的，那么相同的key的数据都在一个可迭代的里面，所以是不会乱的

回复有任何疑惑可以回复我~ 2021-03-11 00:06:44

在省份流量统计中，只对key值进行count，不同的key值不会加到一起吗？