请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

partion数量的问题

请问老师,在视频中讲解的关于reduce数量的问题的时候我有这样一个疑问,如果设置了数量,那么可以用代码控制数据进入哪个reduce从而导致输出了多个文件,但是如果我们没有设置数量没有用代码控制,那默认的是同一个key的数据进入一个reduce,但是如果多个key为什么输出的问题还只是只有一个文件而不是多个?

正在回答

插入代码

1回答

reduce数量决定了最终输出的文件个数,分区数和reducer数可以不一样,那么这样可能会导致有输出文件为空。reduce数量不设置底层会给设置

0 回复 有任何疑惑可以回复我~
  • 提问者 weixin_慕慕2501778 #1
    非常感谢!
    回复 有任何疑惑可以回复我~ 2020-03-09 19:07:03
  • 提问者 weixin_慕慕2501778 #2
    老师再问下是,如果我不设置reduce数量,默认情况下不是同样的key去同一个reduce,那我有10个key的话是不是应该默认有10个reduce,但是为什么输出文件只有一个?
    回复 有任何疑惑可以回复我~ 2020-03-09 19:09:30
  • Michael_PK 回复 提问者 weixin_慕慕2501778 #3
    这个不是你想的那样,不设置默认就是一个的。你可以找到hashpartition的类,打个断点,走个debug。
    回复 有任何疑惑可以回复我~ 2020-03-09 19:48:11
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信