NumReduceTasks的个数问题

Question

当job.setNumReduceTasks()的个数大于自定义Partitioner中的分区规则个数时，程序正常执行，相当于多分配了几个reducetask任务,多分配的reducetask没有干活而已
当job.setNumReduceTasks()的个数小于自定义Partitionew中的分区规则个数时，job.waitForCompletion()会输出返回false,同时没有输出文件

pk哥 这样说对吗？？

Answer 1

Michael_PK 2020-09-03 00:01:13

三个场景你可以动手测试下：

1）reduce > partition

2） 1 < reduce < partition

3) reduce = 1 

• 慕粉1926212165 #1

  1）reduce > partition
  可以
  2） 1 < reduce < partition
  报错
  3) reduce = 1 或者0 都可以，是不是为0的时候默认取1 ？

• Michael_PK 回复 慕粉1926212165 #2

  0 的时候就没reduce，map就完成