如果我的数据里有N个部门，需要按部门的数量进行分区，这个有什么好办法

Question

老师你好，我想知道实际应用中，如果我想按数据中的部门的数量来创建ReducerTask的数量，这个有什么好办法。

Answer 1

Michael_PK 2020-06-07 17:35:45

那你按照部门字段分组，然后分区就行了

• 提问者 慕九州9173130 #1

  分区需要设置NumReduceTasks的数量，如果设置的数值小于实际的部门数量就输出不了结果了。因为这个部门的数量是不确定的，这个NumReduceTasks应该设置多少比较合适

• Michael_PK 回复 提问者 慕九州9173130 #2

  这个参数除非自定义分区，不然不用设置的呢。要是自己自定义分区了，那你的业务分区数多少你自己必然知道