Spark streaming同时消费2个kafka主题数据的分区情况及如何进行计算优化的咨询问题

Question

Spark streaming同时消费2个kafka主题数据，其分区数量分别为4分区和8分区，先后进行了map,join,reduceByKey操作，在此过程中，Dstream/RDD的分区变化的各种可能情况，以及如何进行计算优化？

Answer 1

Michael_PK 2018-06-02 15:18:49

这个取决于你的streaming和kafka的对接方式，direct时kafka可以通过提高分区数来达到提高处理的分区数。这个详细的官网是有非常详细的描述

• 提问者 慕神816625 #1

  您好，有相应的官网介绍的地址吗，是在spark的官网上，还是kafka的官网上，谢谢。

• Michael_PK 回复 提问者 慕神816625 #2

  spark流处理

• 提问者 慕神816625 回复 Michael_PK #3

  好的，谢谢老师，非常感谢