kafka线上问题咨询

Question

老师是安徽宿州的？我也是。。。顺便问个问题，之前我们有个大数据的项目，kafka的配置就是默认的配置，但是每次重启系统的时候，总是重复消费之前一大堆的数据，每次都还像是把之前消费的又消费一次，每次消费者重启的时候都是的，老师知道怎么处理么

Answer 1

张勤一 2019-02-18 13:07:17

同学你好：

    很高兴认识你！关于你的这个问题，肯定的原因是 offset 没有提交导致的（消费者消费了数据之后，kafka 没有感知到），建议看下配置是否是自动提交。

    欢迎来 QQ 群随时交流、讨论，也非常感谢同学的支持！ 

• 提问者 daemon93 #1

  配置文件是enable-auto-commit = true，后来谷歌了下，说改成flase就可以了，为什么呢，自动提交为true为什么不行呢