疑惑

Question

老师，启动kafka的时候必须要开启zookeeper，说明kafka里面数据元数据存放在zookeeper中，那么相应的各个消费者或者消费者组偏移量应该也默认保存到zookeeper中，那么再来一个MySQL保存，有啥意义吗老师

Answer 1

Michael_PK 2021-02-05 23:14:22

offset保存到MySQL中是一种维护方式。

sparkstreaming默认是提交在kafka的一个特殊topic中，但是这个操作是异步的

• 提问者 慕九州3016327 #1

  首先offset保存到MySQL中是一种维护方式，是不是也是解决数据丢失或者重复消费的一种解决方式呢，之后sparkstreaming默认是提交在kafka的一个特殊topic中，但是这个操作是异步的。这句话是sparkstreaming偏移量除了提交到自定义的mysql中还同时做了异步操作把偏移量放到特殊topic中，是这样吗老师，那这个特殊topic在哪能体现呢

• Michael_PK 回复 提问者 慕九州3016327 #2

  前半段对的。我们手工维护了就根本没有必要再使用默认的方式提交到topic上了，因为那是多余的

• Michael_PK 回复 提问者 慕九州3016327 #3

  你仔细听下那个offset管理介绍的图，我们自己维护的目的就是精准控制一次消费，异步那种是不一定能保证的

点开查看后面1条评论