老师你好，flink cdc捕捉mysql的问题

Question

第一次启动要全表扫描，写入kafka，然后捕捉动态变化，再写入kafka，怎么保证现在的源端mysql和kafka topic中的数据保持一致啊，cdc捕捉的是全部日志

Answer 1

Michael_PK 2021-05-17 20:48:08

扫表的数据到kafka，都是有offset的记录的，知道消费到哪里的

• 提问者 Link_scnu #1

  老师可以说一下整体思路吗？我要做的是用flink cdc 。mysql到kafka，目前捕捉到的是binlog日志，kafka topic中整个操作日志

• Michael_PK 回复 提问者 Link_scnu #2

  你这架构没问题的呢。基本都是这套路：binlog==>中间件==> kafka ==> flink。 我们后续课程会用canal中间件