Kafka和Sprak Streaming是实时处理的CP组合,你在项目中是如何保证数据的精准一次消费的?
提示:
- 从数据源、数据处理、结果输出三个角度理解精准一次消费的概念
- 自行维护Kafka offsets的意义何在
- 自行维护Kafka offsets的实现原理及代码实现
- 分别从Driver和Executor两个角度阐述如何保证统计结果数据输出的幂等性
Kafka和Sprak Streaming是实时处理的CP组合,你在项目中是如何保证数据的精准一次消费的?
提示:
数据加载中...