【讨论题】SparkStreaming对接Kafka的关键点
763
等4人参与

Kafka和Sprak Streaming是实时处理的CP组合,你在项目中是如何保证数据的精准一次消费的?

提示:

  • 从数据源、数据处理、结果输出三个角度理解精准一次消费的概念
  • 自行维护Kafka offsets的意义何在
  • 自行维护Kafka offsets的实现原理及代码实现
  • 分别从Driver和Executor两个角度阐述如何保证统计结果数据输出的幂等性
我的作业
去发布

登录后即可发布作业,立即

全部作业

数据加载中...

意见反馈 帮助中心 APP下载
官方微信