离线数据处理

Question

若在此项目中要加一个离线处理的功能，是直接将flume收到hdfs上 还是flume 到kafka再到hdfs上 离线处理是长时间处理一次数据吗 像半天一天 也一般是会用spark处理吗 还是 hive多一些 谢谢。

Answer 1

Michael_PK 2023-02-03 12:04:12

你的建议很好，但是这么课程是实时处理的，所以只讲实时篇。

离线处理的如果针对sql来说，hive、spark都是可以的呢，而且现在spark版本也都兼容了hive的绝大部分的语法