flume kafka spark streaming

Question

这个框架的设计延时过于严重,数据处理过慢是哪里的问题,spark streaming 很长时间都在缓慢处理几分钟之前的数据

Answer 1

Michael_PK 2018-02-07 09:45:53

我们线上就是这套架构，完全没毛病，一个分钟进来的数据在两亿条左右。你这个说慢，你看看你的flume是否慢，然后streaming消费kafka是否慢，检查streaming资源是否合理，一般不能有数据的堆积才行

• 提问者 慕运维7479159 #1

  非常感谢！