关于日志的处理

Question

老师，你这日志的处理，是不是进行的离线的日志数据的处理，而不是实时的。

假若是离线的日志处理，日志生成后，然后固定时间段对静态日志进行脏数据的清理，入库，怎么能体现出对高并发数据流量的抗性。

Answer 1

Pangee 2018-03-14 10:22:25

同学，这套方案是套准实时方案。行业内有实时方案，是在nginx+lua来实现日志解析后入streaming流式处理。方案有很多，看各路诉求了。streaming方案的好处是实时性高，但处理压力与线上压力成正比，业务若有个什么促销、热点高峰期，实时方案压力很大。

回到这个方案，课程示例以消费日志文件为例，实则可以消费kafka队列。我设计讲这节课时候，担心再引入新组建，会把课程展开，golang部分占比太少，所以就简化了非golang部分。毕竟这节课有两个点需要传递给学生：golang协程、整套方案流程

• 提问者 Echo鑫 #1

  非常感谢！

• Pangee 回复 提问者 Echo鑫 #2

  应该的。 :)

Answer 2

文_氓 2018-03-14 10:11:35

体现不出来，如果真想用在线上，可以看看小米的，他们用go搞了一套。

• Pangee #1

  同学厉害~ 知道的不少！