日志消费堆积,查看日志报Timeout executing grok

Question

公司用的日志收集,最近时不时有堆积情况,过几个小时又会恢复,es集群,分片检查了都正常,最后发现logstash和kafka一直在刷Timeout executing grok,
因为现在项目越来越多,可能个别日志,原有的grok正则匹配不了了,我想问下老师,能不能加个条件,就比如以上规则都匹配不成功的话,就将其跳过,这个功能可以实现吗,应该怎么实现呢.

Answer 1

rockybean 2023-09-03 11:17:46

这里有一篇比较早的 grok 文章，可以借鉴下，条件的多的时候要尽早识别不匹配的情况
https://www.elastic.co/blog/do-you-grok-grok

另外就是如果这个匹配解析可以在 client 提前做，就尽量提前，比如在 filebeat 端做掉，这样就节省logstash 的时间了

Answer 2

提问者 慕粉8429964 2023-08-24 11:18:51

又了解了.我们正则匹配条件很多,第一个不匹配超时进入下一个.然后继续匹配,直到匹配成功,这样日志量大的时候就会堵塞,老师有没有什么优化建议,不加节点的情况