filter访问redis可以采用队列的方式监听变化吗？对性能是否由影响

Answer 1

rockybean 2022-08-15 16:01:02

『采用队列的方式』具体是指什么？能否将再详细说明下

• 提问者 慕少1542613 #1

  就是想在filter读取客户配置，因为这个配置会变，所以想采用redis订阅发布模式，长链接，这个长链接在init代块里执行，应该只执行一次吧？这种实现方式是否是最佳实践呢？

• 提问者 慕少1542613 #2

  需求是，用户可配置日志格式，存在redis里，需要实时生效，所以logstash需要实时获取redis的用户配置，这个最佳实践是否是在filter用ruby的redis订阅发布模式？

• 提问者 慕少1542613 #3

  老师能否解答下，谢谢

Answer 2

rockybean 2022-08-16 17:03:19

你是要 enrich data 吗？像下面这两篇文章讲的

https://www.elastic.co/blog/elasticsearch-data-enrichment-with-logstash-a-few-security-examples

https://www.elastic.co/guide/en/logstash/current/lookup-enrichment.html

在filter 里面不要放太重的操作，否则会严重影响 logstash 的处理速度。

https://www.elastic.co/blog/elasticsearch-data-enrichment-with-logstash-a-few-security-examples

• 提问者 慕少1542613 #1

  是2个input源（一个log，一个redis监听），现在要把这2个input源字段拼接在一起，成为一个output，有什么好的方法吗

• 提问者 慕少1542613 #2

  多个input之间可以共享数据吗？

• rockybean 回复 提问者 慕少1542613 #3

  不可以，它们都是独立运行的，然后都输出到后面的filter中，最好不要在 logstash 里面做太复杂的逻辑处理，效率很低