logstash主备问题

Question

我的架构是filebeat（）+kafka（3台）+logstash+es（3台）；请问logstash如何搭建主备呢；或者是如何防止logstash物理机突然宕机而影响服务？

Answer 1

rockybean 2018-10-23 18:15:35

部署2个logstash一起来消费kafka数据就好了

• 提问者 qq_无妄_3 #1

  可是两个logstash消费的数据不就是两份日志了嘛？那处理后es里的数据也会双倍的。还是我理解错了？还是意思时两个logstash消费不同的topic？那有一台挂掉了；某些日志不就时分析不了了嘛？求教老师

• rockybean 回复 提问者 qq_无妄_3 #2

  kafka 的 consumer 消费是有一个 group 的概念的，两个 logstash 组成一个 group，共同消费一个 topic。每个 topic 会有多个 partition，会均匀的分配给两个 logstash，如果一个 logstash 挂了，就全都分配给1个 logstash

• 提问者 qq_无妄_3 回复 rockybean #3

  谢谢老师^-^