logstash向es写数据异常

Question

老师遇到一个问题，通过logstash从kafka向ES写数据时，logstash能够把数据从kafka中读出，向es写数据慢卡顿，logstash启动后半小时写进100条，然后再等半小时甚至更长的时间会再写入很少的数据，这种情况时好时坏，logstash和ES也都没有异常的日志，logstash是通过docker部署启动的。请问老师这种情况可能哪些原因导致？
logstash版本：5.2的，ES版本:2.4的

Answer 1

rockybean 2021-01-16 20:03:27

看这个提示目前能想到的只能是 kafka 数据来源端有问题了。

kafka 那边有延迟吗？

• 提问者 燚燚生辉 #1

  在向ES写数据时，同时也会让logstash打印output的数据，此时打印的数据并未进入ES。您说的数据延迟也会发生，就是启动lohstash后感觉像是读不出数据卡在那里，并不报错。等好半天才会读出来，kafka里是有新的数据的且kafka各节点工作正常。老师，如果是kafka数据来源端有问题，最大可能是哪方面引起的？谢谢

• rockybean 回复 提问者 燚燚生辉 #2

  1.kafka 端验证是否有问题？可以通过 console-consume 脚本消费同一个 topic，是否有数据实时流出
  2.logstash 端是否有问题？看下是否有写 es 的报错日志
  3.es 端是否有问题？看下相关索引创建是否有问题？es 端是否有报错日志？比如数据有问题，字段类型不匹配，导致出问题

• 提问者 燚燚生辉 #3

  非常感谢！