filter data enrich问题

Question

老师您好，目前遇到了日志数据增强的问题，主要有两个问题：
1.据了解可以通过es filter、translate filter、http filter等等来丰富字段，测试发现如果我更新了数据源比如es中用于enrich的关联index，translate 字典内容/csv文件，会导致Logstash配置文件停止，如何处理这种情况，一般关联数据源index或csv半天或者一天更新一次，是指定了_id的静态数据；
2.比如ad日志中有域账号字段，需要关联用户中心的一份静态数据，关联部门、公司等字段，通过elasticsearch filter来实现还是translate filter 本地csv来实现更好，人员数据量大概5万条左右，如果使用es filter来做，是否要单独把这台es脱离日志集群，做单设置成数据关联专用es；
求老师指导一二，非常感谢。

Answer 1

rockybean 2020-05-17 07:40:30

1. 你说的 logstash 配置文件停止是指什么？es filter 中更新 es 的源应该不会影响 logstash 运行状态的。translate 更新，应该要 reload 一下才能生效

2. 这个我建议用 es filter 来做，维护起来方便。5 万条数据不多，直接放现有日志集群就可以了。如果有安全问题，就做好权限管理。

另外 logstash 也有 mysql 的 filter，可以直接查数据库

• 提问者 民工来啦 #1

  感谢老师答疑。
  之前有测试过更新geoip的.mmdb数据库文件发现logstash正在运行的进程直接报error退出，所以我觉得es filter更新es源可能也有类似问题出现。我的理解是logstash会把数据缓存到内存中做关联吧，如果我更新了数据源，Logstash可能不会自动识别新的数据的变更；另外translate更新是需要手动reload一下吗，配合脚本可以实现自动化吗