doc里面要如何删除不需要的TYPE字段, 如何以天来建造INDEX且按照天来自动删除

Question

使用logstash传送JSON过去
无使用任何的FILTER,之前测试的字段想要删除
使用DEV TOOLS无法给删除,而且logstash打入的数据
只能进到default的logstash* Index里面,网上查了好多方法都没有解

还有想要把INDEX,按照天来分开
情境是想要能够自动删除60天年的LOG资料
目前使用logstash,只传送json格式而已,请问有哪些关键字可以引导呢

Answer 1

rockybean 2020-09-10 20:54:45

1.logstash output elasticsearch 插件在输出时，可以自己指定索引名
 output {
     elasticsearch {
       index => "custom_index_name-%{+YYYY.MM.dd}"
     }
   }

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

2.自动删除的话，可以结合 ILM 来实现，参考下面的 policy

PUT /_ilm/policy/nginx_ilm_policy

{

  "policy": {

    "phases": {

      "hot": {

        "actions": {

        }

      },

      "delete": {

        "min_age": "60d",

        "actions": {

          "delete": {}

        }

      }

    }

  }

}

ILM 可以参考如下视频：

https://www.bilibili.com/video/BV1yb411J7to?from=search&seid=6171020638733200362

3.字段一旦生成了没法删除，只能建立新的索引才行

• 提问者 幕布斯4113933 #1

  谢谢老师回答,我按照老师的做法,确实有成功创建出来，但是我必须在kibana的index patterns里面create index patter,他叫我设定index pattern,也无法真正使用正则,看起来只开放*号使用
  
  情境是想要kibana能够以月搜寻,这部分只能提前手动在kibana里面建置index pattern吗？

• rockybean 回复 提问者 幕布斯4113933 #2

  index pattern 是使用 kibana 的前提，一定要创建。可以参看 kibana 的课程

• 提问者 幕布斯4113933 回复 rockybean #3

  我按照老師說的ilm視頻的做,他教學給的腳本親測有問題,基本概念有了,想知道怎麼在特定index下面添加我要的policy腳本,基礎的設定我可以,可是只要用post數據就會出錯,這是腳本給的地址：
  https://github.com/elastictalk/webinar/blob/master/ET4_ILM/kibana_dev.txt
  
  我要怎麼下才可以連動我已經創建的index,讓他有這個ilm規則？

点开查看后面9条评论