ES优化问题,不解决试用期过不了了。哎

Question

日志每日增加的量最多是50M。但是es的JVM内存一直在不断的飙高。重启一次就降了下来，但是等几天一会又飙高到99%。怎么解决老师?我不是Java开发不是很了了解JVM。es是单节点。系统内存32G ，下面是配置文件
cat elasticsearch.yml
cluster.name: my-application
node.name: node-1
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs
network.host: 192.168.16.147
http.port: 9200

jvm参数 就改了-Xms -Xmx
-Xms16g
-Xmx16g
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly
-Des.networkaddress.cache.ttl=60
-Des.networkaddress.cache.negative.ttl=10
-XX:+AlwaysPreTouch
-Xss1m
-Djava.awt.headless=true
-Dfile.encoding=UTF-8
-Djna.nosys=true
-XX:-OmitStackTraceInFastThrow
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true
-Djava.io.tmpdir=${ES_TMPDIR}
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=data
-XX:ErrorFile=logs/hs_err_pid%p.log
8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:logs/gc.log
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m
9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
9-:-Djava.locale.providers=COMPAT
10-:-XX:UseAVX=2

Answer 1

rockybean 2019-03-23 09:25:12

https://github.com/elastic/support-diagnostics

你用这个工具跑一下诊断数据然后发我邮箱
[e-mail]

• 提问者 苦瓜苦也 #1

  好的  我现在把工具下载下来了 ，谢谢老师 ，今天我也在加班。老师辛苦

• 提问者 苦瓜苦也 #2

  [elk@host-192-168-16-147 scripts]$ ./diagnostics.sh --host localhost -u elk -p
  Using /usr/local/jdk1.8.0_201//bin/java as Java Runtime
  Using -Xms256m -Xmx2000m  for options.
  Error: Could not find or load main class com.elastic.support.diagnostics.DiagnosticApp

• 提问者 苦瓜苦也 #3

  [elk@host-192-168-16-147 scripts]$ mvn -v
  Apache Maven 3.6.0 (97c98ec64a1fdfee7767ce5ffb20918da4f719f3; 2018-10-25T02:41:47+08:00)
  Maven home: /usr/local/maven
  Java version: 1.8.0_201, vendor: Oracle Corporation, runtime: /usr/local/jdk1.8.0_201/jre
  Default locale: en_US, platform encoding: UTF-8
  OS name: "linux", version: "3.10.0-327.10.1.el7.x86_64", arch: "amd64", family: "unix"
  mvn 环境配置好了 执行 脚本还是上面那个 错误 。哎 不懂java开发确实 吃亏

点开查看后面5条评论

Answer 2

rockybean 2019-03-23 13:16:56

单节点的分片最好控制在200个以内，你现在都要400个了。

有时间还是要认真看下视频，这些都有讲哦

Answer 3

rockybean 2019-03-23 13:14:41

我简单看了下，如下要优化：

1. 生产环境最好3个节点，你现在就1个

2. Index shard 都是默认的 5个，太多了。我看了下你的数据大小，改成1个就可以。要减少 shard 数

这一波优化完应该就没问题了

• 提问者 苦瓜苦也 #1

  好的，我现在在搭zookeeper集群。另外三个项目 一起就用集群了。谢谢老师。感谢。

Answer 4

rockybean 2019-03-23 09:22:40

你贴一下es的日志给我看下

• 提问者 苦瓜苦也 #1

  [elk@host-192-168-16-147 support-diagnostics-6.4.4]$ ./scrub.sh -a diagnostics-20190323-104145.tar.gz 
  Using /usr/local/jdk1.8.0_201//bin/java as Java Runtime
  Using -Xms256m -Xmx2000m  for options.
  11:00:02 INFO  Validating inputs...