咨询个问题，每天都产生好多的日志，和nginx在同一台机器的日志随时都肯崩盘

Question

咨询个问题，每天都产生好多的日志，和nginx在同一台机器的日志随时都肯崩盘，web项目就给挤挂机了，这种情况是这么处理的，一个月清理一次显然也不合理，要是想统计一年的数据，数据没了没法统计了，要是都导入到hdfs集群会不会因为集群不稳定导致数据找不回来了

Answer 1

Michael_PK 2018-12-04 00:44:26

ng 的日志是在专门的机器上的，只要被采集到HDFS就行，ng上的日志一般保留一天足矣

• 提问者 慕桂英1146026 #1

  统计的结果一直追加然后永久保存，ng的日志随时统计完了就清理掉了，只是保留最近的一个月或者一个星期就可以了？

• Michael_PK 回复 提问者 慕桂英1146026 #2

  统计结果在一般存在数据库中

• Michael_PK 回复 提问者 慕桂英1146026 #3

  具体多久看需求以及你机器能扛多久

点开查看后面1条评论

Answer 2

Michael_PK 2018-12-04 00:46:09

不可能一次性统计一年的，最迟也是一天统计一次入库，后续就在统计的基础上操作。一般HDFS是要存十几个月的日志的，已被稽查