采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
咨询个问题,每天都产生好多的日志,和nginx在同一台机器的日志随时都肯崩盘,web项目就给挤挂机了,这种情况是这么处理的,一个月清理一次显然也不合理,要是想统计一年的数据,数据没了没法统计了,要是都导入到hdfs集群会不会因为集群不稳定导致数据找不回来了
ng 的日志是在专门的机器上的,只要被采集到HDFS就行,ng上的日志一般保留一天足矣
统计的结果一直追加然后永久保存,ng的日志随时统计完了就清理掉了,只是保留最近的一个月或者一个星期就可以了?
统计结果在一般存在数据库中
具体多久看需求以及你机器能扛多久
不可能一次性统计一年的,最迟也是一天统计一次入库,后续就在统计的基础上操作。一般HDFS是要存十几个月的日志的,已被稽查
登录后可查看更多问答,登录/注册
快速转型大数据:Hadoop,Hive,SparkSQL步步为赢
1.5k 6
1.7k 6
1.9k 1
1.1k 21
1.4k 18