分析日志chrome占比问题

Question

现在直接读取的是access log，这样分析出来的数据很明显是不对的。因为并不是全部日志。
即使有一个full log文件。但是对于生产环境而言。随着时间的推移。这个文件也会超级大。那么用stream的方式统计chrome的占比。也是一个相当耗时的操作。请问老师这个问题怎么解决。

Answer 1

双越 2020-05-31 20:52:04

第一，为什么 access log 不是全部日志呢？我没懂

第二，日志可以按照时间来定时拆分，课程中讲过，拆分了就不会是大文件了

第三，用 stream 是分析日志文件最高效的方式，如果这样还嫌耗时，那就只能从硬件上考虑优化了

• 提问者 慕田峪3925125 #1

  sorry。我没描述清楚。
  首先日志拆分了。所以读取的access.log文件最多是统计一天的访问。
  我想知道的是这个系统运作以来chrome的占比。所以需要一个full.log
  但是由于full.log文件会随着时间的推移越来越大。所以说即使用stream也会很耗时。
  我自己想的就是用redis 计数 可以解决。这样又涉及到持久化。老师您有什么解决方案。

• 双越 回复 提问者 慕田峪3925125 #2

  为什么需要 full.log ？你就一天一天的统计，把每一天的统计结果做汇总，就得到了全部的统计数据了。