爬虫管理监控框架一般有哪些呢?

Question

老师, 麻烦问下现在一般公司里都使用啥作为爬虫管理框架呢? 就是爬虫监控的, 如Gerapy , Gerapy 咋样?

Answer 1

bobby 2022-03-04 11:59:56

Gerapy 还不错可以使用一下，一般监控很多公司都是自己做，我还没看到很完善的爬虫监控开源项目

• 提问者 qq_老虎_daniu #1

  像一些项目, 日志量非常大, 一般都是用啥做日志搜索或者管理的呢? bobby老师

• bobby 回复 提问者 qq_老虎_daniu #2

  日志搜索目前主流的是elk，不过有点重，现在更多的公司开始考虑使用 loki和clickhouse，比如我们公司日志目前使用的是loki， 大数据团队也在使用clickhouse，这俩都不错