scrapy 怎么给每个爬虫 添加进度条，显示爬取的进度？

Question

scrapy 怎么给每个爬虫 添加进度条，显示爬取的进度？

Answer 1

小布_老师 2022-04-18 11:49:00

这个不好处理，爬虫通常是没有明确的目标量，都是获取到下一个请求，再去处理，目标量不够明确。

这里提两个终端进度条的相关库：tqdm、alive_progress。

你加进去试试

• 提问者 慕慕7513118 #1

  我爬的网站比较简单，没什么反爬 ，我是不是一开始翻页去得到总的网页数就可以得到总量？ 进度条库我知道，如果要写是写在scrapy的那个组件里？中间件吗

• 小布_老师 #2

  推荐在爬虫中间件。
  scrapy有大量的日志，你要先关闭这个日志。