请稍等 ...

老师，通过CrawlSpider爬取一个域下的所有站点，怎么实现增量爬虫

loonghoo 2019-08-14 16:24:05

源自：14-1 elasticsearch介绍

745

收起

提交取消

1回答

bobby 2019-08-16 11:52:30

增量抓取可以使用scrapy-redis定时向redis的队列中放入待抓取的requests 并把队列设置为优先级队列就可以控制哪些request会优先抓取了

0 回复有任何疑惑可以回复我~

evilchaos #1
```
那么如何判断哪些requests是待抓取的呢？
```
回复有任何疑惑可以回复我~ 2019-08-16 16:03:36

bobby 回复 evilchaos #2

你把Request中设置一个参数dont_filter设置为True，但是哪些需要重新抓取这个需要你自己去设置了

回复有任何疑惑可以回复我~ 2019-08-18 14:20:45

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

关于爬虫发展前景

如何做好网络爬虫工程师

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5788 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.7k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.3k 15

运行 scrapy crawl jobbole 报错

2.7k 15

查看更多本课问答

意见反馈帮助中心 APP下载