scrapy-redis怎么做增量爬取

Question

对网站进行爬取完过后,过几天网站添加了很多数据,但是这个url的request又在去重的redis服务中,一直获取不到最新的数据,这个怎么解决?

Answer 1

提问者 TT2_X 2018-05-16 17:22:29

感觉scrapy一点都不好做增量爬取

• bobby #1

  增量非常好做啊， 你首先将scrapy-redis的队列用优先级队列替换掉，然后写个脚本定时发送你要抓取的列表页首页url到redis队列中，把优先级设置高一点，这样每次抓取都会优先抓取你刚才push进去的url啊

• 提问者 TT2_X 回复 bobby #2

  它已经在去重队列中了，重新push到redis,去读取的时候还是会被过滤

• bobby 回复 提问者 TT2_X #3

  这个简单 你可以在RFPDupeFilter源码中 关于去重的逻辑出 修改一下逻辑 对于特殊的url 不去去重处理，还有一种更合理的方法就是用scrapy的Request放入到redis队列中 这里的request你可以加上dont_filter参数，这样防止被过滤掉，第一种方法简单 第二种方法更合理但是需要你对源码更熟悉些

点开查看后面1条评论