scrapy-redis中DUPEFILTER键入库规则

Question

老师，scrapy-redis 在请求出现异常时，这个请求的指纹加入到DUPEFILTER重键吗，什么情况下会将请求的指纹加入到去重键里？

Answer 1

bobby 2020-03-30 09:06:03

课程中讲解过scrapy的工作流 ，通过工作流可以看出来 engine拿到request 然后放入队列中 也就是如果先放入队列 然后下载

• 提问者 sjdgbhb #1

  下载后，如果状态码是500，或者其他异常，request指纹会被加入到redis去重键里吗，根据什么规则决定要不要加入到redis去重键里呢

• bobby 回复 提问者 sjdgbhb #2

  这里的源码逻辑是 遇到Request先放入到去重队列中，然后放入到待抓取队列的 ，最后才是从这个对列中获取request抓取。所以在抓取前就已经入队列了，这个地方如果你想自己处理防止500的状态码不继续抓取，你可以拦截500错误的请求 然后yield一个相同的request 并且设置 dont_filter=True就不会被过滤了

• 提问者 sjdgbhb #3

  非常感谢！

Answer 2

bobby 2020-03-30 09:08:15

通过这个源码可以看出来

• 提问者 sjdgbhb #1

  这个是入request队列的规则