请问当请求拉钩页面时出现302，如何再次更换代理ip？不让scrapy一直Retry

Question

我第一次故意选一个连接不上的代理ip，想让他继续从数据库里随机挑选ip，而不是一直Retry？

Answer 1

提问者 时间流逝unity 2018-07-14 19:17:22

我知道了，但如何在下载中间件里的process_request里判断是否出现302，如果有才继续从数据库里取ip？

• bobby #1

  https://github.com/scrapy/scrapy/issues/1334 你看看这里，你可以设置一些状态码的返回response，然后你在parse方法里面判断这些状态码 如果状态码有问题 你再次yield一下request记得设置为dont_filter为true就行了