采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
我第一次故意选一个连接不上的代理ip,想让他继续从数据库里随机挑选ip,而不是一直Retry?
我知道了,但如何在下载中间件里的process_request里判断是否出现302,如果有才继续从数据库里取ip?
https://github.com/scrapy/scrapy/issues/1334 你看看这里,你可以设置一些状态码的返回response,然后你在parse方法里面判断这些状态码 如果状态码有问题 你再次yield一下request记得设置为dont_filter为true就行了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
5.1k 30
2.8k 18
1.4k 18
1.6k 15
3.1k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号