IP失效被blocked了如何处理好？

Question

老师
爬取了一堆代理，刚刚开始都可以用，但是用多了有的代理就被block了。
譬如用A代理请求的这个URL，但是A代理用久了被封了，scrapy会不会重新用能用其他的代理去请求？还是这个请求失败的url就放弃了吗？
有时候代理用久了被block掉，但是自己也查不到，还是让scrapy一直在跑。
有没有什么好的方法可以解决吗？

Answer 1

bobby 2019-03-27 16:09:25

现在的免费代理因为使用的人实在太多了 很不稳定，之前有个学员用过一个收费代理说的很不错 你可以看看 https://www.abuyun.com/

• 提问者 Dreambig #1

  我现在也是用收费了，就是想知道，我用这个代理发起的request的url，如果这个代理刚好被封了，那发起的这个url是就被scrapy放弃掉，还是scrapy会用新的ip继续尝试发起request呢？

• bobby 回复 提问者 Dreambig #2

  scrapy有一个retry的middleware 对于某些失败的会再次发起，对于最终失败的你可以用middlware拦截然后再次自己发起请求 如果再次发起的话 就又会走你的修改ip代理的逻辑的