老师您好，我想问一下关于scrapy中的ip代理池问题

Question

在scrapy中使用ip代理池，但是其中含有一些没有用的ip，在进行爬虫的时候，由于ip无效导致程序线程崩溃，这种错误怎么使用try...except避免

Answer 1

贝熊熊晚安 2018-07-04 16:09:05

代理IP是不稳定的，绑定一个错误处理函数，在错误处理函数中判断请求失败如果是服务器错误就再次发送请求，最大限制发送3次，如果超过最大限制就换代理ip发送请求，整个请求最大不超过12次。

• bobby #1

  免费的代理ip不稳定， 建议使用收费的ip代理

• 提问者 白开水55 回复 bobby #2

  老师，我的意思是万一收费代理也出了问题，导致线程崩了，怎么使用try...except提前防止这种问题出现或者是怎么设置可以捕获这种异常

• bobby 回复 提问者 白开水55 #3

  你可以在中间件处理代理出错的问题，如果出错了你就重新发起因为ip代理出错引起的请求错误，设置dont_filter为true就行了

点开查看后面1条评论