采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
我是从西刺上爬的代理IP, 希望通过代理IP解决拉钩网对IP对限制。
我在将代理IP放到对拉钩的request之前,通过对百度对访问,验证了IP代理的有效性。
用验证过的IP代理访问拉钩时报了connection was refused by other side 61 connection refused的错。scrap 在3次尝试连接失败后就退出了。
对于这个问题我后面做了试验:
很多IP代理, 我用requests 这个这个库,直接发送请求时,能用。
在requests这个库中能用多IP代理,很多用scrapy的Request时就没法简历TCP连接,然后就61了,只有很少部分的IP代理在用scrapy的Request时,能建立连接,正常使用。
免费代理因为使用的人太多, 可能造成上一秒能连接 下一秒就不能连接使用了, 你可以试试收费代理相对会好一些
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15