采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师你好 知乎在访问一定次数之后就会要求输入手机验证码,或者图片验证码 我要怎样知道目前访问知乎需要验证码的呢 因为无界面,所以有可能爬到一半就会断掉 但我还不知道
或者说我如果有几个知乎账号 我想轮流替换,该怎样去操作呢
访问频繁这种情况,知乎可以通过账号检测到, 这种切换ip也是没用的,因为这个是针对账号检测的,所以最好的方法是多用几个账号轮流抓取。但是账号之间的cookie如果去维护你可以看看5-2小节我补录了章节里面会讲解如何从浏览器获取到的cookie放入request中,我也会讲解如何保存到文件中,你可以将这些保存到数据库中 然后在后面的章节中我会讲解如何写scrapy的middleware去切换ip代理,你按照同样的道理去设置cookie就行了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.7k 30
2.5k 18
1.1k 18
1.3k 15
2.7k 15