爬取知乎时429、403错误怎么解决？

Question

现在爬取知乎的时候  一开始时会出现很多429的状态码，然后不超过三分钟全部是403错误退出， 然后网页上刷新知乎会提示我流量异常，要输入验证码验证才能继续访问 ， 有什么办法吗？谢谢老师！

 [scrapy.core.engine] DEBUG: Crawled (429) <GET...........................

DEBUG: Crawled (403) <GET https://www.zhihu.com/api/v4/members/eli-85?include= ..........

[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403.........................

Answer 1

bobby 2018-02-22 10:17:30

https://www.cnblogs.com/gisblogs/p/7121943.html 429代表你的ip请求太频繁， 你切换一下ip或者过一段时间再运行就行了