爬取拉勾网，重定向302

Question

打开页面看见提示账号异常，需要输入验证码。

2019-03-04 22:47:26 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.lagou.com/utrack/trackMid.htmlf=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F5646424.html&t=1551710848&_ti=1> from <GET https://www.lagou.com/jobs/5646424.html>

老师，这个有没有什么好的解决办法？

scrapy是如何处理重定向的呀？

Answer 1

Mobyszh 2019-04-06 15:05:36

我设置了请求间隔60s，目前状况良好

Answer 2

bobby 2019-03-07 11:04:24

这个是出现302了 出现这个是因为你的抓取速度过快 被目标网站限制了，你需要限速一下 控制你的抓取速度， 你可以先手动输入验证码 解封你的账号 然后再限速重新抓取

• 提问者 梦想有天能够飞起来 #1

  老师，我想写个中间件来获取重定向的url，然后获取验证码，接入云打码平台，这样该怎么做？

• 提问者 梦想有天能够飞起来 #2

  我主要不知道如何获取重定向的url

• bobby 回复 提问者 梦想有天能够飞起来 #3

  你加我qq 442421039 我看看

点开查看后面1条评论