爬取拉钩被登录拦截

Question

老师，我爬取拉钩的时候一直被302重定向到登录界面，但是网页访问明明不用登录，不知道是哪出了问题，下面是报错信息

2017-11-27 23:32:29 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://passport.lagou.com/login/login.html?msg=validation&uStatus=2&clientIp=111.201.123.215> from <GET https://www.lagou.com/zhaopin/Java/>

Answer 1

bobby 2017-11-28 18:29:30

这种是被判定为爬虫了 你可以 用selenium模拟登陆 然后用登录后的cookie访问也可以直接重启家里的路由器换个ip试试

• 提问者 Meet相识 #1

  非常感谢！