老师这几天反过来 抓取拉钩 也是一直被重定向至登陆页面 这个什么问题昵？

Answer 1

bobby 2017-08-28 09:19:47

拉勾网判断爬虫是通过ip来判断的 可以看看后面的课程 切换ip爬取即可

Answer 2

提问者 起得比鸡还早 2017-08-29 16:36:21

拉钩绝对拉我黑名单了，换了ip代理和agent还是不行？这就是饭爬虫么!!! 

• 提问者 起得比鸡还早 #1

  我用selenium模拟浏览器抓取js动态网页中间件 这个方案可以进行抓取了....

• bobby #2

  好的， 能解决问题就行

• SingleVergil #3

  我好像也是 老是给我302  我暂时没用带来  把 middleware代理的那个 注释了   重启路由器   百度IP外网地址发生变化了 好像还是 给我  302 好神奇