老师现在拉勾网的反爬策略是什么呢？

Question

我在第6章的时候去跟着老师爬取拉勾网的职位，第一个没有加user-agent然后302重定向了，这是检测到是python吧，那它现在还有检测速度的反爬吗？它好像已经不需要登陆了吧？

Answer 1

bobby 2020-01-03 11:41:25

很多网站都会检测user-agent， 如果遇到没有检测这个的说明这个网站可能对反爬不在意，因为这个是最基础的反爬了，拉钩网应该是对于自己的数据看的比较重，所以反爬上力度会大一些，爬取速度也是会检测的，所以需要控制一下抓取速度

• 提问者 慕函数4172790 #1

  老师，如果不停的爬取拉勾网的数据，大概到第2-3个的时候，他会让登陆验证，如果我不想登陆的话，那再下降速度重新爬取或者代理ip这样能不能绕过他的登陆验证？

• bobby 回复 提问者 慕函数4172790 #2

  只要是对方没有通过ip识别出来就行