拉钩判断爬虫的依据是什么

Question

在用老师代码登录拉钩的时候自动302跳转到了登录界面，我想问下服务器判断爬虫是根据速度还是UA进行判断的啊？crawlspider的话应该怎么修改爬取速度和ua啊，因为和知乎的界面不太一样，不知道在源代码的哪里改，速度可以用TIMESLEEP ua我不会改啊

Answer 1

bobby 2017-10-24 16:23:14

拉勾会通过ua和ip 都会做限制 反爬虫 不会只通过一种策略反爬虫， 随机ua的设置我会在后面的章节中介绍到 是全局的

• 提问者 伊飘叶 #1

  非常感谢！

Answer 2

L风之岚歌 2017-10-23 22:35:11

user-agent的改法老师的课程里讲过.

pip install fake-useragent,实例化一个ua,然后在headers里指定就好了