爬取lagou偶尔出现302

Question

有规律的，每爬取一段数据，就会出现302,

Answer 1

bobby 2017-07-04 09:30:24

这是被拉勾网判定为爬虫了， 判定一个网站是判定你为爬虫的规则各个网站是不同的， 而且是不会告诉外界的， 只有自己去不停的试错 来判断比如请求频率是多少， 比如一个网站可能会根据每分钟， 每小时， 每天的请求次数来判定你为爬虫， 你只有不停的去猜测这个边界到底是多少

• 灰乐辉了 #1

  该怎么办了？

• bobby 回复 灰乐辉了 #2

  限制爬虫速度 使用ip代理访问 禁用cookie 三种方法结合使用