setings设置成elasticsearch就会重定向到登录界面，而进mysql一点问题没有

Question

这是拉钩的爬虫

Answer 1

bobby 2017-06-28 15:28:39

302是因为请求过快 拉勾判断为爬虫然后重定向了 限制一下爬虫速度吧

• 提问者 asdhjhg #1

  老师 ，我的知乎和拉钩设置延迟10，换过ip，还是会302，jobbole爬着爬着就变得很慢，然后就停了，简直崩溃。。。。这些问题在保存mysql还不太严重，保存到elasticsearch非常严重，爬虫几乎瘫痪。。。

• bobby 回复 提问者 asdhjhg #2

  你可以看一下302之前请求的url 里面有ip 就是判定你为爬虫了 你可以先重启一下家里的路由器 切换一下ip， 或者使用一下西刺网上的https代理看看还有没有问题

• 提问者 asdhjhg 回复 bobby #3

  老师我解决了了，但是又有一个问题，知乎进不去elasticsearch，
  debug到pipline的时候 在item.save_to_es()的时候会正常跳进item执行save()，但是到了save()的时候跳进了current.result = failure.Failure(captureVars=self.debug)

点开查看后面1条评论