关于写入数据到elasticsearch

Question

老师您好，我在将拉勾职位信息写入到 elasticsearch 中时，测试了好多遍，都只能写入1条职位数据，后面的请求全部都 302重定向了，但是我写入到 mysql 当中却不会这么快就重定向，这是为什么？（写 jobbole 的时候是没问题的）

Answer 1

bobby 2019-03-14 17:50:48

这个和es没有关系 应该是触发拉钩的反爬的问题 你设置一下爬取速度还是会这样吗

• 提问者 慕盖茨7348004 #1

  问题解决了一点，能爬更多了，速度设置很慢没效果，我参考了https://blog.csdn.net/weixin_42833042/article/details/84206764
  这样修改之后爬到十个左右依然还是会302。。

• bobby 回复 提问者 慕盖茨7348004 #2

  其实就是拉钩的反爬策略，反爬策略可以非常灵活，比如某个ip某个时间段是否访问的过于频繁，某个账号某个时间段是否访问过于频繁，这些都是可以用来做反爬的基础，所以不论什么手段，设置合理的抓取频度是最重要的

• 提问者 慕盖茨7348004 回复 bobby #3

  明白了，谢谢老师