抓取这种招聘网站会有风险吗？

Question

我想问您一下，现在爬诸如拉勾，boss直聘这种招聘网站（只是爬一些职位信息然后做个搜索引擎玩玩）会不会被请去喝茶啊？如果遵守这些网站的robots.txt协议，好像我们啥都不能干了。

Answer 1

bobby 2020-06-24 09:25:38

别公开这些数据，你自己做个数据分析出来没事，别商用 别免费 一般没有问题，抓取的时候现在除了百度的爬虫以外 估计没有人遵循robots协议

• 提问者 evilchaos #1

  那一般爬这种网站，请求速率和并发控制在怎样的程度比较好？菜鸟很怕控制不了爬虫，把人家网站打挂了。

• bobby 回复 提问者 evilchaos #2

  不要无节制的抓取就行了 一般不会因为你抓取过快告你的 因为对方会做反爬的 你只要控制住刚好能抓取到数据就行了