如何做好网络爬虫工程师

Question

老师，我们学习网络爬虫工程师的应该避免爬什么样的网站，或者是要遵循那个协议，还有不让网站服务器崩溃，还不能爬什么网站啊？或者说不能出售数据，或者不能那数据干什么啊？老师，还有怎么学好网络爬虫工程师啊？（精益求精）老师

Answer 1

bobby 2020-02-22 15:16:55

你这是怕法律风险吗？ 爬虫最重要的是那个抓取频率，很多人认为只要我写了爬虫 就不用管频率了， 这种没有做限速的爬虫就是恶意爬虫， 也不考虑对方服务器有没有压力，所以一定要有合理的频率， 其实如果担心法律风险， 你其实不用太过担心，很多大公司之间都是在互相抓取的，也没有见过哪个公司告另一个公司，只要你不是恶意的攻击 数据不要给人家拿出去卖了 一般都没有什么问题

• 提问者 你哭着对我说 #1

  谢谢老师

• 提问者 你哭着对我说 #2

  恶意的攻击是指不限速的爬取吗?或者是拿DDOS攻击吗？对，就是怕法律风险，老师
  因为我们这里有人被抓了，要是练习期间然后爬了只看一遍，然后就不动那个文件了（不传播也不拿出去卖，也不自已用，或者说以后都这样），这样行吗？老师

• 提问者 你哭着对我说 #3

  或者也要遵守robots协议吗？老师，有点害怕
  
  谢谢老师

点开查看后面1条评论

Answer 2

提问者 你哭着对我说 2020-02-22 17:06:49

谢谢老师