关于爬虫发展前景

Question

老师想问一下，关于爬虫前景的问题，很多朋友说，爬虫可以提供的职位少，并且有法律风险，不太建议学爬虫这个方向走到底，老师客观分析下吗，关于以后的前途，就是特别荒，那如果不行我还要投入大量精力去学习逆向、app这些吗，

Answer 1

bobby 2021-08-18 11:41:56

爬虫相对的职位比较少，这是实话，但是爬虫知识该不该学，那是一定该学的，因为爬虫不只是爬取数据还能做很多自动化工作，而且法律风险是指你拿着别人的数据去卖别人当然不愿意了，你自己抓取数据自己做算法模型训练不行吗？我自己抓取数据做大数据系统的学习不行吗？别人也没法拿你怎么着，而且即使像美团这样的大公司也会有爬虫，所以不能说爬虫有罪，而是你拿着爬虫去做有罪的事情。还有另外一点：爬虫可以做很多处于灰色领域的事情，当大家都不爬数据的，以及现在反爬越来越难了，那么很多数据就会越来越贵，所以爬虫技术是值得深入的，但是不能认为爬虫的职位会想web开发一样多不行，不管做什么你自己感兴趣以及能学的很好对你来说都很值钱

• 提问者 stonepot #1

  嗯谢谢老师那么认真的回复   那我就作为兴趣学，作为一项技能，  爬虫作为吃饭本领是不是不太现实  找工作还是得靠java这些，而且爬虫的逆向相对局限性还是比较强   我怕投入太多精力，到时候错过很多机会 .

• 提问者 stonepot #2

  非常感谢！

• bobby 回复 提问者 stonepot #3

  加油，java工作确实相对较多，不过竞争也相对激烈，所以需要自己取舍