爬虫方向的学习路线

Question

七月老师 你好。 学完你的python基础后，我又学了web，但是现在我想学习下爬虫，为自己加点竞争力。
所以我自己制定了一个学习路线。
网络请求的库：我看了 urllib， request
网页解析： bs4, 正则，xpath，pyjquery，css选择器
我想的是学习完这些，然后在去看框架课，学习多线程，多进程 分布式爬虫。
我想问的是我的学习路线正确吗？
还有一个网页解析的工具太多了，是全部学完吗？还是掌握其中的一些？
工作中爬虫常用到的工具是哪些那？
最后谢谢七月老师。

Answer 1

7七月 2019-03-28 20:23:15

爬虫以实用为主，不要去学学这个学学那个。我个人认为 bs4、正则、requests库就是最基本的工具，用好能解决很多问题。爬虫更多的难点在如何应对反爬和如何确保爬虫引擎自动话运行，不需要人工干预。至于xpath这些我觉得只是可选的。

最多在看看scarpy吧。

• 提问者 qq_拱手河山讨欢_0 #1

  非常感谢！

Answer 2

7七月 2019-03-28 20:24:32

建议就是爬虫要实战，试着做一个不间断爬取自动运行，自动纠错的爬虫。然后再尝试做个网站把爬取的内容展示出来。这个过程中差什么补什么学什么。记住爬虫最难的是 自动纠错和不间断爬取。如果你写个爬虫1小时要去看看挂了没，然后手动重启撒的，那这爬虫太简单了，没技术含量。