爬虫学习路径？

Question

pegasuswang老师 你好。 学完你的课程后，现在我想学习下爬虫，为自己加点竞争力。
所以我自己制定了一个学习路线。
网络请求的库：我看了 urllib， request
网页解析： bs4, 正则，xpath，pyjquery，css选择器
我想的是学习完这些，然后在去看框架课，学习多线程，多进程 分布式爬虫。
我想问的是我的学习路线正确吗？
还有一个网页解析的工具太多了，是全部学完吗？还是掌握其中的一些？
工作中爬虫常用到的解析工具是哪些那？
最后谢谢pegasuswang老师。

Answer 1

PegasusWang 2019-03-28 22:39:42

如果看过这门课应该发现我基础讲得比较多，基础好了，比如懂得网络的工作原理，了解操作系统进程和线程就比较容易上手了。

学框架或者学一个库基本就是看文档了，看下文档的 api 就可以上手，剩下的就是多写多练，自己搞几个小项目练练手。如果不熟悉就从github找一些开源项目学习下。

爬虫可以学下Scrapy 框架，解析的话看 lxml/bs4 或者框架自带的就好，这些工作中用得多一些。