爬取结果和网页源代码不同

Question

老师，我想爬取豆瓣的电影名称和分值。但是在第一步爬取网页源代码的结果就和实际的网页源代码不同。这是什么问题？百度了一下，说是用JS编写的代码的原因？是需要继续学习更深入的东西吗？老师能不能一下建议接下学习的方向。本人希望从事和Python相关的行业，最好是做开发，毕竟开发挣钱。

Answer 1

7七月 2020-02-26 20:25:02

豆瓣有些网页是前后分离的，前后分离的基本是不能靠这种方式抓取的。

但是豆瓣的其他网页可以抓取，这个你得多换几个页面看看。

如果要专业做爬虫工程师 可以看看bobby老师的爬虫课

我这个课 主要是语法课，并不是专业的爬虫课