现在知乎是前后端分离，scrapy默认不支持动态加载。

Question

默认的response和浏览器的源码查看，有相当大的出入，有些数据是没有的，应该都是动态加载。

希望后续可以补充下 scrapy-splash 抓取动态内容。

Answer 1

bobby 2018-05-09 16:02:24

动态网站的抓取我会在后面章节介绍的 而且不建议使用scrapy-splash用chromedriver比较好

• 提问者 冼星扉 #1

  为什么不建议？

• bobby 回复 提问者 冼星扉 #2

  scrapy-splash 不稳定 而且容易出错 建议后尽量用chromedriver 这个已经支持headless模式了

• 提问者 冼星扉 回复 bobby #3

  splash也使用了下，很吃cpu，单核扛不住

点开查看后面3条评论