动态网页爬取的问题

Question

老师，为了等待某些数据动态加载完成之后再爬取，我使用了selenium的WebDriverWait方法，达到了我的目的.但是由于爬取效率的问题，我决定使用splash来爬数据，可是英文文档里我没有找到splash对应selenium的WebDriverWait这样类似的方法，请问下老师splash等待某一段数据加载完了再爬取，这样的需求具体用哪个方法来实现呢？

如图:selenium我是这么做的，求splash对应的方法...

Answer 1

bobby 2018-07-13 11:16:38

不建议使用scrapy-splash来完成了 可以使用chromedriver的headless版本

• 提问者 慕神6516775 #1

  我看scrapy-splash的官网一直在持续更新中，效率比selenium也快了不少，为什么不可以使用呢？另外，最关键的是selenium的效率太低了，老师提到的重写下载器来提供异步支持，我这边真心不知道如何去做.

• bobby 回复 提问者 慕神6516775 #2

  要自己重写异步的方式去实现下载器需要对twisted熟悉才行，如果对异步io不熟悉，难度会很大。scrapy-splash稳定性没有chromedriver高的

• 提问者 慕神6516775 回复 bobby #3

  老师，您贴一段selenium异步下载器的代码给我们把，告诉我们如何使用即可，等我们能力提高了再自己写，您看这样可以么.

点开查看后面5条评论