scrapy+selenium滚动翻页

Question

1、老师我现在用scrapy+selenium技术去爬评论数据，别人现在设计的是一种滚动翻页的模式，每次显示5条数据，但是评论数据却有几十万条，我如何加速这个爬虫效率，有没有好的方案？
2、我也看了一下网站获取评论的滚动地址，访问一次就没有了，只能用一次。

Answer 1

bobby 2022-04-25 09:53:58

这种情况要么看前端源码看看请求是如何构造的，要么就不停的多启动几个selenium去不停的滚动下拉

• 提问者 qq_多爱一下_03725241 #1

  1、抖音的地址:https://www.douyin.com/video/6854498059699686663
  2、不停的多启动几个selenium去不停的滚动下拉，该如何去实现？有没有文档地址可以参考的。

• bobby 回复 提问者 qq_多爱一下_03725241 #2

  多启动几个selenium去请求多个视频， 多个selenium肯定没法加速同一个视频的访问的，不停的下拉就是控制selenium拉到底