selenium集成scrapy

Question

selenium集成到scrapy后，是否所有的请求都是通过selenium发起
只需要登录的时候通过selenium的话，是否就不需要做这个集成的工作了
如果访问的页面是动态请求，那就必须要通过selenium了嘛

Answer 1

bobby 2019-07-06 14:07:15

首先selenium集成中scrapy中是否每个请求都要让selenium去请求这个要看你如何写代码了，你完全可以自己控制， selenium我个人的建议是用来模拟登录就行了，登录后的请求用request就行了，因为selenium效率比较低， 动态页面不一定非要使用selenium， 如果不适用selenium请求的话那么就意味着你必须要去分析url是怎么构成的，自己模拟发起一个同类的请求就行了，selenium分析动态网页的好处是不用去分析url是什么格式的

• 提问者 shalama #1

  非常感谢！