selenium集成scrapy

Question

selenium集成到scrapy有什么好处

Answer 1

bobby 2019-02-12 18:56:08

selenium主要是解决动态网站的抓取， 省去了分析前端代码的逻辑，因为随着前端越来越复杂，分析前端的代码也会变得越来越复杂而且多变，用selenium集成到scrapy中第一个就是对于登录逻辑复杂的功能 直接用selenium去模拟登录就可以拿到cookie这样就可以直接用scrapy的request去完成后续请求，对于一些页面很复杂的逻辑直接使用selenium去请求就可以直接分析生成后的html这样分析简单