scrapy selenium登录

Question

教程中是把selenium通过中间件集成到scrapy的整个爬取。有没有办法做到只在登录的时候调用selenium，后面的爬取过程还是用scrapy？

Answer 1

bobby 2017-05-08 11:48:42

当然可以， 你只需要按照我讲解的知乎登录的地方 改为selenium登录， 但是记住登录之后 需要将selenium中获取到的cookie设置到scrapy的cookie中， 具体如何设置你可以参考后面scrapy的进阶中会提到的cookiemiddleware的源码

• 慕妹5495383 #1

  请问cookiemiddleware相关的教程具体是哪一小节？没有找到，只看到download middleware

• bobby 回复 慕妹5495383 #2

  scrapy 进阶开发中会讲解到middleware 但是cookie的源码课程中没有讲解你可以更加其他的知识点看懂cookie的源码