采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师,我使用了selenium登录知乎,拿到cookie之后,为什么之后的每次请求还是要从selenium登录(打开浏览器,手动输入验证码),而不是直接调用cookie?代码使用的是老师的zhihu_sel。
你是否在settings中设置了enabled_cookie 设置了找个之后 scrapy会将你之前传递到request中的cookie设置到下一个request中去
老师,settings中我都设置好了,就是不理解函数执行的顺序,相关问题我放在下方的回复里了。
非常感谢!
(回复没法放图,我就放在这里)
每次顺序执行 start_requests() 函数,都会去调用selenium打开浏览器,是否应该在头部添加一个判断cookie存在的语句来调用cookie呢?
否则调用cookie都是在函数末尾,也就没法跳过浏览器登录这个步骤了。
这逻辑很简单 你先将cookie放入到文件中 然后每次登录的时候你先判断文件是否存在,如果存在你就不用去模拟登录了 直接从文件中读取就行了
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
5.5k 30
2.9k 18
1.6k 18
1.8k 15
3.4k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号