请稍等 ...

用crawlSpider对拉钩网爬取，出现302的状态码，意思是要先用scrapy登录，才能爬取吗？

qq_鸣神剑二_0 2018-03-14 14:49:42

源自：7-4 Rule和LinkExtractor使用

1283

收起

提交取消

1回答

python小白菜回答被采纳获得+3积分 2018-03-15 12:54:20

对呀，请求被重定向了，要先登录获得cookie信息，再在请求上附上cookie信息

0 回复有任何疑惑可以回复我~

提问者 qq_鸣神剑二_0 #1
```
非常感谢！
```
回复有任何疑惑可以回复我~ 2018-03-16 11:03:19
树上有云a #2
```
大佬，这个怎么做啊
```
回复有任何疑惑可以回复我~ 2018-03-26 15:24:26
python小白菜回复树上有云a #3
```
selenium自动登录，获取cookie，然后传到scrapy的request里
```
回复有任何疑惑可以回复我~ 2018-03-26 16:00:21

点开查看后面1条评论

相似问题

爬取拉钩要登录

只爬取，不处理

老师现在拉勾网的反爬策略是什么呢？

课程6-4 调试拉钩网爬取url，response为302重定向为登录页面，没有进入调用callback函数parse_item，提取不到后续url

crawlspider中能yield出去 Request的吗？

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5829 人
解答问题 6293 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

5.3k 30

MysqlTwistedPipline的对象没有cursor属性

2.9k 18

知乎answer提取不到

1.6k 18

为什么知乎数据导入不到MySQL数据库中？

1.8k 15

运行 scrapy crawl jobbole 报错

3.4k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号