采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
我遇到的问题是,爬取链家,但是很多链接出现301,重定向的新地址还是原地址。但是我传递的meta,在接收就收不到了,请问老师有什么办法可以解决?
这个问题提的很好,所以我给你找到了301的源码,你看一下这个源码,代码不多,无论我给你怎么解释都不如你直接看这里的源码清楚
出现的301一般是重定向 这种操作 一般scrapy会自己去抓取重定向的之后的url 你这里的返回的html是否正确?
链家规则是重定向后还是原来的请求地址,数据都没问题,但是,code是301,meta没有了,不用mate一切都不影响。所以不知道有啥办法重定向时能带上meta的?
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
5.3k 30
2.9k 18
1.5k 18
1.8k 15
3.4k 15
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号