用scrapy 返回301 requests 什么都没带 200 为什么。。

Question

import requests

url = 'http://www.gxib.cn/content/?4312.html’
res = requests.get(url=url)
res.encoding = 'gbk’
print(res.status_code,res.text)
200

Answer 1

bobby 2022-06-10 09:41:18

301是重定向，不代表有问题，只是scrapy对于这种状态码就不会自动帮我们请求301指定的跳转，requests默认请求遇到301之后就请求新的地址而不是返回给用户， scrapy设置一下就可以让scrapy遇到状态码之后自动请求而不是报告给用户