老师您好，关于重定向的请求 在DOWNLOADER_MIDDLEWARES中无法拦截的问题

Question

老师我有两个问题
1.我按照课程添加了随机代理与随机ua进行请求, 并且又加入了一个重试的中间件。如下 此时retry_http_codes是包含301 302等错误码的

但是发现，我发现这里拦截的错误码 是对于重定向之后网址请求的状态码 200
所以要怎么对重定向的错误码进行拦截呢？
2.我的 随机ua 随机ip 重试 中间件优先级是 490 500 510
如果我拦截到错误并进行重试 是会重新从随机ua开始重新请求 还是用上一次的ua和ip进行请求呢？

Answer 1

bobby 2020-03-26 11:05:03

重定向的302请求会被scrapy自动识别并转向请求302之后的页面。所以如果想拦截这些请求的话那么需要设置防止302被scrapy自动处理 https://stackoverflow.com/questions/22795416/how-to-handle-302-redirect-in-scrapy 你可以看看这个 重试的请求会继续随机ua