采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师,scrapy对于处理response的中间件是优先级越大越优没有问题吧,那为什么我自定义的处理429的中间件没有生效,该中间件继承自默认的重试中间件,优先级510,默认重试中间件是500,理论上应该是生效的,可是调试的模式下程序不会在断点处暂停,也没输出我定义的log,是有什么我没考虑到吗
数字越小优先级越高,
不,老师我很确定,对于process response是优先级越大越优,会被更晚加载但是被更早执行,我这个问题是因为retry中间件优先级是550,不是500,看了一遍源码才发现网上给的那个优先级是不对的
好的 你这里的中间件是pipeline的还是download的中间件? 如果前一个中间件不返回可能造成后续的中间件没有机会继续处理
downloader的
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15