Scrapy中深度优先如何实现的priority权重？

Question

官方文档中好像说的scrapy默认调度是先进后出的深度优先，但是每个请求又都可以设置权重，那么他实现的原理是怎样的？和scrapyredis默认调度使用的优先级队列又有什么区别？

Answer 1

bobby 2019-04-23 18:36:08

首先先进先出就是queue的的方式。因为queue就是先进先出，scrapyredis和scrapy本身都是有queue和优先级队列两种模式的，所以两者这点上没有区别，只是scrapy的优先级队列使用了redis来实现而已