请稍等 ...

Scrapy-redis调度问题

老师您好，我想问一下。在新url入redis队列前，该如何调整他的优先级呢？

丶一夕夏 2017-06-05 10:24:57

710

收起

提交取消

1回答

bobby 2017-06-06 11:26:19

request里面有一个priority参数设置大一点就行了

0 回复有任何疑惑可以回复我~

提问者丶一夕夏 #1
```
是哪里的request redis队列中的？还是scrapy~redis源码中的。
```
回复有任何疑惑可以回复我~ 2017-06-06 12:07:34
bobby 回复提问者丶一夕夏 #2
```
这是你在yield request的类的时候 request有个参数
```
回复有任何疑惑可以回复我~ 2017-06-07 17:05:36

相似问题

scrapy redis部署和scrapy的部署有什么不同？

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

scrapyd部署scrapy后无法关闭爬虫

redis-scrapy 分布式爬虫之缓存问题

基于Scrapy-redis的爬虫，模拟登陆如何设置cookies

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5831 人
解答问题 6293 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

5.7k 30

MysqlTwistedPipline的对象没有cursor属性

3.1k 18

知乎answer提取不到

1.8k 18

为什么知乎数据导入不到MySQL数据库中？

2.0k 15

运行 scrapy crawl jobbole 报错

3.6k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号