请稍等 ...

scrapy获取redis任务队列中的任务问题

老师我在企业中进行redis分布式爬虫的时候在取redis中取任务的时候特别满是什么原因啊越到后边越慢

慕田峪4128333 2018-12-17 22:09:52

源自：10-1 分布式爬虫要点

1369

收起

提交取消

1回答

bobby 2018-12-18 15:39:39

你是说redis的队列数据越来越大吗？越来越慢是下载慢还是从redis中获取数据慢呢？

0 回复有任何疑惑可以回复我~

收起回答

提问者慕田峪4128333 #1
```
取数据慢。redis固定数据 越到后边越慢
```
回复有任何疑惑可以回复我~ 2018-12-18 15:58:04

bobby 回复提问者慕田峪4128333 #2

redis是内存数据库，不会越来越慢的 你可以在redis从队列中取数据的前后加上时间点 打印一下获取的时间 看看是不是redis慢

回复有任何疑惑可以回复我~ 2018-12-20 16:28:56

相似问题

同步任务队列吗？

请问当队列满了之后，线程池会创建线程，那么新创建的线程还是会消费队列头的任务，刚提交的任务进任务队列，还是直接运行刚提交任务？

关于放异步任务和取异步任务时间问题

宏任务微任务

疑问：JS 中同步代码也要放到任务队列中吗？

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5807 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.9k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.3k 18

为什么知乎数据导入不到MySQL数据库中？

1.5k 15

运行 scrapy crawl jobbole 报错

3.0k 15

查看更多本课问答

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

scrapy获取redis任务队列中的任务问题

正在回答回答被采纳积分+3

1回答

相似问题