请稍等 ...

scrapy获取redis任务队列中的任务问题

老师我在企业中进行redis分布式爬虫的时候在取redis中取任务的时候特别满是什么原因啊越到后边越慢

1095

收起

提交取消

1回答

bobby 2018-12-18 15:39:39

你是说redis的队列数据越来越大吗？越来越慢是下载慢还是从redis中获取数据慢呢？

0 回复有任何疑惑可以回复我~

提问者慕田峪4128333 #1
```
取数据慢。redis固定数据 越到后边越慢
```
回复有任何疑惑可以回复我~ 2018-12-18 15:58:04

bobby 回复提问者慕田峪4128333 #2

redis是内存数据库，不会越来越慢的 你可以在redis从队列中取数据的前后加上时间点 打印一下获取的时间 看看是不是redis慢

回复有任何疑惑可以回复我~ 2018-12-20 16:28:56

宏任务微任务

登录后可查看更多问答，登录/注册

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

问答作业

4.4k 30

2.3k 18

817 18

1.1k 15

2.1k 15