请稍等 ...

scrapy-redis 的start_url是怎么实现阻塞的？

在爬虫启动的时候，如果还没有向redis里放入初始url，爬虫不会结束而是会阻塞住，想问一下源码中哪个地方实现的阻塞？

烈焰卡卡 2018-05-31 09:42:26

源自：10-8 scrapy-redis源码分析- scheduler.py、spider.py-

565

收起

提交取消

1回答

bobby 2018-06-01 11:01:12

会阻塞的阻塞在从redis取出url的地方是由redis完成的阻塞

0 回复有任何疑惑可以回复我~

提问者烈焰卡卡 #1

但是我看源码中用的是lpop，这种取法不是应该空的话就直接返回nil了么

回复有任何疑惑可以回复我~ 2018-06-01 15:16:08

bobby 回复提问者烈焰卡卡 #2
```
你可以在该代码处打个断点调试一下看看
```
回复有任何疑惑可以回复我~ 2018-06-04 09:53:45

相似问题

redis阻塞怎么办？

为什么不向redis里面添加start_url时scrapy会阻塞，

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

老师，scrapy使用代理api

线程阻塞状态疑问

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5788 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.7k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.3k 15

运行 scrapy crawl jobbole 报错

2.7k 15

查看更多本课问答

意见反馈帮助中心 APP下载