请稍等 ...

scrapy-redis 的start_url是怎么实现阻塞的？

在爬虫启动的时候，如果还没有向redis里放入初始url，爬虫不会结束而是会阻塞住，想问一下源码中哪个地方实现的阻塞？

烈焰卡卡 2018-05-31 09:42:26

源自：10-8 scrapy-redis源码分析- scheduler.py、spider.py-

617

收起

提交取消

1回答

bobby 2018-06-01 11:01:12

会阻塞的阻塞在从redis取出url的地方是由redis完成的阻塞

0 回复有任何疑惑可以回复我~

收起回答

提问者烈焰卡卡 #1

但是我看源码中用的是lpop，这种取法不是应该空的话就直接返回nil了么

回复有任何疑惑可以回复我~ 2018-06-01 15:16:08

bobby 回复提问者烈焰卡卡 #2
```
你可以在该代码处打个断点调试一下看看
```
回复有任何疑惑可以回复我~ 2018-06-04 09:53:45

相似问题

redis阻塞怎么办？

为什么不向redis里面添加start_url时scrapy会阻塞，

线程阻塞状态疑问

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

老师，scrapy使用代理api

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5807 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.9k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.3k 18

为什么知乎数据导入不到MySQL数据库中？

1.5k 15

运行 scrapy crawl jobbole 报错

3.0k 15

查看更多本课问答

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

scrapy-redis 的start_url是怎么实现阻塞的？

正在回答回答被采纳积分+3

1回答

相似问题