请稍等 ...

为什么不向redis里面添加start_url时scrapy会阻塞，

scrapy直到redis有起始url时才开始爬取，源码这里没找到相关代码

慕斯0988524 2018-03-07 14:33:58

源自：10-8 scrapy-redis源码分析- scheduler.py、spider.py-

775

收起

提交取消

1回答

bobby 2018-03-09 14:14:56

不添加 scrapy会阻塞在从redis取url的地方

0 回复有任何疑惑可以回复我~

提问者慕斯0988524 #1
```
是在RedisMixin里的start_requests方法和next_requests方法中吗？
```
回复有任何疑惑可以回复我~ 2018-03-09 14:40:41
bobby 回复提问者慕斯0988524 #2
```
对 是这里
```
回复有任何疑惑可以回复我~ 2018-03-12 11:00:29

相似问题

redis阻塞怎么办？

scrapy-redis 的start_url是怎么实现阻塞的？

线程阻塞状态疑问

scrapy redis部署和scrapy的部署有什么不同？

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5827 人
解答问题 6293 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

5.3k 30

MysqlTwistedPipline的对象没有cursor属性

2.9k 18

知乎answer提取不到

1.5k 18

为什么知乎数据导入不到MySQL数据库中？

1.8k 15

运行 scrapy crawl jobbole 报错

3.4k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号