请稍等 ...

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

慕前端5101329 2020-06-02 15:46:12

源自：10-7 scrapy-redis源码剖析- pipelines.py、 queue.py-

843

收起

提交取消

1回答

bobby 2020-06-03 13:26:23

一般会使用scrapy-redis 因为配置性更好一些，中间过程可用性更好

0 回复有任何疑惑可以回复我~

提问者慕前端5101329 #1
```
是配置分布式的 scrapy-redis 么？
```
回复有任何疑惑可以回复我~ 2020-06-04 16:13:33
bobby 回复提问者慕前端5101329 #2
```
一般用分布式的时候少 主要是因为scrapy-redis可控性更高一些
```
回复有任何疑惑可以回复我~ 2020-06-05 16:50:28

相似问题

scrapyd部署scrapy后无法关闭爬虫

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

redis-scrapy 分布式爬虫之缓存问题

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

scrapy-redis怎么做增量爬取

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5793 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载