请稍等 ...

关于分布式爬虫

老师，打造搜索引擎是不是没用到分布式爬虫，我看你讲分布式爬虫都是在ScrapyRedistest那个项目里讲的

qq_好急好急_0 2019-04-24 23:48:02

源自：10-6 scrapy-redis源码剖析-dupefilter.py-

699

收起

提交取消

1回答

bobby 2019-04-26 09:16:39

是的，课程中讲解分布式爬虫是通过分析scrapy-redis的源码来达到的，但是入库es等逻辑都是基于之前的scrapy来完成的，后续的逻辑大家直接将两者代码结合一下就行了，因为主要的原理我都已经讲解到了

0 回复有任何疑惑可以回复我~

提问者 qq_好急好急_0 #1
```
非常感谢！
```
回复有任何疑惑可以回复我~ 2019-04-26 13:23:51

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

老师下一门的Python爬虫系列实战课程是《高级爬虫工程师》？

请教老师一个问题

关于分布式爬虫的管理问题。

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5796 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.2k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载