关于分布式爬虫

Question

老师，打造搜索引擎是不是没用到分布式爬虫，我看你讲分布式爬虫都是在ScrapyRedistest那个项目里讲的

Answer 1

bobby 2019-04-26 09:16:39

是的，课程中讲解分布式爬虫是通过分析scrapy-redis的源码来达到的， 但是入库es等逻辑都是基于之前的scrapy来完成的，后续的逻辑大家直接将两者代码结合一下就行了，因为主要的原理我都已经讲解到了

• 提问者 qq_好急好急_0 #1

  非常感谢！