请教老师一个问题

Question

请问老师，我已经成功搭建起搜索引擎，但还是有许多地方不是很明白，我想问一下我们构建的搜索引擎所用到的数据是分布式爬虫爬取的吗，分布式爬虫与搜索引引擎之间的联系是怎样的

Answer 1

bobby 2020-04-14 17:33:30

搜索引擎网站的逻辑和分布式爬虫是两个服务，也是分离的，爬虫停止了不应该影响网站的搜索，无非就是无法搜索最新的数据而已，两个服务通过es交互，也就是是爬虫将数据入库到es中，django系统从es中进行数据的检索

• 提问者 weixin_慕无忌4471830 #1

  是不是就是说如果我想把爬虫改造为分布爬虫只需要在scrapy的setting 里面做一些修改然后把scrapy分布式爬虫搜取的信息输入elasticsearch 中就可以了

• bobby 回复 提问者 weixin_慕无忌4471830 #2

  是的 分布式爬虫使用scrapy-redis 不要直接使用官方的scrapy