关于爬虫类型以及搜索引擎类型的问题

Question

老师请问，我们学的这个爬虫，是分布式爬虫，那么他跟异步爬虫有什么关系呢。还有就是这个教程的搜索引擎，算是垂直搜索引擎呢，还是分布式搜索引擎。

Answer 1

bobby 2019-03-22 11:02:51

1. 异步爬虫的目的是为了增加高并发，因为一台机器如果代码写的不好的话，并发还是不高的，所以异步是为了提到单机的并发，但是单机并发毕竟还是能力有限的，所以很多时候还是需要分布式爬虫，利用多台服务器的性能提高并发
   

2. 教程中讲解的是elasticsearch，这个是搜索引擎技术，部分垂直和分布式的概念，本身elasticsearch是支持分布式的，垂直搜索引擎的概念是业务层的分类而已和技术无关