搜索引擎是不是一个大型爬虫？

Answer 1

bobby 2019-09-10 11:31:45

搜索引擎可以分得很细致，比如百度是一个搜索引擎的网站，百度这种网站一定是要在后台开发一套搜索引擎，但是搜索引擎本身和爬虫没有关系，但是要做出百度和google这种搜索引擎网站的话，那么第一步就是要开发爬虫爬取全网数据，第二步才是如何快速准确的通过搜索引擎搜索出数据来， 目前来说，百度和google的爬虫数量一定非常强大，但是从技术上来讲，不一定百度的爬虫技术就很强大，因为百度和google已经强大到不需要主动去爬取别人的数据了，比如你是动态网站，百度也不会专门做爬虫去解决动态网站的数据问题，你是动态网站百度爬不到就爬不到，不过这样你的网站的seo权重就很低，所以很多网站为了让百度容易爬到都会做静态网页，对于大型网站比如淘宝、京东等本来就不想让百度搜索到，所以这些网站不用去迎合百度的爬虫

• 提问者 慕田峪7937867 #1

  非常感谢！多谢老师回答

Answer 2

Ethreal 2019-09-09 10:56:30

是的，可以这么理解，本身互联网的最大流量都是来自于爬虫