题目描述:
将爬虫和解析独立出来,这与 scrapy 只负责抓取和解析数据,数据抓取和解析后保存到 redis 或者 kafka 中,另起一个系统从这里读取到数据并保存到 mysql 中
思路点拨:
如何将数据的保存和抓取独立出来那么后期就非常方便扩展。比如两个服务分别使用不同的语言或者框架都可以
将爬虫和解析独立出来,这与 scrapy 只负责抓取和解析数据,数据抓取和解析后保存到 redis 或者 kafka 中,另起一个系统从这里读取到数据并保存到 mysql 中
如何将数据的保存和抓取独立出来那么后期就非常方便扩展。比如两个服务分别使用不同的语言或者框架都可以
数据加载中...