如何将数据的保存和抓取独立出来?
299
等3人参与

题目描述:

将爬虫和解析独立出来,这与 scrapy 只负责抓取和解析数据,数据抓取和解析后保存到 redis 或者 kafka 中,另起一个系统从这里读取到数据并保存到 mysql 中

思路点拨:

如何将数据的保存和抓取独立出来那么后期就非常方便扩展。比如两个服务分别使用不同的语言或者框架都可以

我的作业
去发布

登录后即可发布作业,立即

全部作业

数据加载中...

意见反馈 帮助中心 APP下载
官方微信