如何将数据的保存和抓取独立出来?
1.2k
等6人参与

题目描述:

将爬虫和解析独立出来,这与 scrapy 只负责抓取和解析数据,数据抓取和解析后保存到 redis 或者 kafka 中,另起一个系统从这里读取到数据并保存到 mysql 中

思路点拨:

如何将数据的保存和抓取独立出来那么后期就非常方便扩展。比如两个服务分别使用不同的语言或者框架都可以

我的作业
去发布

登录后即可发布作业,立即

全部作业

数据加载中...

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号