采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
redis分布式的架构,老师能给一个具体的说明吗?用什么系统?window还是linux?最后写成的python程序在哪里 运行?
因为redis分布式非常简单了 我已经讲解了源码了 大家应该能懂了 部署在任何服务器都无所谓 只需要在任何服务器上启动爬虫就行了 但是多个爬虫要获取同一个redis的连接
老师的意思是说,在多台机器上部署爬虫,但是redis只有一个吗?
对 redis只有一个实例 scrapy-redis只需要在各个服务器上启动就行了 但是要注意 mysql数据库入库需要公用一个实例
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.6k 18
1.2k 18
1.4k 15
2.8k 15