如果老师能详细讲解一下分布式爬虫的部署就好了

Question

小白的我对分布式有太多的疑点了，特别想知道怎么在多台主机上如何部署爬虫并进行管理。老师只是讲解了Scrapy-Redis的源码，没有深入去利用一个项目去讲解多台主机部署爬虫并抓取，稍微有一点点失望，现在毕设要求实现分布式爬取，后面分布式的思路不是很清晰。不过老师之前的内容讲得很不错，颇有收获，很是感谢

Answer 1

bobby 2019-01-22 15:55:08

分布式爬虫部署你只需要在多台服务器上启动就行了，因为这个爬虫是从redis中获取的url进行抓取，所以多台服务器上的redis连接配置到同一台服务器上的redis连接就行了，这样就完成了ur的统一调用，但是抓取逻辑是分布到各个服务器的

• 提问者 HugoL #1

  老师，我想请教一下怎么将Scrapyd对接Docker，如果每台主机都要配置Scrapyd和环境就太麻烦了

• bobby 回复 提问者 HugoL #2

  你可以看看这个项目 https://github.com/aciobanu/docker-scrapy