scrapyd分布式消耗的是安装了scrapyd服务器端的网络和其他资源吗？

Question

我用selenium后发现浏览器是在安装了scrapyd的服务器端运行的，这样说来的话消耗的只是服务器端的资源吗？那多点分布式的优势在于哪里呢（分布式只是在于提取格式化数据而已吗）？还是可以设置消耗客户端这边的资源的？

Answer 1

bobby 2019-04-20 18:31:34

scrapyd 客户端不会消耗任何资源，因为代码都是运行在服务器的，分布式的优点就是可以合理利用各个服务器的资源，比如cpu，比如ip，比如内存等都是各个服务器的资源，分布式可以利用这些资源

• 提问者 玖河 #1

  嗯，刚开始我把服务端和客户端弄反来理解了，我以为scrapyd服务器也是像scrapy-redis一样属于调度功能去了，其实scrapyd是客户端功能。

• bobby 回复 提问者 玖河 #2

  scrapyd 既有服务端也有客户端，服务端复制和scrapy的客户端通信