scrapy多进程如何实现

Question

老师好：scrapy多进程如何实现呢，在一个8核心的电脑上运行，只用了一个核心很浪费。如何才能将scrapy和多进程结合起来呢？

Answer 1

bobby 2018-01-02 09:42:26

为什么要开多进程呢？ 多进程对爬虫来说不会有性能的提升， 对于io型的系统来说你不管你用多少个cpu都不能提升性能 性能都会在io上和cpu无关 除非你是cpu密集型的系统比如图片处理 计算等

• 提问者 慕尼黑530398 #1

  我想用多个进程构成一个分布式的系统，和redis配合使用，老师这样可行么？

• bobby 回复 提问者 慕尼黑530398 #2

  你启动一次scrapy就是一个进程