scrapy能运行多个爬虫吗？

Question

老师我们公司有个爬虫项目，需要我爬取市面上20多个手机贷款app信息，前期我是每个app软件都单独写个爬虫文件进行爬取，一共写了20多个爬虫文件进行爬取数据，后面我在想能不能用scrapy写这些爬虫文件进行统一管理统一爬取数据，老师有没有什么好的思路或者方法，麻烦给我指点一下。

Answer 1

bobby 2019-04-07 11:33:55

scrapy本身也是每个爬虫单独有运行一个命令的，scrapyd可以配置远程命令去启动和管理多个爬虫，github上也有开源项目 scrapydart

Answer 2

Ethreal 2019-04-04 22:22:06

可以，你只要不同的spider就可以了， 同时跑的话，可能要注意下pipline的问题，这个课程都会讲到，主要熟悉scrapy 很容易写出来的

• bobby #1

  正解！

• 提问者 慕粉3167453 #2

  这个课程里有讲到吗？在哪一节