请稍等 ...

如何同时启动多个scrapy crawl 呢

不用 scrapyd, 比如我有三个账户, 我想在同一台机器上, 同时启动
多个scrapy crawl spider , 如何做到呢?
实际项目中, 也有这种需求吧

qq_老虎_daniu 2022-03-15 17:05:08

源自：1-1 python分布式爬虫打造搜索引擎简介

523

收起

提交取消

1回答

bobby 2022-03-17 21:33:19

main文件中的命令中运行多个crawl命令不就启动多个了吗？

0 回复有任何疑惑可以回复我~

相似问题

怎样在main里面一次性运行多个spider？

scrapy+selenium滚动翻页

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

scrapy多进程如何实现

启动scrapy crawl jobbole -s JOBDIR=job_info/001报错

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5803 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.9k 30

MysqlTwistedPipline的对象没有cursor属性

2.6k 18

知乎answer提取不到

1.2k 18

为什么知乎数据导入不到MySQL数据库中？

1.5k 15

运行 scrapy crawl jobbole 报错

3.0k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号