请稍等 ...
×

采纳答案成功！

向帮助你的同学说点啥吧！感谢那些助人为乐的人

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？
慕慕7513118 2022-07-01 23:36:09
源自：1-4  【讨论题】：爬虫工程师该何去何从？
458
收起

正在回答 回答被采纳积分+3

插入代码

提交 取消

1回答

小布_老师 2022-07-13 10:35:05

部署scrapyd吧，再套个管理界面，就可以了。

默认可以同时启动的爬虫是4或者8个

0 回复 有任何疑惑可以回复我~
收起回答
取消 回复

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？ 我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？
893 0 3
老师，你是又开了一门爬虫课？
751 1 5
scrapy能运行多个爬虫吗？
856 0 4
关于爬虫发展前景
1129 0 4
请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗
834 0 5

登录后可查看更多问答，登录/注册

问题已解决，确定采纳
还有疑问，暂不采纳
Python高级爬虫实战-系统掌握破解反爬技能 挑战高薪
  • 参与学习       476    人
  • 提交作业       304    份
  • 解答问题       101    个

加密破解、逆向重构、分布式框架及海量存储方案

了解课程

本课精华内容

问答 作业

老师 我已经模拟了加密密码登陆还是失败了

795 15

本节提到的版本号

1.1k 14

对于汉字的反爬如何解决呢？

824 9

老师，Cookie和IP有关系吗？

1.2k 6

无法在运行窗口搜索关键词“钱的那个符号”

437 5

查看更多本课问答
微信客服

购课补贴
联系客服咨询优惠详情

 帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

 公众号

扫描二维码
关注慕课网微信公众号