请稍等 ...
×

采纳答案成功！

向帮助你的同学说点啥吧！感谢那些助人为乐的人

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？
慕慕7513118 2022-07-01 23:36:09
源自：1-4  【讨论题】：爬虫工程师该何去何从？
405
收起

正在回答 回答被采纳积分+3

1回答

小布_老师 2022-07-13 10:35:05

部署scrapyd吧，再套个管理界面，就可以了。

默认可以同时启动的爬虫是4或者8个

0 回复 有任何疑惑可以回复我~
收起回答
取消 回复

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？ 我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？
756 0 3
老师，你是又开了一门爬虫课？
670 1 5
scrapy能运行多个爬虫吗？
808 0 4
关于爬虫发展前景
959 0 4
scrapyd部署scrapy后无法关闭爬虫
1357 0 1

登录后可查看更多问答，登录/注册

问题已解决，确定采纳
还有疑问，暂不采纳
Python高级爬虫实战-系统掌握破解反爬技能 挑战高薪
  • 参与学习       462    人
  • 提交作业       304    份
  • 解答问题       100    个

加密破解、逆向重构、分布式框架及海量存储方案

了解课程

本课精华内容

问答 作业

老师 我已经模拟了加密密码登陆还是失败了

733 15

本节提到的版本号

981 14

对于汉字的反爬如何解决呢？

778 9

老师，Cookie和IP有关系吗？

1.1k 6

无法在运行窗口搜索关键词“钱的那个符号”

382 5

查看更多本课问答
意见反馈 帮助中心 APP下载
官方微信