请稍等 ...

scrapyd 这个在实际工作中也是很常用吗？是不是都是这样部署的？还有神马其他方式部署吗？

scrapyd 这个在实际工作中也是很常用吗？是不是都是这样部署的？还有神马其他方式部署吗？

SingleVergil 2017-10-06 23:48:18

源自：16-1 scrapyd部署scrapy项目

677

收起

提交取消

1回答

bobby 2017-10-09 09:48:01

目前scrapyd是用的比较多的但是一般如果爬虫比较多的话爬虫的管理就会比较重要， scrapyd是用来部署的但是爬虫的监控这些需要自己去做，一般用django+scrapy来做爬的管理比较方便，但是即使是用django去管理爬虫很多人也是通过scrapyd命令去启动和停止爬虫的

0 回复有任何疑惑可以回复我~

相似问题

centos7爬虫部署

用scrapyd 部署.启动爬虫报错FileNotFoundError

关于并发和实际部署的问题

请问这个项目怎么部署到实际的云服务器上？课程里面好像一直都是本地服务器。这个具体流程是怎样的啊？

老师,线上部署有点疑问,不用ROOT.war部署换成xxx.war部署遇到了问题

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5793 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载