为何要使用scrapyd部署

Question

老师好，学了了这一节，有一个疑问是，为何要使用scrapyd部署，使用scrapyd部署的目的或者说优势是体现在哪里，我们使用crawl，或者直接pycharm也可以运行起来爬虫（当然我说的是Windows下），那到底出于什么目的要使用scrapyd来运行爬虫？望解答

Answer 1

bobby 2017-07-31 09:24:35

当然直接crawl爬取 是我们看起来用起来最简单的方法了， 但是如果爬虫过多 后期维护成本就会比较大， 比如部署出去的多个爬虫是否都在正常运行， 如果某一个运行失败了 错误日志是什么？这些scrapyd都能帮我们完成， 我们为何不用呢 对吧