scrapyd部署scrapy后无法关闭爬虫

Question

curl http://localhost:6800/cancel.json -d project=TaoBaoSpider -d job=xxx，老师您好，我通过scrapyd部署并运行了scrapy项目，但是通过以上命令却无法取消当前爬虫,scrapyd服务器后台仍显示正在爬去

Answer 1

bobby 2017-08-29 10:48:15

亲 你部署的是scrapy-redis的爬虫 还是直接就是scrapy的爬虫？

• 提问者 lixing_0001 #1

  是scrapy-redis的爬虫。

• bobby 回复 提问者 lixing_0001 #2

  scrapy-redis不能停止，因为scrapy-redis是从redis队列中不停的读取数据， 没有处理中断信号， 如果需要停止scrapy-redis的话 需要自己去修改一下源码