请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

请问老师scrapyd启动爬虫的方式可以改变吗?

问题:课程中讲的是这样启动scrapyd上的爬虫

curl http://localhost:6800/schedule.json -d project=default -d spider=somespider

但是我的scrapy爬虫是通过自己写的脚本文件启动的 ,如图:
图片描述

我启动爬虫只需要运行main.py就可以了,
请问老师:我怎么能够用scrapyd执行我的main.py文件达到启动爬虫的目的?

正在回答 回答被采纳积分+3

1回答

bobby 2018-09-12 09:49:50

scrapyd还没有指定执行命令的用法,不过你的main里面也是执行的crawl命令啊。两者完全一样啊 为什么一定要执行main文件呢

0 回复 有任何疑惑可以回复我~
  • 提问者 小鱼鱼0430 #1
    我里边是这么执行的:
    ```
    process = CrawlerProcess(settings)
process.crawl(spider, **{'name': name})
process.start()
    
    ```
    回复 有任何疑惑可以回复我~ 2018-09-12 10:37:38
  • 提问者 小鱼鱼0430 #2
    process = CrawlerProcess(settings)

    process.crawl(spider, **{'name': name})

    process.start()
    回复 有任何疑惑可以回复我~ 2018-09-12 10:38:59
  • bobby 回复 提问者 小鱼鱼0430 #3
    目前scrapyd还不支持这样做
    回复 有任何疑惑可以回复我~ 2018-09-12 14:25:17
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信