scrapy+redis，抓取结束后，程序一直处于等待状态

Question

我们在运行 scrapy 的 spider 之后，然后在控制台输入 redis-cli 代码，scrapy 就开始抓取数据并保存到 redis数据库，当数据抓取完成之后，控制台一直处于等待状态，如何让Scrapy 在抓取完数据之后，自动结束，同时在结束之后调用其它Python代码呢？谢谢。

Answer 1

提问者 笑看风云号 2017-07-13 10:27:34

    def post_news(self,spider):
        # print("当前蜘蛛的 redis_key ：" , spider.redis_key)
        # print("当前蜘蛛的 name ：" , spider.name)

        key_requests = spider.redis_key.split(":")[0] + ":requests"
        requests_len = self.conn.zcard(key_requests)

        key_start_urls = spider.redis_key.split(":")[0] + ":start_urls"
        start_urls_len = self.conn.llen(key_start_urls)

        if requests_len == 0 and start_urls_len == 0 :
            print("爬虫处于等待状态 开始")
			……执行代码……
            print("爬虫处于等待状态 结束")
            end_time = datetime.datetime.now().strftime(SQL_DATETIME_FORMAT)
            print("采集开始时间：", spider.start_time)
            print("采集结束时间：", end_time)

首先在 spider 空闲的时候 执行该函数，然后在该函数里面读取 redis 服务器里面对应的 start_urls 和 requests 列表的长度，当  start_urls 和 requests 列表的长度等于 0 的时候 我就执行代码，如果不为 0  就不执行，不知道你说的 “用redis的命令判断request队列的长度”的代码是否是这样实现的呢？或者 说有别的更方便的实现方式呢？能否贴下参考代码？？？

Answer 2

bobby 2017-07-12 09:59:28

这里我有个疑惑 为什么要让爬虫结束呢？ 如果队列为空爬虫就会一直等着队列有数据就直接开始爬取， 这样不是很好么， 停止爬虫有什么好处呢

如果一定要爬虫停止可以修改一下源码中从request队列中取数据的逻辑修改为判断队列是否为空， 如果为空几秒再判断一下如果还是为空就直接退出爬虫就行了

• 提问者 笑看风云号 #1

  我在下面写了一个扩展，用来判断 spider 是否处于空闲状态，但是这样我觉得还不够，我觉得应该继续判断 request 队列是否为空，但是 判断 request 队列是否为空的代码如何写呢？

• bobby 回复 提问者 笑看风云号 #2

  判断为空很简单啊 直接使用redis的命令判断request队列的长度啊

• 提问者 笑看风云号 回复 bobby #3

  我现在贴上自己写的代码，麻烦老师看看是否合理。谢谢。

点开查看后面1条评论