scrapy-redis如何将redis的items统一写入一个mysql

Question

scrapy-redis如何将redis的items统一写入mysql

Answer 1

bobby 2017-06-08 09:31:08

直接启动一个python进程不停的从redis中读取item然后写入到mysql即可

• 烈焰卡卡 #1

  老师，有两个问题。第一个是如何在取出来后能够反序列化成一个item类。第二个是有可能在不停取出的时候，某一个时刻redis里没有item了，但实际上爬虫还没看有爬取结束，是否需要用bpop这种形式把阻塞时间调长来解决？

• bobby 回复 烈焰卡卡 #2

  第一 反序列化的问题 建议你看一下scrapy-redis的源码 看看序列化是如何做的然后你就知道反序列化了， 第二个问题你可以调用redis的阻塞方法 知道有数据为止就行了