scrapy暂停并重启服务器 布隆过滤器去重

Question

老师您好，服务器重启后，内存数据丢失，如果是使用了布隆过滤器去重，在重启后布隆过滤器能恢复吗？怎么实现？

Answer 1

bobby 2018-04-28 15:48:57

布隆过滤器 在内存中 电脑重启就没有了，所有有两种方法 第一种 用redis作为bloomfilter的去重内存，redis会保证数据不丢失 第二种是重启的时候从数据库中恢复已经存在的数据到内存中？建议采用第一种

• 提问者 慕丝8011162 #1

  非常感谢！