请稍等 ...

bloomfilter效率

应用bloomfilter后，大概能给redis节约百分之多少的内存，效率如何？
老师能给一个大概的量化的结果吗

Homo_sapiensQ 2023-01-17 03:13:54

源自：10-9 集成bloomfilter到scrapy-redis中

315

收起

提交取消

1回答

bobby 2023-01-18 11:47:54

课程给的源码中提到过哪里可以看bloomfilter需要实现分配的内存量，如果不使用bloomfilter，假设每个url经过md5编码后是50个字节，那么假设10亿个，就是 10亿*50 = 500亿字节，大概46G内存

0 回复有任何疑惑可以回复我~

相似问题

bitmap VS bloomfilter

多维BloomFilter怎么实现

老师请问下我看到一个代替bloomfilter的算法

Bloom Filter 原理是什么？

CopyOnWrite 的add也使用了lock锁，那么他为什么会比之前的vector或者Collections.synchronize这些效率高呢？

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5793 人
解答问题 6278 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答

意见反馈帮助中心 APP下载