采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
我在本地运行带BloomFilter的scrapy-redis项目,结果运行内存一下子就10多g,难怪服务器上的redis会自动关闭,我本地的redis都是10g怎么不崩溃,老师实在是讲的不是很清楚,有点失望
你把bloomfilter的初始化capacity数量设置小一点 ,默认设置的很大 会预分配很多内存,课程中讲解过原理。不算我讲解的不清楚吧。
非常感谢!
我想要自己知道它到底用了多少内存,这里的代码不是准确的
我用RedisDesktopManage查看过
每个块512m内存,但是你这个会分配很多个块
占用多少内存 你看一下bloomfilter的源码 打个断点就知道了啊。内部变量会计算需要申请多少个512内存块
这样的scrapy项目实战根本就没有实战性
老师课讲的很好 有些知识需要自己领悟 而不是照猫画虎
我很认真的,出现了很多问题都是我自己解决的,我提的问题只是我用了很长时间都没有解决的,不要说照猫画虎视频都是很认真看的,而且这些问题都是我自己测试的
如果出现问题不能证明实战性差吧。
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15