请稍等 ...
×

采纳答案成功！

向帮助你的同学说点啥吧！感谢那些助人为乐的人

bloomfilter是把所有的url都放到redis里去重后再去分发下载吗
幕布斯7534782 2018-05-18 16:13:07
源自：10-9  集成bloomfilter到scrapy-redis中
638
收起

正在回答 回答被采纳积分+3

1回答

bobby 2018-05-21 11:17:27

对 通过redis去重 然后将不重复的数据放到redis中

0 回复 有任何疑惑可以回复我~
收起回答
取消 回复

相似问题

关于去重的问题
833 0 3
为什么redis服务会给我返回一个空的结果,导致redis服务关闭
1685 0 15
按步骤 安装了yyyyttttwwww/redis ，创建了容器，进去后usr下面压根没有redis的目录
790 1 7
关于去重的两点疑惑
782 0 1
老师，bloomfilter去重的指纹也是放到redis里去的吧？
653 0 4

登录后可查看更多问答，登录/注册

问题已解决，确定采纳
还有疑问，暂不采纳
Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课
  • 参与学习       5788    人
  • 解答问题       6278    个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答 作业

Missing argument grant_type

4.7k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.3k 15

运行 scrapy crawl jobbole 报错

2.7k 15

查看更多本课问答
意见反馈 帮助中心 APP下载
官方微信