请稍等 ...

所有爬虫规则可以采用同一个Bloomfilter去重吗？

按照教程里面的步骤做了，但是如果是两个以上的爬虫的话就会创建两个以上的Bloomfilter做空间，这种情况怎么处理才能全部爬虫规则都使用一个Bloomfilter？

玖河 2019-03-21 19:16:41

源自：10-9 集成bloomfilter到scrapy-redis中

547

收起

提交取消

1回答

bobby 2019-03-25 13:05:31

你可以使用基于redis的bloomfilter，只要所有的爬虫的bloomfilter使用同一个就行了

0 回复有任何疑惑可以回复我~

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

老师，你是又开了一门爬虫课？

如何做好网络爬虫工程师

爬虫

课程6-4 调试拉钩网爬取url，response为302重定向为登录页面，没有进入调用callback函数parse_item，提取不到后续url

登录后可查看更多问答，登录/注册

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

参与学习 5808 人
解答问题 6290 个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答作业

Missing argument grant_type

4.9k 30

MysqlTwistedPipline的对象没有cursor属性

2.7k 18

知乎answer提取不到

1.3k 18

为什么知乎数据导入不到MySQL数据库中？

1.5k 15

运行 scrapy crawl jobbole 报错

3.0k 15

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号