老师，bloomfilter去重的指纹也是放到redis里去的吧？

Question

老师，bloomfilter去重的指纹也是放到redis里去的吧？

Answer 1

bobby 2019-07-03 10:35:36

可以这样理解，其实就是将指纹映射到一个位置上而已

• 提问者 Jazz_Qi #1

  去重指纹是不是就是在redis-cli里面输入keys *后返回的xxx:dupefilter？
  
  想再问一下那个xxx:requests是什么？是不是也是不同爬虫节点存的未爬请求？可以由不同节点拿去爬的？

• bobby 回复 提问者 Jazz_Qi #2

  是的， requests是等待排队需要进一步抓取的url，这个可以由不同节点的爬虫去获取

• 提问者 Jazz_Qi 回复 bobby #3

  谢谢老师