为什么redis服务会给我返回一个空的结果,导致redis服务关闭

Question

运行crawl爬虫,socket返回空字符串,redis服务就关闭了,根本爬取不了呀

Answer 1

bobby 2018-05-18 11:49:40

1. 首先你查询的这个值确实在redis中没有吗？ 为什么会给你返回空字符串？
   

2. 你怎么确定返回空字符串后redis会关闭？ client是不太可能有权限去关闭server的，要不然漏洞就太大了。你是返回空字符串以后你就用redis的client去连接测试过吗？
   

• 提问者 TT2_X #1

  是redis内存过大导致服务器卡机一直连接不上就出现这样的情况

• bobby 回复 提问者 TT2_X #2

  def __init__(self, capacity=10000000, error_rate=0.00000001, conn=None, key='BloomFilter'): 这个是bloomfilter源码中的初始化 你把capacity 改小一点 以及把error_rate 改大一点 减少内存预先分配

• 提问者 TT2_X #3

  非常感谢！

点开查看后面4条评论

Answer 2

提问者 TT2_X 2018-05-16 14:16:54

request对象序列化保存到redis会不会爆炸

Answer 3

提问者 TT2_X 2018-05-15 20:52:50

这个问题困扰我一天了

Answer 4

提问者 TT2_X 2018-05-15 20:45:19

这个到底是redis的错还是bloomfilter的错?

Answer 5

提问者 TT2_X 2018-05-15 20:42:28

scrapy-redis集成bloomfilter只能在本地127.0.0.1才不会出错,只要连接公网上的会出错,京东云和阿里云都试了,一样的错,这个问题到底怎么解决?

Answer 6

提问者 TT2_X 2018-05-15 18:44:02

老师我注释你在dupefilter中添加的代码过后就没有报错,但是bloomfilter怎么集成进去

Answer 7

提问者 TT2_X 2018-05-15 13:05:01

我在本地用redis服务器可以成功运行,在远程连接服务器上的redis的时候会失败,远程的服务的redis我是可以连接成功的,但是就是会出现我所提的问题

Answer 8

提问者 TT2_X 2018-05-15 12:54:08

我lpush啦