关于分布式问题

Question

老师，请问使用多台机器（不在一个IP）进行分布式爬取，redis的连接是哪里配置？是这里吗和settings这个有什么区别？

我记得我在Windows下的redis是没有用户名和密码的，那这里的用户名和密码怎么弄呢？

Answer 1

提问者 xmzls 2017-08-22 17:29:16

老师请看这个错误

• bobby #1

  是不是你没有在你的redis中配置密码 但是你的url中确配置了密码呢？

• 提问者 xmzls 回复 bobby #2

  redis我已经使用命令：CONFIG SET requirepass "密码"设置过密码，并且AUTH 密码，也成功。应该不是这个问题。而且我第一次lpush jobbole:start_ursl 值的时候，他明显检测到值了然后往下执行的。但是没过多长时间就出现这个错误了

• bobby 回复 提问者 xmzls #3

  我估计这是redis的bug， 你可以试试重启redis 或者将密码设置到配置文件中 然后重启redis试试

Answer 2

bobby 2017-08-21 10:00:20

URL 的格式为:

redis://:password@hostname:port/db_number

目前redis还不支持用户名 直接配置密码即可

• 提问者 xmzls #1

  老师，按照你的格式，配置了，前面jobbole:start_urls输入的时候，可以运行，但是爬虫跑着就出现这个错误了。错误截图情况我在这个问题下，添加的回答。麻烦看一下