scrapy 代理ip问题

Question

老师，这有个问题，在 middleware 里写了 RandomProxyMiddleware类后，是不是要添加到 settings 里面的DOWNLOADER_MIDDLEWARES 才能更换 ip，如果这样，我尝试了下，它会一直在那里更换 ip，测试 ip 是否可行，不会去爬取了。我应该怎么做？

Answer 1

bobby 2019-03-01 18:14:55

这里的逻辑是如果某个ip可用就会直接return了， 你可以debug看看是哪个地方的逻辑问题

• 提问者 慕盖茨7348004 #1

  非常感谢！

Answer 2

bobby 2019-02-27 18:32:35

是的 修安排配置到DOWNLOADER_MIDDLEWARES中，你说的一致更换ip是什么意思 是因为ip不可用吗?

• 提问者 慕盖茨7348004 #1

  不是，我调试的时候，它测试到某个ip可行后，我以为它会用这个ip去发出request，但是它依然继续检测其余的ip，就是不停的在执行那个 get_random_ip 函数。