使用Crawlera后，response.body为空，取不到信息

Question

老师您好。我按照课程内容完成了User-Agent设置和Crawlera的IP设置，去爬取大众点评网的信息，现在遇到一个问题。在我启用Crawlera之后，response.body基本上都是空的，提不出任何信息。反倒是我没启用Crawlera的话，大部分情况下response.body是正常的，可以取到信息，但是有一定几率会碰到403。请问这是什么原因呢？该如何解决？

PS：我已经尝试了设置DOWNLOAD_TIMEOUT为3000，以及设置DOWNLOAD_DELAY为1，均未能解决问题。

Answer 1

bobby 2018-04-16 11:24:15

应该是代理ip被识别为黑名单ip了 你换个其他ip代理试试呢

• 提问者 BigCarrey #1

  不是说Crawlera比一般IP代理的稳定性要高一些么？为了用这个我还花了25美金...而且，理论上讲，每次Request的时候Crawlera会更换一次IP，就算部分IP被封了，应该不会所有的IP都被封掉吧？我用Crawlera尝试了很多次，没有一次能获取到信息的，但是每次的状态码都是200，都正常...

• 提问者 BigCarrey #2

  刚才试了一下手动切换IP，发现确实有些IP可以获得正确结果，有些就不行。如果真的是IP被封禁的原因，该怎么处理呢？理论上讲不管用哪个IP代理，都有被封禁的可能。如果遇到这种被封禁的IP该怎样通过程序自动识别并切换呢？

• bobby 回复 提问者 BigCarrey #3

  你给我发个qq消息 我看看呢 442421039