请求百度验证IP是否可用，一直有exception 截屏

Question

debug 运行了几次都是 invalid ip and port  感觉代码没有问题，好像请求百度是不是失败了？

Answer 1

慕雪8012440 2018-02-26 21:43:00

这样改即可。

Answer 2

提问者 SingleVergil 2017-09-14 15:03:22

好多IP都是不可用的   这是正常的吗 ？   我都怀疑是不是  这块代码写的有问题 

http_url = 'http://www.baidu.com/'  # https????????????  http?https?
proxy_url = 'http://{0}:{1}'.format(proxy_ip, proxy_ip_port)   # https://{0}:{1}
try{
   proxy_dict = {
       'http': proxy_url,
   }
   response = requests.get(http_url, proxies=proxy_dict)
   print('请求百度验证IP返回成功')

except .....

• bobby #1

  这种免费的ip代理 用的人太多 确实不稳定， 你可以搜索一下收费的代理试试，代码是没有问题的， 只是有些网站需要使用https代理

Answer 3

提问者 SingleVergil 2017-09-14 13:51:41

视频中 def judge_ip(self, proxy_ip, proxy_ip_port):
   #判断ip是否可用  访问百度查看IP是否可用
   http_url = 'http://www.baidu.com/'  # http
   proxy_url = 'http://{0}:{1}'.format(proxy_ip, proxy_ip_port)

结果验证了好多都是失败的  是不是我写的代码有问题

最后改成 

def judge_ip(self, proxy_ip, proxy_ip_port):
   http_url = 'https://www.baidu.com/'  # http
   proxy_url = 'https://{0}:{1}'.format(proxy_ip, proxy_ip_port)

然后随机验证了几个都是  返回200  debug没有exception

我现在有点晕了：就是到底是验证某个IP就应该不可用，还是说我的代码有我问题 嗯

• bobby #1

  百度已经不支持http访问了 改成https访问就行了

Answer 4

提问者 SingleVergil 2017-09-14 13:40:24

为什么 http_url = 'http://www.baidu.com/'
改成  http_url = 'https://www.baidu.com/'

http--->https 就正常了  scrap 是不是http  https 都支持？  这里有点疑问  老师！

• 提问者 SingleVergil #1

  看你的视频 http 是正常的  有些疑问！我这里每个入库的IP判断都是 exception 显示 连接拒绝，改成https就正常了  ！

Answer 5

提问者 SingleVergil 2017-09-14 13:39:55

为什么 http_url = 'http://www.baidu.com/'
改成  http_url = 'https://www.baidu.com/'

http--->https 就正常了  scrap 是不是http  https 都支持？  这里有点疑问  老师！

• bobby #1

  scrapy是http和https都支持的 这个你不用担心