设置IP代理爬取知乎被拒绝连接

Question

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

class proxyMiddleware(object):     def process_request(self , request , spider):         iptype = re.match("https|http" , request.url).group()         proxy_ip = self.get_random_ip(iptype)         proxy_user_pass = "18520864631:150145lqfli"         encoded_user_pass = base64.b64encode(proxy_user_pass.encode(encoding='utf-8')).decode()         request.meta["proxy"] = proxy_ip         request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass       def process_response(self , request , response , spider):         #处理response         if response.status != 200 :             iptype = re.match("https|http", request.url).group()             proxy_ip = self.get_random_ip(iptype)             request.meta["proxy"] = proxy_ip             return request         return response       def get_random_ip(self , type):         with open("proxy_ip.txt" , "r") as rf:             ip_str = rf.read()         ip_list = ip_str.split(',')         ip_list_http = []         ip_list_https = []         for ip in ip_list:             if ip.startswith("http://"):                 ip_list_http.append(ip)             elif ip.startswith("https://"):                 ip_list_https.append(ip)         if type == "http":             ip = random.choice(ip_list_http).strip()             return ip         else:             ip = random.choice(ip_list_https).strip()             return ip

Answer 1

bobby 2018-06-01 10:36:28

是后续所有的访问都会这样 还是某一个url会出现这种情况呢

• 提问者 慕设计9544645 #1

  大多数情况是第一个start_request就提示连接失败，不过偶尔会出现提交question_url时返回200 ， 但到了请求answer时就又提示连接失败了，这应该是西刺上的IP代理可用率低的原因吧

• bobby 回复 提问者 慕设计9544645 #2

  对 西刺的ip代理可用性很低，建议使用收费代理