老师您好, scrapy设置代理后访问超时

Question

class RandomUserAgentProxyMiddleware(object):
    def __init__(self):
        self.ua = UserAgent()
        self.get_ip = GetIP()

    def process_request(self, request, spider):
        request.meta['proxy'] = 'https://59.62.40.50:48888'
        request.headers.setdefault('User-Agent', self.ua.random)

使用这个代理之后一直超时, 我直接使用requests没有问题

proxies = {
    'http': 'https://59.62.40.50:48888'
}
result = requests.get(quner_url, params=params, headers=headers, proxies=proxies, verify=False)

Answer 1

bobby 2018-04-04 13:27:01

你这里所说的request是指的scrapy中request还是requests？

• 提问者 weibo_飞的猪头_0 #1

  是第三方网络访问的模块Requests,  不是scrapy的

• bobby 回复 提问者 weibo_飞的猪头_0 #2

  我看了一下官方文档 确实改名称了， 应该是scrapy版本的问题 我需要确定一下

Answer 2

提问者 weibo_飞的猪头_0 2018-04-03 10:59:31

这个不是收费代理的问题,  requests直接使用是可以的, 我看看request代理源码, 然后middlewares改成request.meta['proxies']就可以了, 在网上找了看, 改成request.meta['http_proxy']也可以请求成功

• 慕粉4381165 #1

  帮了大忙了感谢！

Answer 3

bobby 2018-04-03 10:08:14

网上的免费代理不稳定， 你可以考虑使用收费代理