老师,请问拉钩这里会出现这么多的重定向了?

Question

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://m.lagou.com/jobs/4265068.html> from <GET https://www.lagou.com/center/job_4265068.html?m=1>

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.lagou.com/utrack/trackMid.html?f=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F3946674.html&t=1550386873&_ti=1> from <GET https://www.lagou.com/jobs/3946674.html>

出现这种类似的重定向该怎么处理呢？
看到评论去有人发表过相同的提问，但是都没有贴出解决办法

Answer 1

丹阳_不落 2019-02-17 17:47:03

爬的太快了，设置一下爬取速度，随机改一下UA

• 提问者 slairmy #1

  DOWNLOAD_DELAY=5 限制了爬取速度，同样在下载中间件中设置了随机UA和 ip 代理，总是会出现这种重定向