请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

为什么ip中间件不是一个yield请求启动一个代理ip,而是有时候一个yield请求重复启动的同一个中间件ip

正在回答

1回答

亲 如果你这个是中间件的话 每个request都会经过这个函数处理, 如果都是同一个ip的话 那就是random取到了同一个ip 也有可能是你这个302或者请求失败的时候 直接scrapy发起了多次尝试相同请求 这个时候request都是一样的了

0 回复 有任何疑惑可以回复我~
  • 提问者 慕先生0421411 #1
    非常感谢!
    回复 有任何疑惑可以回复我~ 2017-08-31 14:37:31
  • 提问者 慕先生0421411 #2
    如果是这个302或者请求失败的时候 直接scrapy发起了多次尝试相同请求的话,怎么把scrapy修改为尝试不同的请求呢?
    回复 有任何疑惑可以回复我~ 2017-08-31 14:39:44
  • bobby 回复 提问者 慕先生0421411 #3
    https://stackoverflow.com/questions/22795416/how-to-handle-302-redirect-in-scrapy 你看看这个 302的时候 你最好是先搞懂原因 如果是定位到登录页面了 说明所有剩余的request可能都会被定向到登录页面, 这个时候你可以跳转到登录函数去实现登录逻辑
    回复 有任何疑惑可以回复我~ 2017-09-01 10:22:45
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信