采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
亲 如果你这个是中间件的话 每个request都会经过这个函数处理, 如果都是同一个ip的话 那就是random取到了同一个ip 也有可能是你这个302或者请求失败的时候 直接scrapy发起了多次尝试相同请求 这个时候request都是一样的了
非常感谢!
如果是这个302或者请求失败的时候 直接scrapy发起了多次尝试相同请求的话,怎么把scrapy修改为尝试不同的请求呢?
https://stackoverflow.com/questions/22795416/how-to-handle-302-redirect-in-scrapy 你看看这个 302的时候 你最好是先搞懂原因 如果是定位到登录页面了 说明所有剩余的request可能都会被定向到登录页面, 这个时候你可以跳转到登录函数去实现登录逻辑
登录后可查看更多问答,登录/注册
带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎
4.8k 30
2.5k 18
1.1k 18
1.4k 15
2.8k 15