在终端中 scrapy shell 如何避开302重定向呢？

Answer 1

bobby 2019-10-23 14:07:35

避开时候什么意思？ 是不让对方返回302还是返回302之后自己添加处理逻辑？

• 提问者 子辰兄 #1

  就是我想用shell做爬取前的网页元素抓取测试，  但是每次shell调试的拉钩网，总是给我返回302  response抓取失败全是空列表，这种情况有没有什么办法呢

• bobby 回复 提问者 子辰兄 #2

  给scrapy shell 加上 user-agent。参考命令：scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0" https://www.lagou.com/zhaopin/Python/?labelWords=label

• 提问者 子辰兄 #3

  非常感谢！