scrapy shell 设置user-agent后 仍然提示302

Question

scrapy shell -s USER_AGENT=‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36’ https://news.cnblogs.com/n/711760/
仍然302
Redirecting (302) to <GET https://account.cnblogs.com:443/signin?ReturnUrl=https%3A%2F%2Fnews.cnblogs.com%2Fn%2F711760%2F> from <GET https://news.cnblogs.com/n/711760/>

Answer 1

bobby 2022-01-27 16:29:12

目前cnblogs变了规律了，所以详情页都需要登录才能访问了，所以如果你为了调试方便，需要自己登录一下cnblogs然后从浏览器中拿到cookie，然后将cookie放在scrapy shell中去拿到数据，还有另一个选择就是使用pythonJupyter Notebook， 也可以写python代码进行装代码逐个调试

，

• 提问者 qq_慕神6513837 #1

  好的，谢谢老师回答，我刚发现一个好用的办法是在spider中启动shell来查看response
              from scrapy.shell import inspect_response
              inspect_response(response, self)

• bobby 回复 提问者 qq_慕神6513837 #2

  这个方法很好用