csdn问答下一页抓取

Question

老师，csdn现在的问答页面怎么抓取，它改成上拉加载的模式了，翻页以后的js请求返回的数据怎么获取，postman直接导过来403

Answer 1

提问者 慕运维5301375 2021-06-27 10:48:20

头部所有的请求参数我都复制过去了，我直接通过
copy as url 过去的，请求不了

Answer 2

bobby 2021-06-26 23:22:07

你已经分析出url了吗？你可以复制浏览器中的request的headers然后在requests中逐步请求，然后一个个去掉headers中的值就知道哪个headers重要了

• 提问者 慕运维5301375 #1

  头部所有的请求参数我都复制过去了，我直接通过
  copy as url 过去的，请求不了 直接返回403

• bobby 回复 提问者 慕运维5301375 #2

  你贴一下完整的代码我本地运行试试