爬虫的网页格式

Question

直接从网页复制下来的html代码 和 python经 str转码后爬下来的不一样，好像少了很多

上面两张都是代码末尾的部分，但python爬下来的和F12直接看到为什么不一样。

Answer 1

7七月 2018-08-05 05:03:59

从你的截图看不出来，截图里好像根本就不是同一段代码

• 提问者 SD_Kaden #1

  问题就是 爬虫爬到的网页源码和按F12查看的网页源码不一致
  在网上查的说 ‘网页最终显示的页面源码是经过浏览器解释后的，你get或者post请求到的源码是服务器直接返回的，不一样是正常的。’
  是这样吗

• 7七月 回复 提问者 SD_Kaden #2

  部分网页 会有js参与运算 导致不一样，这是动态网页。一般初学者爬爬静态的就可以了，动态的还是挺难得，需要专门研究爬虫技术

• 提问者 SD_Kaden 回复 7七月 #3

  Thanks!