知乎爬取问题

Question

为什么一开始显示的只有11个有关question的问题url，但是一旦run起来了 就有很多很多question的url,

然后我就下拉知乎首页 经过ajax请求后又会多出一些知乎的问题，但是抓不到ajax的包

所以就不明白程序是怎么样在一开始只有11question的url的情况下可以不断地爬取更多的url(但是最后大概爬取了50，60个就停止） 应该是不会停止的呀？

Answer 1

提问者 qq_Fluorescent_0 2017-10-17 12:36:18

谢谢老师这么耐心

Answer 2

bobby 2017-10-16 10:42:20

亲 后面我会讲如何通过浏览器去爬取 到时候你可以通过浏览器滚动条下拉的方式去获取更多的question 这个在后面的动态网页爬取章节中都会讲到的

• 提问者 qq_Fluorescent_0 #1

  好的谢谢老师 

• 提问者 qq_Fluorescent_0 #2

  可是我还是不明白 第一次他只抓取了11个url 到最后竟然爬取了50 60个url 

• bobby 回复 提问者 qq_Fluorescent_0 #3

  这个就是看爬虫中你的提取方法了 如果你在详情页中也提取其他question的话  就不止11个了