对于知乎爬虫逻辑的问题

Question

老师您好，我差不多学习完了整个知乎的爬虫。对于验证码识别那一部分收获很多。
但是对于后面的知乎爬虫的逻辑，是不是只进行了知乎第一页问题列表的采集，没有问题列表页的翻页呢？
还是我落下了什么

Answer 1

bobby 2020-03-05 11:19:09

知乎的爬虫 只通过列表页肯定不行，要尽量多的抓取，可以采用深度抓取比如随便进入一个问题，右侧会有相关问题 ，通过这些相关问题继续深度抓取就能抓取很多的问题，如果遇到用户了 点击进入用户主页 也能抓到很多问题

• 提问者 慕丝7238044 #1

  谢谢老师 之前写过的大多数都是列表-详情页的逻辑。对深度优先一直没什么尝试

• bobby 回复 提问者 慕丝7238044 #2

  好的，在scrapy中只需要在该yield的地方yield request就行了