请稍等 ...
×

采纳答案成功！

向帮助你的同学说点啥吧！感谢那些助人为乐的人

学习爬取知乎首页所有question，发现提取网页源码的href解析出question的url是不能深度爬取全站所有question的url

测试用例

操作步骤：在if下面写print，将属于question的url全部打印出来，看有多少个符合条件的url，然后再在else下面写print。将不符合条件的url打印。

测试目的：主要是测试符合条件url有多少？是不是符合深度爬取整站的问题的需要，最后用world进行统计。

https://img1.sycdn.imooc.com/szimg//5926586a0001477310310243.jpg

测试结果：不能爬取知乎首页所有问题标题

统计结论：根据href进行区配一共配有272条url，其实符合question的url共有32条记录；不是question的url共有240条；经统计这样爬取的url绝对比下拉滚动条加载的question问题的url少，因此这方法是不能深度爬取知乎首页所有question的url。

 

Untrue和real的所有数据：

Untrue:https://static.zhihu.com/static/revved/img/ios/touch-icon-152.87c020b9.png

Untrue:https://static.zhihu.com/static/revved/img/ios/touch-icon-120.496c913b.png

Untrue:https://static.zhihu.com/static/revved/img/ios/touch-icon-76.dcf79352.png

Untrue:https://static.zhihu.com/static/revved/img/ios/touch-icon-60.9911cffb.png

Untrue:https://static.zhihu.com/static/favicon.ico

Untrue:https://static.zhihu.com/static/search.xml

Untrue:https://static.zhihu.com/static/revved/-/css/z.c138a781.css

Untrue:https://static.zhihu.com/static/components/respond/cross-domain/respond-proxy.html

Untrue:/static/components/respond/cross-domain/respond.proxy.gif

Untrue:/

Untrue:/people/xiao-he-99-90

Untrue:/people/xiao-he-99-90

Untrue:/inbox

Untrue:/settings

Untrue:/logout

Untrue:/

Untrue:/explore

Untrue:javascript:;

Untrue:/notifications

Untrue:/settings/notification

Untrue:javascript:;

Untrue:#

Untrue:/question

Untrue://zhuanlan.zhihu.com/write

Untrue:/draft

Untrue:/topic/19550517

Untrue:/topic/19558642

Untrue:/topic/19562409

Untrue:/topic/19580349

Untrue:/topic/19612055

Untrue:/topic/19618663

Untrue:/topic/19745099

Untrue:/settings/filter

Untrue:javascript:;

Untrue:/topic/19580349

Untrue:/topic/19580349

real:/question/59945774/answer/170643229

Untrue:#

Untrue://link.zhihu.com/?target=https%3A//www.oschina.net/news/84850/reflections-of-an-old-programmer

real:/question/59945774/answer/170643229

Untrue:javascript:;

Untrue:/people/bluetrees

Untrue:#

real:/question/59945774/answer/170643229

real:/question/59945774/answer/170643229

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19580349

Untrue:/topic/19580349

real:/question/59750864/answer/171062126

real:/question/59750864/answer/171062126

Untrue:javascript:;

Untrue:/people/wei-wei-79-35

Untrue:#

real:/question/59750864/answer/171062126

real:/question/59750864/answer/171062126

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19550517

Untrue:/topic/19550517

real:/question/21025211/answer/167926291

Untrue:#

real:/question/21025211/answer/167926291

Untrue:javascript:;

Untrue:/people/fata-64-8

Untrue:#

real:/question/21025211/answer/167926291

real:/question/21025211/answer/167926291

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19558642

Untrue:/topic/19558642

real:/question/59765277/answer/168935113

Untrue:#

Untrue:https://www.zhihu.com/question/59762354

Untrue:https://www.zhihu.com/question/59765151

Untrue:https://www.zhihu.com/question/59765809

Untrue:https://www.zhihu.com/question/59760256

Untrue:https://www.zhihu.com/question/59768323

Untrue:https://www.zhihu.com/question/59768771

Untrue:https://www.zhihu.com/question/30093963

Untrue:https://www.zhihu.com/question/59758596

Untrue:https://www.zhihu.com/question/49658687

Untrue:https://www.zhihu.com/question/59769194

real:/question/59765277/answer/168935113

Untrue:javascript:;

Untrue:/people/zhu-yu-xuan-61

Untrue:#

real:/question/59765277/answer/168935113

real:/question/59765277/answer/168935113

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19558642

Untrue:/topic/19558642

real:/question/59760563/answer/168990104

Untrue:#

real:/question/59760563/answer/168990104

Untrue:javascript:;

Untrue:/people/xxoo123-72

Untrue:#

real:/question/59760563/answer/168990104

real:/question/59760563/answer/168990104

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19580349

Untrue:/topic/19580349

real:/question/60190025/answer/174207316

Untrue:#

real:/question/60190025/answer/174207316

Untrue:javascript:;

Untrue:/people/hang-xu-guang

Untrue:#

real:/question/60190025/answer/174207316

real:/question/60190025/answer/174207316

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19580349

Untrue:/topic/19580349

real:/question/59853428/answer/169897121

real:/question/59853428/answer/169897121

Untrue:javascript:;

Untrue:/people/zi-dong-hua-meng-xin

Untrue:#

real:/question/59853428/answer/169897121

real:/question/59853428/answer/169897121

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19580349

Untrue:/topic/19580349

real:/question/46837344/answer/162773716

real:/question/46837344/answer/162773716

Untrue:javascript:;

Untrue:/people/zhao-lei-57-61

Untrue:#

real:/question/46837344/answer/162773716

real:/question/46837344/answer/162773716

Untrue:javascript:;

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/terms#sec-licence-1

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19550517

Untrue:/topic/19550517

Untrue:https://zhuanlan.zhihu.com/p/27092865

Untrue:#

Untrue:/people/niss267

Untrue:#

Untrue:https://zhuanlan.zhihu.com/p/27092865

Untrue:http://zhuanlan.zhihu.com/p/27092865#tipjar

Untrue:https://zhuanlan.zhihu.com/p/27092865

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:/topic/19550517

Untrue:/topic/19550517

Untrue:https://zhuanlan.zhihu.com/p/27027718

Untrue:#

Untrue:/people/guo-tao-45-48

Untrue:#

Untrue:https://zhuanlan.zhihu.com/p/27027718

Untrue:http://zhuanlan.zhihu.com/p/27027718#tipjar

Untrue:https://zhuanlan.zhihu.com/p/27027718

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:#

Untrue:javascript:;

Untrue:/collections

Untrue:/question/following

Untrue:/question/invited

Untrue:/watch

Untrue:/community

Untrue:/copyright

Untrue:http://zhuanlan.zhihu.com/

Untrue:https://www.zhihu.com/lives

Untrue:https://www.zhihu.com/lives/846510721427730432

Untrue:https://www.zhihu.com/lives/843126356240924672

Untrue:https://www.zhihu.com/lives/843418845292154880

Untrue:/roundtable

Untrue:javascript:;

Untrue:/roundtable/gmis

Untrue:javascript:;

Untrue:/roundtable/baking

Untrue:/roundtable/haohaolianai

Untrue:/pub/

Untrue:/publications/weekly/119554736

Untrue:/publications/hour/119554743

Untrue:/publications/nacl/119554120

Untrue:#

Untrue:https://liukanshan.zhihu.com

Untrue:/question/19581624

Untrue:javascript:;

Untrue:/app

Untrue:/careers

Untrue:/terms

Untrue:/jubao

Untrue:/contact
慕先生0421411 2017-05-25 12:09:36
源自：6-17  知乎spider爬虫逻辑的实现以及answer的提取 - 1
1022
收起

正在回答 回答被采纳积分+3

1回答

提问者 慕先生0421411 2017-05-25 12:18:06

不想用selenium模拟用户下拉滚动条加载动态网页的方法（因为太慢。），请问bobby老师如何才能爬取知乎首页所有question的url？（所有question的url的意思指浏览器下拉滚动条动态加载的question的url）

0 回复 有任何疑惑可以回复我~
收起回答
  • bobby #1 
    和知乎的answer一样 下来一下看看url请求格式是什么 然后yield request请求一下就行了啊
    回复 有任何疑惑可以回复我~ 2017-05-26 14:50:25
取消 回复

相似问题

知乎爬取问题
1530 0 5
基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据
1146 0 5
知乎爬取answer
887 0 3
crawlspider 分布式是先爬网页再解析网页吗
585 0 8
对美团美食按照组合提取所有商家信息，如a1类型，b2地区，c3用餐人数的组合URL是./meishi/a1b2c3,要怎么设置提取规则比较合理呢？
575 0 3

登录后可查看更多问答，登录/注册

问题已解决，确定采纳
还有疑问，暂不采纳
Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课
  • 参与学习       5793    人
  • 解答问题       6278    个

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

了解课程

本课精华内容

问答 作业

Missing argument grant_type

4.8k 30

MysqlTwistedPipline的对象没有cursor属性

2.5k 18

知乎answer提取不到

1.1k 18

为什么知乎数据导入不到MySQL数据库中？

1.4k 15

运行 scrapy crawl jobbole 报错

2.8k 15

查看更多本课问答
意见反馈 帮助中心 APP下载
官方微信