请稍等 ...

尝试用相同的代码爬取b站数据

7月老师，我按照您的方法编写了爬虫，对pandatv这个网站，都能爬取到想要的数据，但是我尝试用几乎同样的代码来爬取b站的数据，发现只能爬取到网页的导航栏部分的数据，这是为什么呢？我检查了获取的htmls内容，发现也只有部分的网页内容，实在不明白，和b站的页面没有静态化有关系吗？

Excalibur_Prime 2018-10-10 00:04:54

源自：13-7 正则分析HTML

905

收起

提交取消

2回答

提问者 Excalibur_Prime 2018-10-11 21:39:02

Sorry，7月老师，我的表达不准确，肯定不是用相同的代码爬取，而是用你教的思路，先分析了b站的html结构，然后模拟想抓取up主和人气，然后利用request.urlopen方法获取html内容的时候发现只能获取到<head></head>之间的内容，获取不到<body>部分的内容，所以后面我无法爬取到up主的信息。但是利用谷歌浏览器分期页面内容的时候又确实有<body>部分的内容，这是为什么呢？

0 回复有任何疑惑可以回复我~

7七月 2018-10-11 11:13:44

不同网站html又不一样，咋想到用相同代码爬取撒意思？

0 回复有任何疑惑可以回复我~

相似问题

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

解决反爬问题

我尝试用相同的方法爬取boss直聘,但不成功

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

豆瓣爬取报错，数据爬取不完整

登录后可查看更多问答，登录/注册

Python3.8系统入门+进阶 (程序员必备第二语言)

参与学习 14787 人
提交作业 1244 份
解答问题 4488 个

语法精讲/配套练习+思考题/原生爬虫实战

了解课程

本课精华内容

问答作业

老师，学习python对于文化程度相对低一点的，比如高中学历的，或者专科非计算机专业的人，以后的就业会有什么困难？怎么去克服好？学习应该往那个方向方便就业呢？

6.4k 7

爬虫方向的学习路线

2.9k 3

评论区消耗金为1003和914两种不同答案的原因

2.7k 5

VScode 安装完毕，插件也下载好没问题。但是没有出现pylint 绿色的波浪线。是设置问题么？

4.6k 22

小兄弟,我要投诉你了,你每一节视频有多时间是讲课的?都是跟别人聊天,我花钱是来学习的,不是来跟你聊天的,希望你尊重别人的宝贵时间.

2.8k 19

查看更多本课问答

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

扫描二维码
关注慕课网微信公众号