去哪儿网的页面在selenium里面展示不全

Question

这个月(2018年12月)爬取去哪儿数据的时候，发现他们的网站做了一次更新，导致有些数据爬不到了.

这是我之前爬取的是好中差评数据，如图:

页面是这样的(不需要登陆):

http://hotel.qunar.com/city/shenzhen/dt-872/?tag=shenzhen

但是这个月，用selenium打开的页面却变成了这样:

ps:  动态运行Js，模拟浏览器下拉到底部，让页面多加载一段时间...这些办法我都试过了.

但就是在selenium加载不出来这些数据，可是手动打开浏览器却可以看到评论数.

除了评论相关的数据，js没有加载出来，其他的房型js数据却又能加载出来，所以并不是js没有加载，

问题: 也就是说手动打开浏览器能看到的数据，放在selenium却看不到了，如何解决这个问题呢？

Answer 1

bobby 2018-12-07 10:02:58

为了试验这个问题 我刚才用我本地的环境测试了一下 这是chromedriver试出来的效果 是没有问题的啊。 这个是chrome的版本，其他版本我没有试过

• 提问者 慕神6516775 #1

  浏览器的版本我也想过，所以最新的几个版本都测试过，确实不是浏览器的问题。我也重复了很多次实验，仅仅偶尔几次可以加载出来，但是一旦是大量采集同类网页数据，问题就会暴露出来.
  ps:这些数据我是每个月都在采集的，半年了，是在这个月才暴出这个问题，用了很多方法都解决不了，我的猜想是去哪儿网监测到了我是selenium，所以评论数据都不返回，可是我无法验证我的猜想.

• bobby 回复 提问者 慕神6516775 #2

  你的这个问题是随机出现的吗？ 也有可能是网络问题。 还是说一旦出现了这个问题就会一直出现？

• 提问者 慕神6516775 回复 bobby #3

  不是网络问题，我是分3天爬取武汉、惠州、东莞的数据，这些代码已经执行了半年了，就是从今年6月份学老师的课程开始写的代码，直接就用在工作中了，直到这个月才有这个问题的.
         网络是公司网络，非常稳定也很快。这个问题一旦出现，是会一直出现的.

点开查看后面3条评论