老师爬完所有数据只有12w多条吗？珍爱网数据这么少？

Answer 1

ccmouse 2018-04-12 09:44:15

当然远远不止。我们研究过从首页这样进来数据重复率非常高，可能要覆盖大量的用户会花很长的时间。我们可以采用用户id自增的技巧，不断把当前用户id+1来获得新的用户，并且作为新的种子。这样应该会在用户量上有显著提升。

• 提问者 edenli #1

  老师昨天中午爬网站出现一小时左右的user页面访问不了，这个需要我们担心吗

• ccmouse 回复 提问者 edenli #2

  如果浏览器也不能访问，那是对方的问题。如果只是禁掉爬虫，我们可能要做相应的应对，比如设置userAgent，以及cookie等，要具体来