我每次爬到4w多条就报错了，这种情况是不是爬太快的缘故呢？

Question

Answer 1

ccmouse 2018-05-01 21:45:29

看上去有点像，您可以试着减小爬取速度试一下。

• 提问者 弱弱小乖乖 #1

  1：我测试了几遍，不管快慢，都是只能爬到4w多。
  2：我下载老师的代码执行的话，基本都是403状态，老师你视频的时候自己是不是做了反爬虫，但是反爬虫不在代码里?
  3：我自己是新增了随机修改了user-agent，才爬到4w多的。老师能看看自己的代码现在还能跑到10w多么？

• ccmouse 回复 提问者 弱弱小乖乖 #2

  的确都是403了:( 我当时没有考虑反爬虫的事情，对方也没有啥防范，可能课程出去了这样的访问多了对方也做了升级。随机修改user-agent能爬到4w多已经很好了，也是我这门课学习语言的目的了。再往下就是比较专业的反爬知识了，而且网站也会随时提升。