我尝试用相同的方法爬取boss直聘,但不成功

Question

我尝试用puppeteer 爬取boss直聘网站,但是不成功, 打开puppeteer 可视化界面可以看到是反复调用debug方法了, 应该是boss直聘检测到是在调试,禁止爬虫了, 这样的要如何解决呢?

Answer 1

Scott 2019-11-23 15:35:14

本身爬虫和反爬虫都是博弈的关系，可以抱着学习的目的研究下，如果对方网站有了反爬策略，可以换一个网站试试 puppteer 的使用，另外爬的数量也要控制，现在爬数据是非常敏感的操作，国家很重视这块