关于Node爬虫

Question

才疏学浅，对这一小节的 trailer-list.js 以及问答区感觉到很陌生—— 反爬机制？封IP？pupeteer API第一次接触。

之前也没爬过任何网站的数据，希望Scott老师补录下这节需要具备的基础知识。

听视频有点懵，看源码一头雾水，更别提能单独默写出来啦

P.S

1 2 3 4 5 6

使用puppeteer.launch()运行puppeteer，它会return一个promise？ 通过browser.newPage()方法，可以得到一个page实例？ 使用page.goto()方法？ 在page.evaluate()方法中注册回调函数，并分析dom结构？ args: ['--no-sandbox'],非沙箱模式？ waitUntil: 'networkidle2' ？

这些小细节其实都可以照顾下小白哒，配上注释会更友好些~~

Answer 1

Scott 2018-05-11 21:02:56

可以不去纠结这个爬虫，这个只是课程开始获取数据的一个手段而已，不是课程重点，关注后面 koa2 的部分即可

• 提问者 心有猛虎_细嗅蔷薇 #1

  之后我又去GitHub看了下API，找了些别的实战课程练手，现在对puppeteer爬数据不那么陌生啦~~