1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 | const puppeteer = require( 'puppeteer' ) // 设置所要爬取的URI地址 const url = 'https://movie.douban.com/tag/#/?sort=T&range=0,10&tags=' const sleep = time => { return new Promise(resolve => { setTimeout(resolve, time) }) }; (async () => { console.log( '------------开始爬取' ) // 声明一个browser const browser = await puppeteer.launch({ args: [ '--no-sandbox' ], dumpio: false }) // 创建一个页面 const page = await browser.newPage() // 访问地址 await page.goto(url, { waitUntil: 'networkidle2' // 直到网络空闲结束访问 }) // 再延时3秒钟,保证数据完整 await sleep(3000) await page.waitForSelector( '.more' ) for (let i = 0; i < 1; i++) { await sleep(3000) await page.click( '.more' ) } // 获取网页内容,并在网页上加载脚本文件 const result = await page.evaluate(() => { console.log( '页面等待了很久都没有任何输出内容' ) }) })() |