爬虫利器 Puppeteer 实战
Puppeteer 介绍
Puppeteer翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。Puppeteer是一个Nodejs的库，支持调用Chrome的API来操纵Web，相比较Selenium或是PhantomJs,它最大的特点就是它的操作Dom可以完全在内存中进行模拟既在V8引擎中处理而不打开浏览器，而且关键是这个是Chrome团队在维护，会拥有更好的兼容性和前景。
Puppeteer 用处
- 利用网页生成PDF、图片
- 爬取SPA应用，并生成预渲染内容（即“SSR” 服务端渲染）
- 可以从网站抓取内容
- 自动化表单提交、UI测试、键盘输入等
- 帮你创建一个最新的自动化测试环境（chrome），可以直接在此运行测试用例6.捕获站点的时间线，以便追踪你的网站，帮助分析网站性能问题
Puppeteer 使用
安装 Puppeteer
- 由于封网，直接下载
Chromium会失败，可以先阻止下载Chromium然后再手动下载它
# 安装命令
npm i puppeteer --save
# 错误信息
ERROR: Failed to download Chromium r515411! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.
# 设置环境变量跳过下载 Chromium
set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1
# 或者可以这样干，只下载模块而不build
npm i --save puppeteer --ignore-scripts
# 成功安装模块
+ [email protected]
added 1 package in 1.77s
- 手动下载 Chromium，下载完后将压缩包解压，会有个
Chromium.app，将其放在你喜欢的目录下，例如/Users/huqiyang/Documents/project/z/chromium/Chromium.app。正常安装包后Chromium.app会在.local-chromium中
Tip：下载
Chromium失败解决办法
- 更换国内
Chromium源PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i puppeteer
- 或者用
cnpm安装npm install -g cnpm --registry=https://registry.npm.taobao.org cnpm i puppeteer
点击查阅 Puppeteer API
初试 Puppeteer，截个图吧
知识点
puppeteer.launch启动浏览器实例browser.newPage()创建一个新页面page.goto进入指定网页page.screenshot截图
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({
// 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
//设置超时时间
timeout: 15000,
//如果是访问https页面 此属性会忽略https错误
ignoreHTTPSErrors: true,
// 打开开发者工具, 当此值为true时, headless总为false
devtools: false,
// 关闭headless模式, 会打开浏览器
headless: false
}));
const page = await browser.newPage();
await page.goto('https://www.jianshu.com/u/40909ea33e50');
await page.screenshot({
path: 'jianshu.png',
type: 'png',
// quality: 100, 只对jpg有效
fullPage: true,
// 指定区域截图，clip和fullPage两者只能设置一个
// clip: {
// x: 0,
// y: 0,
// width: 1000,
// height: 40
// }
});
browser.close();
})();
运行结果
进阶，获取网易云音乐的歌词和评论
网易云音乐的API经过AES和RSA算法加密，需要携带加密的信息通过POST方式请求才能获取到数据。但
Puppeteer出现后，这些都不重要了，只要它页面上显示了，通过Puppeteer都能获取到该元素。
知识点
page.type获取输入框焦点并输入文字page.keyboard.press模拟键盘按下某个按键，目前mac上组合键无效为已知bugpage.waitFor页面等待，可以是时间、某个元素、某个函数page.frames()获取当前页面所有的iframe，然后根据iframe的名字精确获取某个想要的iframeiframe.$('.srchsongst')获取iframe中的某个元素iframe.evaluate()在浏览器中执行函数，相当于在控制台中执行函数，返回一个PromiseArray.from将类数组对象转化为对象page.click()点击一个元素iframe.$eval()相当于在iframe中运行document.queryselector获取指定元素，并将其作为第一个参数传递iframe.$$eval相当于在iframe中运行document.querySelectorAll获取指定元素数组，并将其作为第一个参数传递
const fs = require('fs');
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
const page = await browser.newPage();
// 进入页面
await page.goto('https://music.163.com/#');
// 点击搜索框拟人输入 鬼才会想起
const musicName = '鬼才会想';
await page.type('.txt.j-flag', musicName, {delay: 0});
// 回车
await page.keyboard.press('Enter');
// 获取歌曲列表的 iframe
await page.waitFor(2000);
let iframe = await page.frames().find(f => f.name() === 'contentFrame');
const SONG_LS_SELECTOR = await iframe.$('.srchsongst');
// 获取歌曲 鬼才会想起 的地址
const selectedSongHref = await iframe.evaluate(e => {
const songList = Array.from(e.childNodes);
const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才会想起');
return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
}, SONG_LS_SELECTOR);
// 进入歌曲页面
await page.goto(selectedSongHref);
// 获取歌曲页面嵌套的 iframe
await page.waitFor(2000);
iframe = await page.frames().find(f => f.name() === 'contentFrame');
// 点击 展开按钮
const unfoldButton = await iframe.$('#flag_ctrl');
await unfoldButton.click();
// 获取歌词
const LYRIC_SELECTOR = await iframe.$('#lyric-content');
const lyricCtn = await iframe.evaluate(e => {
return e.innerText;
}, LYRIC_SELECTOR);
console.log(lyricCtn);
// 截图
await page.screenshot({
path: '歌曲.png',
fullPage: true,
});
// 写入文件
let writerStream = fs.createWriteStream('歌词.txt');
writerStream.write(lyricCtn, 'UTF8');
writerStream.end();
// 获取评论数量
const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
console.log(commentCount);
// 获取评论
const commentList = await iframe.$$eval('.itm', elements => {
const ctn = elements.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
});
console.log(commentList);
})();
运行结果
高级爬虫
爬取SPA应用，并生成预渲染内容（即“SSR” 服务端渲染），通俗讲就是在页面上显示的内容我们都能获取到。下面我们就通过爬取
瓜子二手车直卖网的车辆信息来认识它。
首先通过 axios 来试试
const axios = require('axios');
const useAxios = () => {
axios.get('https://www.guazi.com/hz/buy/')
.then(((result) => {
console.log(result.data);
}))
.catch((err) => {
console.log(err);
});
};
结果它返回给我这个玩意，这显然不是我要的内容
通过 Puppeteer 爬取
const fs = require('fs');
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: true }));
const page = await browser.newPage();
// 进入页面
await page.goto('https://www.guazi.com/hz/buy/');
// 获取页面标题
let title = await page.title();
console.log(title);
// 获取汽车品牌
const BRANDS_INFO_SELECTOR = '.dd-all.clearfix.js-brand.js-option-hid-info';
const brands = await page.evaluate(sel => {
const ulList = Array.from($(sel).find('ul li p a'));
const ctn = ulList.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
}, BRANDS_INFO_SELECTOR);
console.log('汽车品牌: ', JSON.stringify(brands));
let writerStream = fs.createWriteStream('car_brands.json');
writerStream.write(JSON.stringify(brands, undefined, 2), 'UTF8');
writerStream.end();
// await bodyHandle.dispose();
// 获取车源列表
const CAR_LIST_SELECTOR = 'ul.carlist';
const carList = await page.evaluate((sel) => {
const catBoxs = Array.from($(sel).find('li a'));
const ctn = catBoxs.map(v => {
const title = $(v).find('h2.t').text();
const subTitle = $(v).find('div.t-i').text().split('|');
return {
title: title,
year: subTitle[0],
milemeter: subTitle[1]
};
});
return ctn;
}, CAR_LIST_SELECTOR);
console.log(`总共${carList.length}辆汽车数据: `, JSON.stringify(carList, undefined, 2));
// 将车辆信息写入文件
writerStream = fs.createWriteStream('car_info_list.json');
writerStream.write(JSON.stringify(carList, undefined, 2), 'UTF8');
writerStream.end();
browser.close();
})();
运行结果
资料
- Puppeteer 官方文档
- 键名映射
- 网上的更多教程：Puppeteer 入门教程、Puppeteer 初探之前端自动化测试、使用puppeteer-autotest 来为cnodejs 做自动化测试.
- 多多关注 Puppeteer 的 issues 来解决问题
未完待续，有疑问请留言，大家一起研究
20 回复
https://github.com/GoogleChrome/puppeteer/issues/1597
卡在第一步 npm i puppeteer
下载Chromium 失败的可以
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i puppeteer
@blackmatch 可以的，这就是个headless chrome，如果不设置{headless:false}就不会打开可视界面，不过照样会计算页面是如何渲染的，所以还是能进行截图之类的操作。
@longFeiLi 监听 browser 的targetcreated 事件，你可以尝试下面的例子
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({headless: false}));
const page = await browser.newPage();
await page.goto('http://www.runoob.com/');
const nav = await page.$$('#index-nav li a');
await nav[1].click();
const pages = await browser.pages();
console.log(pages.length);
console.log(await pages[1].title());
// 监听 targetcreated 浏览器新标签页打开事件
browser.on('targetcreated', async (target) => {
console.log('new newnwewne', target.url(), target.type());
const newTab = await target.page();
const ctn = await newTab.$$eval('.post-intro', divs => {
const intros = divs.map(v => v.innerText);
return intros;
});
console.log(ctn);
browser.close();
});
})();
