Puppeteer是一个Node.js库，由Google开发，提供API通过DevTools协议控制Chrome或Chromium，可启动真实浏览器实例模拟用户操作，适用于抓取SPA、模拟登录、生成截图/PDF、性能监控等场景；相比传统请求库，它能获取JavaScript动态渲染内容；安装后可通过puppeteer.launch()启动浏览器，结合page.goto()、page.evaluate()等方法实现页面交互，常用技巧包括设置User-Agent、模拟滚动、请求拦截和Cookie复用；此外还广泛用于E2E测试，支持自动化表单提交与流程验证，可集成至CI/CD，具备调试友好、结果可靠等优势，是处理动态网页的首选工具，但需注意遵守网站爬虫规则。
JavaScript爬虫开发中，Puppeteer 是一个非常强大的工具，尤其适合需要处理动态渲染内容的网页。它由 Google 开发，是一个 Node.js 库，提供了一套高层 API 来通过 DevTools 协议控制 Chrome 或 Chromium 浏览器。虽然 Puppeteer 最初用于自动化测试，但它在网页抓取、截图、PDF 生成、性能监控等方面也广泛应用。
什么是 Puppeteer？
Puppeteer 启动一个真实的 Chromium 浏览器实例，可以完全模拟用户操作：打开页面、点击按钮、填写表单、滚动、等待异步加载等。这使得它能轻松获取由 JavaScript 动态生成的内容，而这是传统请求库（如 axios、node-fetch）无法做到的。
常用场景包括：- 抓取 SPA（单页应用）内容，比如 React、Vue 构建的网站
- 模拟登录复杂网站（含验证码除外）
- 自动化表单提交与流程测试
- 生成页面截图或 PDF 报告
- 监控页面加载性能
安装与基础使用
确保系统已安装 Node.js，然后创建项目并安装 Puppeteer：
npm init -y
npm install puppeteer
一个简单的爬取示例：获取某个网页的标题
立即学习“Java免费学习笔记（深入）”；
const puppeteer = require('puppeteer');
(async () => {
// 启动浏览器
const browser = await puppeteer.launch();
const page = await browser.newPage();
// 访问目标页面
await page.goto('https://example.com', { waitUntil: 'networkidle2' });
// 获取页面标题
const title = await page.title();
console.log(title);
// 关闭浏览器
await browser.close();
})();
说明：
- puppeteer.launch() 启动浏览器，默认为无头模式（headless）
- page.goto() 跳转页面，waitUntil 等待网络空闲，确保内容加载完成
- page.title() 获取页面标题，也可用 page.$eval() 或 page.evaluate() 执行 DOM 操作
常见爬虫技巧
实际开发中，很多网站有反爬机制或内容延迟加载，以下是几个实用技巧：
1. 设置请求头和伪装浏览器
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');
2. 模拟滚动到底部以触发懒加载
await page.evaluate(() => {
window.scrollBy(0, document.body.scrollHeight);
});
// 等待新内容加载
await page.waitForTimeout(2000);
3. 注入拦截器避免加载图片/CSS 提升速度
await page.setRequestInterception(true);
page.on('request', req => {
if(['image', 'stylesheet', 'font'].includes(req.resourceType())) {
req.abort();
} else {
req.continue();
}
});
4. 处理登录会话（保存 Cookie）
登录后可导出 Cookie，后续请求复用，避免重复登录：
const cookies = await page.cookies();
// 保存到文件或数据库
fs.writeFileSync('cookies.json', JSON.stringify(cookies, null, 2));
自动化测试中的应用
Puppeteer 不仅可用于爬虫，也非常适合做端到端（E2E）测试。例如测试一个登录流程：
test('should login successfully', async () => {
await page.goto('https://example.com/login');
await page.type('#username', 'testuser');
await page.type('#password', '123456');
await page.click('#login-btn');
await page.waitForNavigation();
const url = page.url();
expect(url).toContain('/dashboard');
});
优势：
- 真实浏览器环境，测试结果更可靠
- 支持截图、录屏，便于调试失败用例
- 可集成到 CI/CD 流程中
基本上就这些。Puppeteer 上手快，功能强，是 JavaScript 生态中处理动态网页的首选工具。合理使用，既能高效抓取数据，也能构建稳定的自动化测试流程。注意遵守 robots.txt 和服务条款，避免频繁请求。
