JavaScript爬虫开发_Puppeteer自动化测试-js教程-PHP中文网

JavaScript爬虫开发_Puppeteer自动化测试

狼影

发布： 2025-11-21 22:36:45

原创

668人浏览过

Puppeteer是一个Node.js库，由Google开发，提供API通过DevTools协议控制Chrome或Chromium，可启动真实浏览器实例模拟用户操作，适用于抓取SPA、模拟登录、生成截图/PDF、性能监控等场景；相比传统请求库，它能获取JavaScript动态渲染内容；安装后可通过puppeteer.launch()启动浏览器，结合page.goto()、page.evaluate()等方法实现页面交互，常用技巧包括设置User-Agent、模拟滚动、请求拦截和Cookie复用；此外还广泛用于E2E测试，支持自动化表单提交与流程验证，可集成至CI/CD，具备调试友好、结果可靠等优势，是处理动态网页的首选工具，但需注意遵守网站爬虫规则。

javascript爬虫开发_puppeteer自动化测试

JavaScript爬虫开发中，Puppeteer 是一个非常强大的工具，尤其适合需要处理动态渲染内容的网页。它由 Google 开发，是一个 Node.js 库，提供了一套高层 API 来通过 DevTools 协议控制 Chrome 或 Chromium 浏览器。虽然 Puppeteer 最初用于自动化测试，但它在网页抓取、截图、PDF 生成、性能监控等方面也广泛应用。

什么是 Puppeteer？

Puppeteer 启动一个真实的 Chromium 浏览器实例，可以完全模拟用户操作：打开页面、点击按钮、填写表单、滚动、等待异步加载等。这使得它能轻松获取由 JavaScript 动态生成的内容，而这是传统请求库（如 axios、node-fetch）无法做到的。

常用场景包括：

抓取 SPA（单页应用）内容，比如 React、Vue 构建的网站
模拟登录复杂网站（含验证码除外）
自动化表单提交与流程测试
生成页面截图或 PDF 报告
监控页面加载性能

安装与基础使用

确保系统已安装 Node.js，然后创建项目并安装 Puppeteer：

npm init -y<br>
npm install puppeteer

登录后复制

一个简单的爬取示例：获取某个网页的标题

立即学习“Java免费学习笔记（深入）”；

SEEK.ai

AI驱动的智能数据解决方案，询问您的任何数据并立即获得答案

128

查看详情

const puppeteer = require('puppeteer');

(async () => {
  // 启动浏览器
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // 访问目标页面
  await page.goto('https://example.com', { waitUntil: 'networkidle2' });

  // 获取页面标题
  const title = await page.title();
  console.log(title);

  // 关闭浏览器
  await browser.close();
})();

登录后复制

说明：

puppeteer.launch() 启动浏览器，默认为无头模式（headless）
page.goto() 跳转页面，waitUntil 等待网络空闲，确保内容加载完成
page.title() 获取页面标题，也可用 page.$eval() 或 page.evaluate() 执行 DOM 操作

常见爬虫技巧

实际开发中，很多网站有反爬机制或内容延迟加载，以下是几个实用技巧：

1. 设置请求头和伪装浏览器

await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');

登录后复制

2. 模拟滚动到底部以触发懒加载

await page.evaluate(() => {
  window.scrollBy(0, document.body.scrollHeight);
});
// 等待新内容加载
await page.waitForTimeout(2000);

登录后复制

3. 注入拦截器避免加载图片/CSS 提升速度

await page.setRequestInterception(true);
page.on('request', req => {
  if(['image', 'stylesheet', 'font'].includes(req.resourceType())) {
    req.abort();
  } else {
    req.continue();
  }
});

登录后复制

4. 处理登录会话（保存 Cookie）

登录后可导出 Cookie，后续请求复用，避免重复登录：

const cookies = await page.cookies();
// 保存到文件或数据库
fs.writeFileSync('cookies.json', JSON.stringify(cookies, null, 2));

登录后复制

自动化测试中的应用

Puppeteer 不仅可用于爬虫，也非常适合做端到端（E2E）测试。例如测试一个登录流程：

test('should login successfully', async () => {
  await page.goto('https://example.com/login');
  await page.type('#username', 'testuser');
  await page.type('#password', '123456');
  await page.click('#login-btn');
  await page.waitForNavigation();

  const url = page.url();
  expect(url).toContain('/dashboard');
});

登录后复制

优势：