javascript如何实现网络爬虫_Puppeteer能做什么-js教程-PHP中文网

javascript如何实现网络爬虫_Puppeteer能做什么

紅蓮之龍

发布： 2025-12-23 19:23:14

原创

262人浏览过

JavaScript纯前端无法实现网络爬虫，需Node.js等服务端环境；Puppeteer是Chrome团队开发的Node.js库，用于控制Chromium浏览器，适用于JS渲染页、登录抓取、截图PDF等场景，但静态页或大规模抓取应选更轻量方案。

javascript如何实现网络爬虫_puppeteer能做什么

JavaScript 本身不能直接发起跨域 HTTP 请求（浏览器环境受同源策略限制），所以纯前端 JavaScript 无法实现传统意义上的网络爬虫。真正的网络爬虫需要服务端环境（如 Node.js）配合 HTTP 客户端（如 axios、node-fetch）或浏览器自动化工具（如 Puppeteer）来获取和解析网页内容。

Puppeteer 能做什么？

Puppeteer 是一个由 Chrome 团队开发的 Node.js 库，它提供了一套高级 API，用于通过 DevTools 协议控制无头（或有头）Chromium/Chrome 浏览器。它不是“爬虫框架”，但非常适合处理需要 JavaScript 渲染、登录、交互、截图、PDF 生成等动态网页场景。

常见用途包括：

抓取 SPA 页面：React/Vue/Angular 等前端框架渲染的内容，静态请求拿不到，Puppeteer 启动真实浏览器，等 JS 执行完再提取 DOM
模拟用户行为：点击按钮、填写表单、滚动页面、等待元素出现（page.waitForSelector）、处理弹窗或验证码（需额外逻辑）
登录后抓取：支持保存/复用 Cookie 或 localStorage，维持会话状态抓取个人中心、后台数据等
截图与 PDF：整页截图、指定区域截图、导出为 PDF（适合生成报告、存档）
性能分析与测试：采集加载时间、内存占用、网络请求列表，或集成到 E2E 测试流程中

一个极简 Puppeteer 抓取示例

以下代码在 Node.js 中运行（需先 npm install puppeteer）：

立即学习“Java免费学习笔记（深入）”；

论小文

可靠的论文写作助手，包含11种学术写作类型，万字论文一键生成，可降重降AIGC，参考文献真实可标注，图表代码均可自定义添加。

435

查看详情

（注意：请遵守目标网站 robots.txt 和服务条款，合理设置延时，避免高频请求）

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 访问页面并等待 JS 渲染完成
  await page.goto('https://example.com', { waitUntil: 'networkidle2' });
  
  // 提取标题（执行浏览器内 JS）
  const title = await page.title();
  const h1 = await page.$eval('h1', el => el.textContent);
  
  console.log({ title, h1 });
  
  await browser.close();
})();

登录后复制