Node.js如何实现爬虫程序？-js教程-PHP中文网

Node.js如何实现爬虫程序？

月夜之吻

发布： 2025-06-27 20:51:06

原创

633人浏览过

node.js 实现爬虫程序的核心在于利用其非阻塞 i/o 特性高效处理并发请求。1. 使用 axios 或 node-fetch 发起 http 请求，获取 html 内容；2. 利用 cheerio 或 jsdom 解析 html，提取所需数据；3. 采用 async/await 处理异步逻辑，提升代码可读性；4. 借助 p-queue 等库控制并发数量，减轻服务器压力；5. 设置 user-agent、使用代理 ip、添加请求头、延迟请求以应对反爬机制；6. 将数据存储至数据库或文件；7. 对于 javascript 渲染页面，使用 puppeteer 或 playwright 模拟浏览器行为获取完整内容；8. 遵守 robots.txt 协议、控制频率、设置请求头、使用代理、处理验证码以避免被封禁。整个过程需遵循法律法规，确保合法合规。

Node.js如何实现爬虫程序？

Node.js 实现爬虫程序，核心在于利用其非阻塞 I/O 特性，高效地并发处理多个网络请求。简单来说，就是用 Node.js 发起 HTTP 请求，解析 HTML，提取数据，然后循环这个过程。

解决方案

选择合适的 HTTP 客户端库： Node.js 内置了 http 和 https 模块，但更常用的是第三方库，例如 axios 或 node-fetch。axios 提供了更简洁的 API，支持 Promise，方便处理异步操作。node-fetch 则更接近浏览器端的 fetch API，如果熟悉前端开发，上手会更快。
```
// 使用 axios 示例
const axios = require('axios');

axios.get('https://example.com')
  .then(response => {
    console.log(response.data); // HTML 内容
  })
  .catch(error => {
    console.log(error);
  });
```
登录后复制
解析 HTML： 获取到 HTML 内容后，需要解析它。常用的 HTML 解析库有 cheerio 和 jsdom。cheerio 类似于 jQuery，可以在 Node.js 环境中使用 jQuery 的语法操作 DOM。jsdom 则提供了一个完整的 DOM 环境，更接近浏览器环境，但性能相对较差。
```
// 使用 cheerio 示例
const cheerio = require('cheerio');

axios.get('https://example.com')
  .then(response => {
    const $ = cheerio.load(response.data);
    // 提取标题
    const title = $('title').text();
    console.log(title);
  })
  .catch(error => {
    console.log(error);
  });
```
登录后复制

处理异步请求： 爬虫程序通常需要并发发起多个请求。Node.js 的异步特性非常适合处理这种情况。可以使用 async/await 语法，让异步代码更易于阅读和维护。

// 使用 async/await 示例
async function scrapeData() {
  try {
    const response = await axios.get('https://example.com');
    const $ = cheerio.load(response.data);
    const title = $('title').text();
    console.log(title);
  } catch (error) {
    console.log(error);
  }
}

scrapeData();

登录后复制

控制并发： 为了避免对目标网站造成过大的压力，需要控制并发请求的数量。可以使用 p-queue 或 async 等库来实现并发控制。

// 使用 p-queue 示例
const PQueue = require('p-queue');

const queue = new PQueue({ concurrency: 5 }); // 限制并发数为 5

async function scrapeData(url) {
  try {
    const response = await axios.get(url);
    const $ = cheerio.load(response.data);
    const title = $('title').text();
    console.log(`Title of ${url}: ${title}`);
  } catch (error) {
    console.log(`Error scraping ${url}: ${error}`);
  }
}

const urls = ['https://example.com', 'https://www.google.com', 'https://www.baidu.com'];

urls.forEach(url => {
  queue.add(() => scrapeData(url));
});

登录后复制

处理反爬机制： 很多网站都有反爬机制，例如限制 IP 访问频率、使用验证码等。可以采取以下措施来应对：
- 设置 User-Agent： 模拟浏览器发送请求，避免被识别为爬虫。
- 使用代理 IP： 轮换使用不同的 IP 地址，避免 IP 被封禁。
- 设置请求头： 添加 Referer、Cookie 等请求头，模拟真实用户的行为。
- 延迟请求： 控制请求频率，避免对服务器造成过大的压力。
数据存储： 爬取到的数据可以存储到数据库（例如 MongoDB、MySQL）或文件中（例如 CSV、JSON）。

如何选择合适的 Node.js 爬虫库？

选择爬虫库时，要考虑以下几个因素：

易用性： API 是否简洁易懂，文档是否完善。
性能： 解析速度是否快，内存占用是否低。
功能： 是否支持并发控制、代理 IP、反爬机制等。
社区支持： 是否有活跃的社区，是否容易找到解决方案。

通常，axios + cheerio 是一个不错的选择，适用于大多数简单的爬虫任务。如果需要更强大的功能，可以考虑使用 puppeteer 或 playwright，它们可以模拟浏览器行为，处理 JavaScript 渲染的页面。

爬虫程序如何处理 JavaScript 渲染的页面？

有些网站的内容是通过 JavaScript 动态渲染的，直接获取 HTML 源代码无法获取到完整的数据。这时，需要使用 puppeteer 或 playwright 等库来模拟浏览器行为，执行 JavaScript 代码，获取渲染后的 HTML 内容。

puppeteer 是 Google Chrome 团队维护的 Node.js 库，可以控制 headless Chrome 或 Chromium 浏览器。playwright 是 Microsoft 维护的 Node.js 库，支持 Chrome、Firefox、Safari 等多个浏览器。

// 使用 puppeteer 示例
const puppeteer = require('puppeteer');

async function scrapeData() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  // 等待页面加载完成
  await page.waitForSelector('title');
  const title = await page.$eval('title', el => el.textContent);
  console.log(title);
  await browser.close();
}

scrapeData();

登录后复制

如何避免爬虫程序被网站封禁？