本教程详细指导如何部署基于node.js和puppeteer的网络爬虫，并实现其自动化定时执行。文章区分了前端静态网站与后端node.js脚本的部署策略，重点介绍了在windows环境下使用任务计划程序（task scheduler）进行定时任务配置的方法，同时提及了cors问题产生的原因及解决方案，并提供了其他部署选项，确保爬虫数据能定期更新并服务于前端应用。
理解Node.js爬虫与前端应用的差异
在开始部署之前，首先需要明确您所构建的系统包含两个主要部分：
- Node.js网络爬虫（index.js）：这是一个运行在Node.js运行时环境中的服务器端脚本。它使用Puppeteer库来模拟浏览器行为，访问特定网页抓取数据，并将数据保存为JSON文件。这类脚本不能直接在浏览器中运行，因为它依赖于Node.js特有的模块（如fs用于文件系统操作）和外部库（如puppeteer）。
- 前端静态网站（HTML/CSS/JS）：这是一个传统的静态网页应用，它在用户的浏览器中运行。您的HTML页面中的JavaScript会读取由爬虫生成的JSON文件，进行数据处理和展示。
由于这两部分运行环境不同，它们的部署策略也需要分开考虑。
Node.js爬虫脚本分析
您提供的index.js代码片段展示了使用Puppeteer抓取三个不同网站数据的过程，并将结果分别保存到arreglo2.json、arreglo.json和cotacaoFechamento.json文件中。
const puppeteer = require('puppeteer');
const fs = require('fs');
// 抓取第一个数据源
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://br.advfn.com/investimentos/futuros/di-depositos-interfinanceiros/cotacoes', {
waitUntil: 'load',
timeout: 0
});
const textNode = await page.evaluate(() => {
const nodeText = document.querySelector(".even.first").innerText;
return [nodeText];
});
fs.writeFile('arreglo2.json', JSON.stringify(textNode), err => {
if (err) throw new Error('algo deu errado');
console.log('deu certo');
});
await browser.close(); // 确保关闭浏览器实例
})();
// 抓取第二个数据源
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://br.tradingview.com/symbols/TVC-DXY/', {
waitUntil: 'load',
timeout: 0
});
const textNode = await page.evaluate(() => {
const nodeText = document.querySelector(".js-quote-ticker.tv-site-table__row.tv-widget-watch-list__row:nth-child(2)").children[1].children[1].children[0].innerHTML;
return [nodeText];
});
fs.writeFile('arreglo.json', JSON.stringify(textNode), err => {
if (err) throw new Error('algo deu errado');
console.log('deu certo');
});
await browser.close(); // 确保关闭浏览器实例
})();
// 抓取第三个数据源
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://br.advfn.com/bolsa-de-valores/fx/USDBRL/cotacao', {
waitUntil: 'load',
timeout: 0
});
const textNode = await page.evaluate(() => {
const nodeText = document.querySelector(".qs-current-price").innerText;
return [nodeText];
});
fs.writeFile('cotacaoFechamento.json', JSON.stringify(textNode), err => {
if (err) throw new Error('algo deu errado');
console.log('deu certo');
});
await browser.close(); // 确保关闭浏览器实例
})();注意事项：
- 浏览器实例管理： 在每个异步函数结束时，务必调用 await browser.close(); 来关闭Puppeteer启动的浏览器实例，以避免资源泄露。上述代码已在示例中补充。
- 错误处理： 确保文件写入等操作有健壮的错误处理机制。
- 路径： fs.writeFile 默认会将文件写入到执行脚本的当前工作目录。在部署时，需要确保脚本有写入该目录的权限。
自动化定时执行Node.js爬虫
为了实现每天早上8点自动运行index.js，我们需要利用操作系统的定时任务功能。
1. Windows系统：使用任务计划程序（Task Scheduler）
Windows任务计划程序是一个强大的工具，可以用来安排程序或脚本在特定时间自动运行。
配置步骤：
打开任务计划程序： 在Windows搜索栏中输入“任务计划程序”并打开。
创建基本任务： 在右侧“操作”面板中选择“创建基本任务...”。
-
任务名称和描述：
- 名称： 为任务指定一个有意义的名称，例如“每日爬虫数据更新”。
- 描述： 简要说明任务目的。
-
触发器：
- 选择“每天”。
- 设置开始日期和时间为第二天早上8:00 AM。
- 确保“重复任务”设置为每天。
-
操作：
- 选择“启动程序”。
- 程序或脚本： 填写您的Node.js可执行文件的完整路径。通常是 C:\Program Files\nodejs\node.exe (如果Node.js安装在默认位置)。
- 添加参数(可选)： 填写您的index.js脚本文件名，例如 index.js。
- 起始于(可选)： 填写您的index.js脚本所在的目录的完整路径，例如 C:\Users\YourUser\YourProjectFolder。这是非常关键的一步，因为fs.writeFile会在这个目录下创建JSON文件，并且Node.js会在这个目录下查找index.js。
示例配置：
- 程序或脚本： C:\Program Files\nodejs\node.exe
- 添加参数(可选)： index.js
- 起始于(可选)： C:\path\to\your\project\ (请替换为您的实际项目路径)
完成： 检查配置摘要，然后点击“完成”。
现在，您的Node.js爬虫将在每天早上8点自动运行。
2. Linux/macOS系统：使用Cron Jobs
如果您在Linux或macOS服务器上部署，可以使用cron来调度任务。
打开Crontab编辑器： 在终端中输入 crontab -e。
-
添加任务行： 在文件末尾添加一行，指定执行时间和命令。
0 8 * * * /usr/local/bin/node /path/to/your/project/index.js >> /path/to/your/project/cron.log 2>&1
- 0 8 * * *: 表示每天的8点0分执行。
- /usr/local/bin/node: Node.js可执行文件的完整路径（根据您的安装路径可能不同，可以通过 which node 命令查看）。
- /path/to/your/project/index.js: 您的index.js脚本的完整路径。
- >> /path/to/your/project/cron.log 2>&1: 将所有输出（包括错误）重定向到日志文件，便于调试。
部署前端静态网站
您的前端静态网站（HTML、CSS、处理JSON的JavaScript）可以像部署普通静态网站一样进行。
- 文件放置： 将所有静态文件（包括index.html、style.css、前端JavaScript文件以及由爬虫生成的arreglo.json、arreglo2.json、cotacaoFechamento.json等）放在同一个目录下。
-
选择托管服务：
- 本地服务器： 如果您希望在本地访问，可以使用XAMPP、Nginx、Apache或简单的Node.js静态文件服务器。确保JSON文件与HTML文件在同一个可访问的目录下。
- 云托管： 对于线上部署，可以使用GitHub Pages、Netlify、Vercel、Amazon S3等静态网站托管服务。
重要提示： 确保前端JavaScript能够通过相对路径正确访问到爬虫生成的JSON文件。这意味着爬虫生成的JSON文件需要与前端HTML文件部署在同一个Web服务器的可访问路径下。
理解CORS问题
您提到在本地直接打开file://协议的HTML文件时遇到CORS（跨域资源共享）错误。这是因为：
- 浏览器安全策略： 现代浏览器出于安全考虑，会限制通过file://协议加载的页面访问本地文件系统中的其他资源，尤其是通过XMLHttpRequest或fetch等API。这被视为跨域请求，即使它们都在您的本地硬盘上。
- Web服务器的作用： 当您通过XAMPP等Web服务器访问时（例如http://localhost/your_project/index.html），浏览器认为所有资源都来自同一个“源”（http://localhost），因此不会触发CORS限制。
解决方案：
由于您的Node.js爬虫是服务器端脚本，它直接通过fs.writeFile操作本地文件系统，不涉及浏览器中的HTTP请求，因此不会遇到CORS问题。前端应用通过Web服务器访问这些JSON文件时，如果HTML和JSON文件都来自同一个源，也不会有CORS问题。
总结与高级部署选项
通过以上步骤，您可以在Windows系统上实现Node.js爬虫的自动化运行，并通过Web服务器提供数据给前端静态网站。
高级部署选项：
- 云函数（Serverless Functions）: AWS Lambda、Google Cloud Functions、Azure Functions等服务允许您部署Node.js函数，并配置定时触发器（例如每天早上8点），无需管理服务器。这是更现代且通常更具成本效益的解决方案。
- 虚拟私有服务器（VPS）: 租用一台VPS（如AWS EC2、DigitalOcean Droplet），您可以在上面安装Node.js，并将爬虫部署上去。然后使用Linux的cron或Windows的Task Scheduler来定时执行。
- 容器化（Docker）: 将您的Node.js爬虫打包成Docker容器，可以在任何支持Docker的环境中运行，并配合容器编排工具（如Kubernetes）进行调度。
选择哪种部署方式取决于您的需求、预算以及对服务器管理的熟悉程度。对于个人项目，Windows任务计划程序或Linux Cron是最直接且免费的解决方案。
