Node.js 定时任务：集成第三方API数据并处理的最佳实践

npm install node-cron
# 或 yarn add node-cron

npm install axios
# 或 yarn add axios

// app.js 或您的主入口文件

const cron = require('node-cron');
const axios = require('axios');

// 假设您已经设置好了数据库连接
// 这里仅作示意，实际项目中您会使用Mongoose, Sequelize或其他数据库ORM/ODM
const db = {
    records: [], // 模拟数据库表
    insert: async (data) => {
        return new Promise(resolve => {
            setTimeout(() => { // 模拟异步数据库操作
                console.log(`[DB] 插入数据: ${JSON.stringify(data)}`);
                db.records.push(data);
                resolve({ success: true, data });
            }, 100);
        });
    }
};

// 第三方API的URL
const THIRD_PARTY_API_URL = 'https://api.example.com/data'; // 请替换为实际的API地址

/**
 * 核心任务函数：从API获取数据并存储
 */
async function fetchDataAndProcess() {
    console.log(`[任务] 正在执行数据抓取和处理任务... (${new Date().toLocaleString()})`);
    try {
        // 1. 从第三方API获取数据
        const response = await axios.get(THIRD_PARTY_API_URL);
        const apiData = response.data;

        // 2. 对获取到的数据进行处理
        // 假设API返回的数据结构是 { value: 123, unit: 'USD', timestamp: '...' }
        // 我们只关心 value 和生成一个本地时间戳
        const processedData = {
            value: apiData.value || Math.random() * 100, // 如果API没有value，则生成一个随机数
            timestamp: new Date().toISOString()
        };

        console.log(`[API] 成功获取数据: ${JSON.stringify(apiData)}`);
        console.log(`[处理] 准备存储数据: ${JSON.stringify(processedData)}`);

        // 3. 将处理后的数据存储到数据库
        await db.insert(processedData);
        console.log('[DB] 数据存储成功！');

    } catch (error) {
        console.error(`[错误] 执行任务失败: ${error.message}`);
        if (error.response) {
            console.error(`[错误] API响应状态码: ${error.response.status}`);
            console.error(`[错误] API响应数据: ${JSON.response.data}`);
        }
    }
}

// 定义定时任务
// '*/60 * * * * *' 表示每60秒执行一次 (秒 分 时 日 月 周)
// 更常见的写法是 '0 */1 * * * *' 表示每分钟的第0秒执行一次
// 或者 '*/1 * * * *' (如果秒字段省略，默认为0，即每分钟执行一次)
const job = cron.schedule('*/60 * * * * *', fetchDataAndProcess, {
    scheduled: true, // 立即调度任务
    timezone: "Asia/Shanghai" // 可选：设置时区
});

console.log('定时任务已启动，每60秒执行一次...');

// 在应用关闭时停止任务 (可选，但推荐在生产环境中考虑)
process.on('SIGINT', () => {
    console.log('接收到 SIGINT 信号，停止定时任务...');
    job.stop();
    console.log('定时任务已停止。');
    process.exit();
});

// 为了让示例能够运行，您可以创建一个模拟的API服务器，或者将 THIRD_PARTY_API_URL 替换为公共的测试API
// 例如，使用 jsonplaceholder 作为测试API:
// const THIRD_PARTY_API_URL = 'https://jsonplaceholder.typicode.com/todos/1';
// 此时 processedData 需要根据实际返回结构调整