Node.js Express应用中高效利用内存缓存与定时数据更新策略

let data = null; // 全局变量

// 定时任务，每30秒更新数据
setInterval(async () => {
    try {
        data = await collection.find({ /* ...查询条件... */ }).lean();
    } catch (error) {
        console.error(error);
        return;
    }
}, 30000);

// API请求处理函数
export async function main(req, reply) {
    try {
        let datares = data; // 直接引用全局缓存数据
        reply.status(200).send(datares);
        datares = null; // 此行代码无效，不会帮助垃圾回收全局data
    } catch ((err) => {
        reply.status(500).send({ message: err.message })
        console.log('err', err.message)
    })
}

// dataCache.js
let cachedData = null; // 模块级变量，用于存储缓存数据
let isUpdating = false; // 标志位，防止并发更新

/**
 * 从MongoDB获取最新数据并更新缓存。
 * @returns {Promise<void>}
 */
async function updateCache() {
    if (isUpdating) {
        console.warn('缓存更新已在进行中，跳过此周期。');
        return;
    }
    isUpdating = true; // 设置更新标志
    try {
        // 假设 'collection' 是已初始化的MongoDB集合对象
        // 在实际应用中，'collection' 应通过参数传入或在模块内部初始化
        const newData = await collection.find({
            data: { $ne: 'old' },
            $or: [
                { "currentRanks.minuteTokenRank": { $lt: 51 } },
                { "currentRanks.fiveMinuteTokenRank": { $lt: 51 } },
                { "currentRanks.fifteenMinuteTokenRank": { $lt: 51 } },
                { "currentRanks.thirtyMinuteTokenRank": { $lt: 51 } },
                { "currentRanks.hourlyTokenRank": { $lt: 51 } },
                { "currentRanks.dailyTokenRank": { $lt: 51 } },
                { "currentRanks.weeklyTokenRank": { $lt: 51 } }
            ]
        }).lean();
        cachedData = newData; // 原子性更新引用，旧数据可被GC
        console.log('缓存更新成功。');
    } catch (error) {
        console.error('更新缓存失败:', error);
        // 错误处理：可以选择保留旧数据，或将缓存设为null
    } finally {
        isUpdating = false; // 重置更新标志
    }
}

/**
 * 初始化缓存并设置周期性更新。
 * 建议在应用启动时调用一次。
 * @param {number} intervalMs - 更新间隔（毫秒）。
 * @returns {Promise<void>}
 */
async function initializeCache(intervalMs = 30000) {
    console.log('执行初始缓存加载...');
    await updateCache(); // 确保应用启动时即有数据

    // 设置周期性更新
    setInterval(updateCache, intervalMs);
    console.log(`缓存已设置为每 ${intervalMs / 1000} 秒更新一次。`);
}

/**
 * 获取当前缓存的数据。
 * @returns {Array|null} 缓存数据，如果尚未加载或加载失败则为null。
 */
function getCachedData() {
    return cachedData;
}

export { initializeCache, getCachedData };

// app.js
import express from 'express';
import { initializeCache, getCachedData } from './dataCache.js';
// 假设 'collection' 是你的MongoDB集合对象，已正确初始化
// 实际应用中，你需要从你的数据库连接模块导入或获取 'collection'
const collection = { // 模拟MongoDB collection对象，仅用于示例
    find: () => ({
        lean: () => Promise.resolve([
            { id: 1, name: '商品A', currentRanks: { minuteTokenRank: 5 } },
            { id: 2, name: '商品B', currentRanks: { fiveMinuteTokenRank: 15 } }
        ])
    })
};

const app = express();
const PORT = 3000;

// 在启动Express服务器之前初始化缓存
initializeCache(30000) // 每30秒更新一次
    .then(() => {
        // 定义API路由
        app.get('/api/data', (req, res) => {
            const data = getCachedData();
            if (data) {
                res.status(200).json(data);
            } else {
                // 处理缓存尚未加载或加载失败的情况
                res.status(503).send({ message: '数据暂不可用或缓存更新失败。' });
            }
        });

        app.listen(PORT, () => {
            console.log(`服务器运行在 http://localhost:${PORT}`);
        });
    })
    .catch(error => {
        console.error('应用初始化失败，缓存加载出错:', error);
        process.exit(1); // 关键初始化失败时退出应用
    });