Node.js与Express应用中的数据缓存与内存管理实践

let data = null; // 全局变量

// 定时任务，每30秒更新数据
setInterval(async () => {
    try {
        data = await collection.find({ /* ...查询条件... */ }).lean();
    } catch (error) {
        console.error(error);
    }
}, 30000);

// API请求处理函数
export async function main(req, reply) {
    try {
        let datares = data; // 直接引用全局数据
        reply.status(200).send(datares);
        datares = null; // 此处赋值null对全局变量无效
    } catch (err) {
        reply.status(500).send({ message: err.message });
        console.log('err', err.message);
    }
}

// cacheService.js
const { MongoClient } = require('mongodb'); // 假设已配置MongoDB连接
const MONGODB_URI = 'mongodb://localhost:27017/your_database'; // 替换为你的MongoDB URI
const DB_NAME = 'your_database'; // 替换为你的数据库名
const COLLECTION_NAME = 'your_collection'; // 替换为你的集合名

let cachedData = null; // 存储缓存数据的变量
let intervalId = null; // 用于存储setInterval的ID，以便后续清理
let isFetching = false; // 标记是否正在进行数据获取，避免重复触发

/**
 * 从数据库获取最新数据并更新缓存。
 * @returns {Promise<void>}
 */
async function fetchDataFromDB() {
    if (isFetching) {
        console.log('Data fetch already in progress, skipping.');
        return;
    }
    isFetching = true;
    let client;
    try {
        console.log('Fetching data from MongoDB...');
        client = await MongoClient.connect(MONGODB_URI, { useNewUrlParser: true, useUnifiedTopology: true });
        const db = client.db(DB_NAME);
        const collection = db.collection(COLLECTION_NAME);

        const data = await collection.find({
            data: { $ne: 'old'},
            $or: [
                { "currentRanks.minuteTokenRank": {$lt: 51} },
                { "currentRanks.fiveMinuteTokenRank": {$lt: 51} },
                { "currentRanks.fifteenMinuteTokenRank": {$lt: 51} },
                { "currentRanks.thirtyMinuteTokenRank": {$lt: 51} },
                { "currentRanks.hourlyTokenRank": {$lt: 51} },
                { "currentRanks.dailyTokenRank": {$lt: 51} },
                { "currentRanks.weeklyTokenRank": {$lt: 51} }
            ]
        }).lean().toArray(); // 使用.toArray()获取所有结果

        cachedData = data; // 更新缓存数据
        console.log('Data fetched and cached successfully.');
    } catch (error) {
        console.error('Error fetching data for cache:', error);
        // 如果获取失败，可以选择保留旧的cachedData，或者将其设置为null
        // cachedData = null;
    } finally {
        isFetching = false;
        if (client) {
            await client.close();
        }
    }
}

/**
 * 启动数据缓存服务，包括立即获取一次数据和设置定时更新。
 * @param {number} intervalMs - 数据更新间隔（毫秒）。
 */
function startDataCaching(intervalMs = 30000) {
    // 确保在应用启动时立即获取一次数据
    fetchDataFromDB();
    // 设置定时器，定期更新数据
    intervalId = setInterval(fetchDataFromDB, intervalMs);
    console.log(`Data caching service started with update interval: ${intervalMs / 1000} seconds.`);
}

/**
 * 停止数据缓存服务，清除定时器。
 */
function stopDataCaching() {
    if (intervalId) {
        clearInterval(intervalId);
        console.log('Data caching service stopped.');
    }
}

/**
 * 获取当前缓存的数据。
 * @returns {Array|null} 缓存的数据。
 */
function getCachedData() {
    return cachedData;
}

module.exports = {
    startDataCaching,
    stopDataCaching,
    getCachedData
};

// app.js
const express = require('express');
const cacheService = require('./cacheService'); // 引入缓存服务模块
const app = express();
const PORT = process.env.PORT || 3000;

// 应用初始化函数
async function initializeApp() {
    // 启动数据缓存服务，例如每30秒更新一次
    cacheService.startDataCaching(30000);

    // 定义API路由
    app.get('/api/data', (req, res) => {
        const data = cacheService.getCachedData();
        if (data) {
            res.status(200).send(data);
        } else {
            // 数据尚未加载或加载失败，返回503 Service Unavailable
            res.status(503).send({ message: 'Data not yet available or still fetching. Please try again shortly.' });
        }
    });

    // 启动Express服务器
    app.listen(PORT, () => {
        console.log(`Server running on port ${PORT}`);
    });

    // 优雅停机处理
    process.on('SIGTERM', () => {
        console.log('SIGTERM signal received: closing HTTP server');
        cacheService.stopDataCaching(); // 停止缓存定时器
        // 如果有其他资源（如数据库连接池），也在此处关闭
        // server.close(() => { // 如果app.listen返回了server对象
        //     console.log('HTTP server closed');
        //     process.exit(0);
        // });
        process.exit(0); // 直接退出进程
    });

    process.on('SIGINT', () => { // Ctrl+C
        console.log('SIGINT signal received: closing HTTP server');
        cacheService.stopDataCaching(); // 停止缓存定时器
        process.exit(0);
    });
}

// 调用初始化函数
initializeApp();