利用 Vercel KV 优化 Node.js API 数据缓存与检索策略

const post = {
    id: "post-12345",
    userId: "user-abcde",
    title: "Vercel KV 入门指南",
    content: "这是一篇关于 Vercel KV 如何用于缓存的教程。",
    date: new Date().toISOString()
};

// kv.ts (或你的 KV 客户端模块)
import { createClient } from '@vercel/kv';

export const kv = createClient({
  url: process.env.KV_REST_API_URL,
  token: process.env.KV_REST_API_TOKEN,
});

import { kv } from './kv'; // 导入 KV 客户端

/**
 * 存储单个帖子及其与用户的关联
 * @param {object} post - 帖子对象，包含 id 和 userId
 */
async function storePostInKV(post) {
    try {
        // 1. 将帖子详情存储为哈希表
        // kv.hset(key, field1, value1, field2, value2, ...)
        // 或者 kv.hset(key, { field1: value1, field2: value2, ... })
        await kv.hset(`post:${post.id}`, post);
        console.log(`Post ${post.id} details stored in KV.`);

        // 2. 将帖子 ID 添加到用户帖子集合中
        await kv.sadd(`user-posts:${post.userId}`, post.id);
        console.log(`Post ${post.id} added to user ${post.userId}'s set.`);

        // 可选：设置缓存过期时间 (TTL)
        // await kv.expire(`post:${post.id}`, 3600); // 1小时后过期
        // await kv.expire(`user-posts:${post.userId}`, 3600); // 1小时后过期

    } catch (error) {
        console.error("Error storing post in KV:", error);
        throw error;
    }
}

// 示例调用
// const newPost = { id: "post-67890", userId: "user-abcde", title: "KV 缓存实践", content: "...", date: new Date().toISOString() };
// storePostInKV(newPost);

import { kv } from './kv'; // 导入 KV 客户端

/**
 * 从 KV 检索指定用户的所有帖子
 * @param {string} userId - 用户 ID
 * @returns {Promise<Array<object>>} - 帖子对象数组
 */
async function getUserPostsFromKV(userId) {
    try {
        // 1. 获取用户的所有帖子 ID
        const postIds = await kv.smembers(`user-posts:${userId}`);
        if (!postIds || postIds.length === 0) {
            console.log(`No posts found for user ${userId} in KV.`);
            return [];
        }

        console.log(`Found ${postIds.length} post IDs for user ${userId} in KV.`);

        // 2. 批量获取每个帖子的详细信息
        // 使用 Promise.all 异步并行获取所有帖子详情
        const postDetailsPromises = postIds.map(postId => kv.hgetall(`post:${postId}`));
        const posts = await Promise.all(postDetailsPromises);

        // 过滤掉可能为 null 的结果（如果某个帖子详情键已过期或不存在）
        return posts.filter(post => post !== null);

    } catch (error) {
        console.error("Error retrieving user posts from KV:", error);
        throw error;
    }
}

// 示例调用
// getUserPostsFromKV("user-abcde").then(posts => {
//     console.log("Retrieved user posts:", posts);
// });

// server.js (或你的 Express 路由文件)
import express from 'express';
import { kv } from './kv'; // 导入 KV 客户端
import User from './models/User'; // 假设你的 MongoDB User 模型

const router = express.Router();

router.get('/posts', async (req, res) => {
    const page = Number(req.query.page) || 1;
    const limit = Number(req.query.limit) || 50;
    const skip = (page - 1) * limit;

    // 为当前请求生成一个唯一的缓存键
    const cacheKey = `posts:page:${page}:limit:${limit}`;

    try {
        // 1. 尝试从 Vercel KV 获取缓存数据
        const cachedResult = await kv.get(cacheKey);
        if (cachedResult) {
            console.log(`Serving posts from KV cache for ${cacheKey}`);
            return res.json(cachedResult);
        }

        // 2. 如果缓存未命中，从 MongoDB 获取数据
        console.log(`Cache miss for ${cacheKey}, fetching from MongoDB.`);
        const result = await User.aggregate([
            { $project: { posts: 1 } },
            { $unwind: '$posts' },
            { $project: { postImage: '$posts.post', date: '$posts.date' } },
            { $sort: { date: -1 } },
            { $skip: skip },
            { $limit: limit },
        ]);

        // 3. 将从 MongoDB 获取的数据存入 Vercel KV，并设置过期时间
        // 注意：这里直接缓存了整个结果数组。如果需要更细粒度的控制，
        // 可以将每个帖子单独存储，然后缓存一个包含帖子 ID 的列表。
        await kv.set(cacheKey, result, { ex: 3600 }); // 缓存 1 小时 (3600秒)
        console.log(`Posts for ${cacheKey} stored in KV with TTL.`);

        // 4. 返回数据给用户
        res.json(result);

    } catch (err) {
        console.error('Error in /posts API:', err);
        res.status(500).json({ message: 'Internal server error' });
    }
});

export default router;

router.get('/users/:userId/posts', async (req, res) => {
    const userId = req.params.userId;
    const cacheKey = `user-posts-list:${userId}`; // 缓存键

    try {
        // 1. 尝试从 KV 获取缓存的用户帖子 ID 列表
        const cachedPostIds = await kv.smembers(cacheKey); // 注意：这里直接缓存了 ID 集合
        if (cachedPostIds && cachedPostIds.length > 0) {
            console.log(`Serving user ${userId} posts (IDs) from KV cache.`);
            // 批量获取帖子详情
            const postDetailsPromises = cachedPostIds.map(postId => kv.hgetall(`post:${postId}`));
            const posts = await Promise.all(postDetailsPromises);
            return res.json(posts.filter(p => p !== null));
        }

        // 2. 缓存未命中，从 MongoDB 获取用户帖子
        console.log(`Cache miss for user ${userId} posts, fetching from MongoDB.`);
        // 假设你的 MongoDB 查询可以获取某个用户的所有帖子
        const userPostsFromDB = await User.aggregate([
            { $match: { _id: new mongoose.Types.ObjectId(userId) } }, // 匹配特定用户
            { $project: { posts: 1 } },
            { $unwind: '$posts' },
            { $project: { postImage: '$posts.post', date: '$posts.date', _id: '$posts._id' } }, // 假设帖子有自己的_id
            { $sort: { date: -1 } },
        ]);

        if (userPostsFromDB.length > 0) {
            // 3. 将从 MongoDB 获取的每个帖子存储到 KV，并更新用户帖子 ID 集合
            const storePromises = userPostsFromDB.map(async (post) => {
                const postId = post._id.toString(); // 确保 ID 是字符串
                await kv.hset(`post:${postId}`, {
                    id: postId,
                    userId: userId,
                    postImage: post.postImage,
                    date: post.date.toISOString()
                    // ... 其他帖子字段
                });
                await kv.sadd(cacheKey, postId); // 将 ID 加入用户集合
            });
            await Promise.all(storePromises);
            await kv.expire(cacheKey, 3600); // 设置用户帖子 ID 集合的过期时间

            console.log(`User ${userId} posts stored in KV and cache updated.`);
        }

        // 4. 返回数据
        res.json(userPostsFromDB);

    } catch (err) {
        console.error(`Error in /users/${userId}/posts API:`, err);
        res.status(500).json({ message: 'Internal server error' });
    }
});