Pinecone中高效检索指定命名空间下所有向量的策略与实践

import { PineconeClient } from '@pinecone-database/pinecone';
import { Configuration, OpenAIApi } from 'openai';

// 初始化OpenAI客户端用于生成嵌入向量
const openaiConfig = new Configuration({
    apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(openaiConfig);

// 初始化Pinecone客户端
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 查询Pinecone索引以检索指定命名空间下的所有向量。
 * @param {string} queryText 用于生成查询向量的文本（在此场景下内容不重要）。
 * @param {number} numberOfResults 期望返回的最大结果数量（topK）。
 * @returns {Promise<void>}
 */
const queryAllVectorsInNamespace = async (queryText, numberOfResults) => {
    // 1. 生成一个查询嵌入向量
    // 即使查询文本的语义不重要，我们也需要一个有效的向量来发起查询。
    const response = await openai.createEmbedding({
        model: "text-embedding-ada-002",
        input: queryText,
    });
    const vector = response?.data?.data[0]?.embedding;

    if (!vector) {
        console.error("未能生成有效的嵌入向量。");
        return;
    }
    console.log("查询向量已生成。");

    // 2. 获取Pinecone索引实例
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);

    // 3. 执行查询操作
    const queryResponse = await index.query({
        queryRequest: {
            vector: vector, // 使用生成的查询向量
            topK: numberOfResults, // 关键：设置为一个足够大的值以获取所有向量
            includeValues: true, // 是否包含向量值本身
            includeMetadata: true, // 是否包含向量的元数据
            namespace: process.env.PINECONE_NAME_SPACE // 指定要查询的命名空间
        }
    });

    // 4. 处理查询结果
    if (queryResponse.matches && queryResponse.matches.length > 0) {
        queryResponse.matches.forEach(eachMatch => {
            console.log(`ID: ${eachMatch.id}, Score: ${eachMatch.score.toFixed(4)} => Metadata: ${JSON.stringify(eachMatch.metadata)}\n`);
        });
        console.log(`成功检索到 ${queryResponse.matches.length} 条记录。`);
    } else {
        console.log("未在指定命名空间中找到任何记录。");
    }
};

// 示例调用：假设我们知道命名空间中最多有100个向量
// 这里的 "any text or empty string" 仅用于生成一个有效的嵌入向量，其语义不影响结果。
queryAllVectorsInNamespace("any text or empty string", 100)
    .catch(error => console.error("查询失败:", error));

import { PineconeClient } from '@pinecone-database/pinecone';

// 初始化Pinecone客户端
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 获取Pinecone索引的统计信息，包括各命名空间的向量数量。
 * @returns {Promise<void>}
 */
const getIndexStats = async () => {
    try {
        // 1. 获取索引列表（可选，用于确认索引名称）
        const indexesList = await pinecone.listIndexes();
        console.log("现有索引列表: ", indexesList);

        // 2. 获取指定索引的统计信息
        const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);
        const indexStats = await index.describeIndexStats({
            describeIndexStatsRequest: {
                // 可以添加过滤器以获取特定命名空间的统计，此处留空表示获取所有。
                filter: {}, 
            },
        });
        console.log("索引统计信息: ", indexStats);

        // 解析并打印特定命名空间的向量计数
        const namespaceName = process.env.PINECONE_NAME_SPACE;
        const namespaceStats = indexStats.namespaces?.[namespaceName];
        if (namespaceStats) {
            console.log(`命名空间 '${namespaceName}' 中包含 ${namespaceStats.vectorCount} 个向量。`);
        } else {
            console.log(`未找到命名空间 '${namespaceName}' 的统计信息。`);
        }

    } catch (error) {
        console.error("获取索引统计信息失败:", error);
    }
};

// 示例调用
getIndexStats();