Pinecone教程：高效获取命名空间内所有向量及索引统计

import { PineconeClient } from "@pinecone-database/pinecone";
import { Configuration, OpenAIApi } from "openai";

// 初始化OpenAI客户端
const configuration = new Configuration({
    apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);

// 初始化Pinecone客户端
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 查询Pinecone索引以获取指定命名空间下的所有向量
 * @param {string} queryText 用于生成查询向量的任意文本
 * @param {number} numberOfResults 期望返回的最大结果数量 (topK)
 * @returns {Promise<void>}
 */
const fetchAllVectorsInNamespace = async (queryText, numberOfResults) => {
    // 1. 生成查询向量（即使是任意文本，也需要生成一个向量）
    const response = await openai.createEmbedding({
        model: "text-embedding-ada-002",
        input: queryText,
    });
    const vector = response?.data?.data[0]?.embedding;
    console.log("Generated query vector.");

    // 2. 连接到Pinecone索引
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);

    // 3. 执行查询，设置大topK和目标命名空间
    const queryResponse = await index.query({
        queryRequest: {
            vector: vector, // 任意查询向量
            topK: numberOfResults, // 设置足够大的topK值
            includeValues: true, // 如果需要获取向量值本身
            includeMetadata: true, // 如果需要获取元数据
            namespace: process.env.PINECONE_NAME_SPACE // 目标命名空间
        }
    });

    // 4. 处理查询结果
    if (queryResponse.matches && queryResponse.matches.length > 0) {
        queryResponse.matches.map(eachMatch => {
            console.log(`ID: ${eachMatch.id}, Score: ${eachMatch.score.toFixed(4)}, Metadata: ${JSON.stringify(eachMatch.metadata)}\n`);
        });
        console.log(`\n成功获取 ${queryResponse.matches.length} 条记录。`);
    } else {
        console.log("未找到任何记录。");
    }
};

// 调用函数，例如获取最多10000个向量
fetchAllVectorsInNamespace("placeholder query text", 10000);

import { PineconeClient } from "@pinecone-database/pinecone";

// 初始化Pinecone客户端
const pinecone = new PineconeClient();
await pinecone.init({
    environment: process.env.PINECONE_ENVIRONMENT,
    apiKey: process.env.PINECONE_API_KEY,
});

/**
 * 获取Pinecone索引的统计信息
 * @returns {Promise<void>}
 */
const getIndexStatistics = async () => {
    // 可选：列出所有索引，确认目标索引存在
    const indexesList = await pinecone.listIndexes();
    console.log("现有索引列表: ", indexesList);

    // 连接到目标索引
    const index = pinecone.Index(process.env.PINECONE_INDEX_NAME);

    // 获取索引统计信息
    const indexStats = await index.describeIndexStats({
        describeIndexStatsRequest: {
            // filter: {}, // 可以添加过滤器来获取特定子集的统计，此处为空表示获取所有
        },
    });
    console.log("索引统计信息: ", JSON.stringify(indexStats, null, 2));

    // 解析并打印各命名空间的向量数量
    if (indexStats.namespaces) {
        console.log("\n各命名空间向量数量:");
        for (const namespaceName in indexStats.namespaces) {
            const namespaceStats = indexStats.namespaces[namespaceName];
            console.log(`- 命名空间 '${namespaceName}': ${namespaceStats.vectorCount} 个向量`);
        }
    } else {
        console.log("未找到命名空间统计信息。");
    }
};

// 调用函数
getIndexStatistics();