LangChain.js中追踪OpenAI模型Token用量与成本的实现指南

// 这是一个错误的尝试，该函数在LangChain.js中不存在
const { Chain } = require("langchain");

async function getChainRunCost(chainRunId) {
  const chain = new Chain();
  const callback = await chain.getOpenAICallback(chainRunId); // ❌ 此函数不存在
  const cost = callback.cost;
  return cost;
}

import { ChatOpenAI } from 'langchain/chat_models/openai';
import { HumanMessage } from 'langchain/schema'; // 用于构造Chat模型输入

// 定义全局变量用于累计Token用量
// 在实际应用中，这些变量可能需要存储在更持久的存储中，或与用户会话关联
let totalCompletionTokens = 0;
let totalPromptTokens = 0;
let totalExecutionTokens = 0;

// 初始化ChatOpenAI模型实例，并配置回调
const llm = new ChatOpenAI({
    // 配置回调函数数组
    callbacks: [
      {
        /**
         * 在LLM调用结束时触发
         * @param {object} output - LLM调用的输出结果
         * @param {string} runId - 当前运行的唯一ID
         * @param {string} [parentRunId] - 父级运行的ID
         * @param {string[]} [tags] - 与运行相关的标签
         */
        handleLLMEnd: (output, runId, parentRunId, tags) => {
          // 从输出中提取Token用量信息
          // 注意：llmOutput?.tokenUsage 结构可能因模型和版本而异，建议进行空值检查
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          // 累计Token用量
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ID: ${runId} ---`);
          console.log(`  Prompt Tokens (本次): ${promptTokens ?? 0}`);
          console.log(`  Completion Tokens (本次): ${completionTokens ?? 0}`);
          console.log(`  Total Tokens (本次): ${totalTokens ?? 0}`);
          console.log(`  累计 Prompt Tokens: ${totalPromptTokens}`);
          console.log(`  累计 Completion Tokens: ${totalCompletionTokens}`);
          console.log(`  累计 Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    modelName: 'gpt-3.5-turbo-0613', // 推荐使用此模型版本以确保Token追踪的准确性
    temperature: 0.7, // 其他LLM配置，例如温度
    // openaiApiKey: process.env.OPENAI_API_KEY, // 确保您的API Key已配置
});

// 示例：如何使用这个LLM实例进行多次调用
async function runTokenTrackingExample() {
    console.log("--- 第一次LLM调用 ---");
    const response1 = await llm.call([
        new HumanMessage('请用一句话介绍大型语言模型。')
    ]);
    console.log("Response 1:", response1.content);

    console.log("\n--- 第二次LLM调用 ---");
    const response2 = await llm.call([
        new HumanMessage('请简述LangChain框架的核心作用。')
    ]);
    console.log("Response 2:", response2.content);

    console.log("\n--- 所有LLM调用结束 ---");
    console.log(`最终累计 Prompt Tokens: ${totalPromptTokens}`);
    console.log(`最终累计 Completion Tokens: ${totalCompletionTokens}`);
    console.log(`最终累计 Total Tokens: ${totalExecutionTokens}`);

    // 根据Token用量估算成本 (示例，实际成本请参考OpenAI定价)
    // 以下价格基于GPT-3.5 Turbo 0613模型，请查阅最新官方定价
    const promptCostPerKToken = 0.0015; // 每千个输入Token的价格 (美元)
    const completionCostPerKToken = 0.002; // 每千个输出Token的价格 (美元)

    const estimatedCost = 
        (totalPromptTokens / 1000) * promptCostPerKToken + 
        (totalCompletionTokens / 1000) * completionCostPerKToken;

    console.log(`估算总成本: $${estimatedCost.toFixed(6)}`);
}

// 运行示例函数
runTokenTrackingExample();