本文详细介绍了在langchain.js应用中追踪openai模型token消耗和计算成本的方法。针对langchain.py中`get_openai_callback()`在js框架中缺失的问题，文章提出并演示了利用`chatopenai`实例的`callbacks`属性，特别是`handlellmend`回调函数来捕获每次llm调用后的`tokenusage`数据。通过累加这些数据，开发者可以有效监控和管理链式运行中的资源消耗。
在开发基于LangChain.js和OpenAI的项目时，准确追踪每次大型语言模型（LLM）调用的Token消耗及其产生的成本是项目管理和性能优化的关键环节。然而，许多开发者发现LangChain.js框架中缺少像其Python对应版本那样直观的get_openai_callback()方法，这使得Token使用量的监控变得复杂。本文将提供一个在LangChain.js中有效追踪Token消耗的专业教程。
理解LangChain.js中的Token追踪挑战
与LangChain.py提供的get_openai_callback()便捷函数不同，LangChain.js在早期版本中并未直接提供一个等效的全局回调机制来汇总所有链式操作的Token使用情况。开发者尝试通过模拟或使用LangChain chatbot提供的非官方代码（例如chain.getOpenAICallback(chainRunId)）往往会遇到函数不存在的错误。这表明我们需要深入到LangChain.js的内部机制来找到解决方案。
解决方案：利用LLM回调函数（handleLLMEnd）
LangChain.js提供了一个灵活的回调系统，允许开发者在LLM生命周期的不同阶段注入自定义逻辑。对于追踪Token消耗，最有效的方法是在LLM调用结束时触发的回调函数——handleLLMEnd。
当LLM完成一次推理请求时，handleLLMEnd回调会被调用，并提供包含Token使用详情的output对象。通过解析这个对象，我们可以获取到promptTokens（输入Token）、completionTokens（输出Token）以及totalTokens（总Token）等关键数据。
实现步骤
- 导入必要的模块： 首先需要从langchain/chat_models/openai中导入ChatOpenAI。
- 定义Token计数器： 初始化全局变量来累加不同类型的Token使用量。
- 配置ChatOpenAI实例： 在创建ChatOpenAI实例时，通过callbacks属性注入一个包含handleLLMEnd函数的数组。
- 在handleLLMEnd中捕获Token数据： 在handleLLMEnd函数内部，从output.llmOutput?.tokenUsage中提取Token数据，并将其累加到预定义的计数器中。
示例代码
import { ChatOpenAI } from 'langchain/chat_models/openai';
// 初始化全局变量来累加Token使用量
let totalCompletionTokens = 0;
let totalPromptTokens = 0;
let totalExecutionTokens = 0; // 可以理解为总的输入+输出Token
// 创建ChatOpenAI实例并配置回调
const llm = new ChatOpenAI({
callbacks: [
{
/**
* handleLLMEnd 在每次LLM调用完成后触发。
* @param {Object} output - LLM调用的输出结果。
* @param {string} runId - 当前运行的唯一ID。
* @param {string} [parentRunId] - 父运行的ID（如果存在）。
* @param {string[]} [tags] - 与当前运行相关的标签。
*/
handleLLMEnd: (output, runId, parentRunId?, tags?) => {
// 从 output.llmOutput?.tokenUsage 中提取Token使用详情
// 注意：使用 ?? 0 确保在属性不存在时默认为0，避免NaN
const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};
totalCompletionTokens += completionTokens ?? 0;
totalPromptTokens += promptTokens ?? 0;
totalExecutionTokens += totalTokens ?? 0;
console.log(`--- LLM Run ${runId} Ended ---`);
console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
console.log(`Completion Tokens: ${completionTokens ?? 0}`);
console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
console.log(`Accumulated Prompt Tokens: ${totalPromptTokens}`);
console.log(`Accumulated Completion Tokens: ${totalCompletionTokens}`);
console.log(`Accumulated Total Tokens: ${totalExecutionTokens}`);
console.log('------------------------------');
},
},
],
// 重要的注意事项：
// 1. 确保使用 ChatOpenAI 而不是 OpenAI (因为 tokenUsage 在 ChatOpenAI 中更可靠)。
// 2. 对于某些版本的 LangChain.js 和 OpenAI 模型，
// 'gpt-3.5-turbo-0613' 或更新的模型版本可能更稳定地返回 tokenUsage 数据。
modelName: 'gpt-3.5-turbo-0613',
temperature: 0.7,
});
// 示例：使用配置好的LLM进行一次调用
async function runExample() {
console.log("Starting LLM call...");
const result = await llm.call("What is the capital of France?");
console.log("LLM call finished. Result:", result);
// 再次调用，观察Token累加
console.log("\nStarting second LLM call...");
const result2 = await llm.call("Tell me a short story about a brave knight.");
console.log("Second LLM call finished. Result:", result2);
console.log("\n--- Final Accumulated Token Usage ---");
console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);
}
runExample();注意事项与最佳实践
- 模型兼容性： 并非所有OpenAI模型或LangChain.js版本都能稳定地在handleLLMEnd中返回tokenUsage数据。根据经验，使用ChatOpenAI类以及如gpt-3.5-turbo-0613或更新的gpt-4系列模型，可以更可靠地获取这些信息。如果遇到Token数据缺失，请检查您的LangChain.js版本和所使用的OpenAI模型。
- ChatOpenAI vs OpenAI： 在LangChain.js中，ChatOpenAI类通常用于与基于聊天完成API的模型（如GPT-3.5 Turbo, GPT-4）交互，而OpenAI类则用于更早期的文本完成API（如text-davinci-003）。实践证明，ChatOpenAI在提供tokenUsage信息方面更为稳定和可靠。
- 成本计算： 一旦获得了Token使用量，就可以根据OpenAI的官方定价模型（通常以每千个Token的价格计算）来估算成本。例如，如果totalPromptTokens是10000，totalCompletionTokens是5000，而某个模型的输入Token价格是$0.0015/1K Token，输出Token价格是$0.002/1K Token，则总成本可以计算为 (10000/1000)*$0.0015 + (5000/1000)*$0.002。
- 异步累加： 如果您的应用涉及多个并发的LLM调用，确保您的Token计数器处理并发更新。在上述简单示例中，全局变量在单线程异步环境中是可行的，但在更复杂的并发场景中，可能需要使用更高级的同步机制或将Token计数封装在更精细的上下文对象中。
- 自定义回调： 除了handleLLMEnd，LangChain.js还提供了handleLLMStart、handleChainStart、handleAgentEnd等多种回调函数，可以根据需要进行扩展，以实现更细粒度的监控和日志记录。
总结
尽管LangChain.js在Token追踪方面没有Python版本那样直接的get_openai_callback()函数，但通过利用其强大的回调系统，特别是ChatOpenAI实例的handleLLMEnd方法，我们依然能够有效地捕获并累加每次LLM调用的Token使用量。这种方法不仅为成本管理提供了基础数据，也为优化LLM链的性能和效率提供了宝贵的洞察。开发者应根据实际项目需求和LangChain.js版本选择合适的模型和回调策略，以确保数据追踪的准确性和可靠性。
