什么是tokens?tokens怎么计算?

Tokens是AI模型处理文本的基本单位，可为单词、字或标点；英文中1词约1-2个tokens，中文1字约1-3个tokens，因分词方式不同导致中英文token数量差异。

Tokens可以被理解为人工智能模型处理文本时的基本单位。模型在理解和生成语言时，并不是直接处理单词或字符，而是先将文本分解成一个个的“tokens”。一个token可以是一个完整的单词，也可以是一个单词的一部分，甚至是一个标点符号。

2025年虚拟货币主流交易所：

币安官网直达： 

欧易官网直达： 

火币官网直达： 

什么是Tokens？

在大型语言模型（LLM）的世界里，tokens是构成所有文本的基础模块。就像积木一样，模型使用这些tokens来构建和解析句子、段落乃至整篇文章。这种方式让模型能够更高效地处理语言的复杂性。

为什么不直接使用单词？

直接使用单词作为单位会遇到一些问题。例如，词汇表会变得异常庞大，包含各种时态、单复数和衍生词（如 run, running, ran）。同时，模型也无法处理从未见过的词汇。通过使用tokens，尤其是“子词”（subword）单位，模型可以将“unbelievable”分解成 un、believe 和 able 这样的部分。这大大减小了词汇表的规模，并增强了模型处理未知词汇的能力。

Tokens怎么计算？

Tokens的计算没有一个固定的通用公式，它完全取决于训练该模型时所使用的 分词器（Tokenizer）。不同的模型会使用不同的分词算法和词汇表，导致对同一段文本的token计算结果也不同。

常见的计算方法

现代模型大多采用基于 子词（Subword） 的算法，例如BPE（Byte-Pair Encoding）或WordPiece。其基本思想如下：

第一步： 统计文本语料库中字符组合的频率。

第二步： 将出现频率最高的相邻字符或字符组进行合并，形成一个新的、更大的单位（一个token）。

第三步： 重复这个过程，直到达到预设的词汇表大小。最终，常见单词（如 “the”、“is”）本身会成为一个token，而较长或不常见的词则由几个子词token组合而成。

中英文Tokens计算的差异

对于英文：

通常情况下，一个单词约等于1到2个tokens。短而常见的单词（如“a”, “go”）通常是1个token。较长的单词或带有前缀后缀的词可能会被拆分成多个tokens。一个粗略的经验法则是，100个tokens大约对应75个英文单词。

例如：“I love artificial intelligence.” 可能被分解为：[“I”], [“love”], [“artificial”], [“intelligence”], [“.”]，大约5个tokens。

对于中文：

中文没有空格作为自然分隔符，因此计算方式有很大不同。通常，一个汉字会对应1到3个tokens。常见汉字（如“我”、“的”、“是”）可能是一个token，而一些不那么常见的汉字可能会被分解成更小的部分，占用更多tokens。

例如：“我爱人工智能。” 可能被分解为：[“我”], [“爱”], [“人工”], [“智能”], [“。”]。这里5个汉字加一个标点，可能就变成了5个tokens。如果“智能”这个词在词汇表中不是一个整体，它还可能被拆分成更多tokens。因此，同样意思的表达，中文通常会比英文消耗更多的tokens。

以上就是什么是tokens?tokens怎么计算?的详细内容，更多请关注php中文网其它相关文章！