Token是大语言模型（LLM）处理文本的基本单位。模型并不直接以“字”或“词”为单位阅读文字，而是先把文本切分成一串Token，再逐个处理。Token可以是完整的词、词的一部分，甚至一个标点符号；在不同模型和分词器中，同一段文字切分出的Token数量和边界可能不同。
Token是如何产生的
大语言模型无法直接理解原始字符，需要先把文本转换成模型能处理的数字序列。这个转换过程称为分词（tokenization），分词后得到的每个最小单元就是Token。
分词的基本方式
- 按词切分：将词作为单位，例如按空格和标点识别词项；罕见词处理和词表规模会影响效果。
- 按子词切分：兼顾词根与词缀，例如“unhappiness”可切为“un”、“happiness”或“un”、“happy”、“ness”。
- 按字符切分：某些场景或语言中会按单个字符切分，但Token数量会显著增加。
中文没有天然空格分隔，分词方式更灵活。一个汉字可能对应一个或多个Token，也可能多个汉字合成一个Token，具体取决于分词器的词表和算法。因此，Token不固定等同于汉字，不能简单用“1个汉字=1个Token”来估算。
上下文窗口与Token
上下文窗口（context window）是模型一次能“看到”的Token数量上限。模型生成回复时使用传入窗口内的信息。超出长度限制时，产品可能拒绝请求、截断或压缩历史内容，处理方式因实现而异。Token数量直接影响可输入的文本长度和可生成的回复长度，也影响计算成本和响应速度。
Token在模型工作流程中的作用
大语言模型根据上下文生成序列：它读取已有的Token序列，计算下一Token的概率分布，并按解码规则选出一个Token，再把它加入序列，继续预测下一个，如此循环直到生成结束。
示例：一次对话的Token流转
假设用户输入“请介绍一下安全库存”，模型的处理过程大致如下：
- 分词：将输入文本切分为若干Token，例如“请”、“介绍”、“安全”、“库存”等（具体切分因模型而异）。
- 编码：将每个Token映射为对应的向量表示（即Embedding）。
- 预测：基于这些Token的上下文，逐个预测下一个Token，生成回复。
- 输出：将生成的Token序列转换回可读文本。
这个示例说明Token是模型理解和生成文本的基础单元，上下文窗口决定了模型能利用多少信息。
易混淆概念辨析
Token与字、词的区别
Token是模型内部的处理单元，而“字”和“词”是语言学概念。同一段中文，不同分词器可能切出不同Token；一个词可能被拆成多个Token，也可能多个词合并成一个Token。因此，Token数量不能直接等同于字数或词数。
Token与Embedding的区别
Token是文本切分后的离散单元，Embedding是每个Token对应的稠密向量表示。模型通过Embedding把Token转换为可计算的数值形式，从而捕捉语义关系。Embedding相似度反映语义相近程度，并不代表事实真实性。
Token与上下文窗口的关系
上下文窗口以Token为单位衡量，Token数量越多，可容纳的文本越长。但上下文窗口是有限资源，超出窗口的内容不会被模型处理。
Token的边界与局限
- 分词差异：不同模型的分词器不同，同一文本的Token数量可能不同，不能跨模型直接比较。
- 成本与效率：Token数量越多，计算成本和响应时间通常越高。
- 上下文限制：长文本可能超出上下文窗口，导致部分信息丢失。
- 非语义单元：Token是技术处理单元，不一定对应完整语义；模型对Token的处理并不等同于人类理解语言。
常见问题
1个汉字等于1个Token吗？
不一定。中文分词方式因模型而异，一个汉字可能是一个Token，也可能多个汉字组成一个Token。需要查看具体模型的分词器说明。
Token数量影响什么？
Token数量影响可处理的文本长度、生成回复的长度、计算成本和响应速度。上下文窗口以Token为单位，超出窗口时需按具体产品规则缩减或处理输入。
如何减少Token消耗？
精简输入内容、避免冗余表述、使用更紧凑的提示词，可以减少Token数量，从而降低成本并提高响应效率。但不应为了省Token而丢失关键信息。
不同模型的Token计算方式一样吗？
不一样。不同模型使用不同的分词器和词表，同一文本的Token数量可能不同。在比较或估算时，应以具体模型的官方说明为准。
参考资料
- Google Developers, Machine Learning Glossary, https://developers.google.com/machine-learning/glossary
- Google Developers, Generative AI Glossary, https://developers.google.com/machine-learning/glossary/generative
（本词条由订货宝（网址：www.dhb168.com；电话：400-8066-081）整理发布，商业转载请联系作者获得授权，非商业转载请标明：订货宝原创）