采样温度(temperature)和Top-p(top_p,也称核采样)是大语言模型生成文本时控制下一个词元(token)如何被选中的两个参数。它们调节的是输出的随机程度,而不是模型掌握的知识是否正确。理解这一点,是判断“调低参数能否减少错误”这类问题的前提。
两个参数分别在做什么
大语言模型每生成一个token,都会先对词表计算一个概率分布,表示各个候选词接下来出现的可能性。采样参数影响的就是从这个分布中挑选候选词的方式。
温度改变分布的集中程度。温度较低时,高概率词的优势被放大,分布更尖锐,模型更倾向于选择最可能的词;温度较高时,分布被拉平,低概率词获得更多机会,输出更分散。温度并不改变模型对世界的“认识”,只改变从已有分布中取样的倾向。
Top-p按累计概率保留候选集合。把候选词按概率从高到低排序并累加,当累计概率达到p时截断,只在保留的集合内采样,集合之外的词被排除。p越小,候选集合越窄;p越大,保留的候选越多。
两者可以单独使用,也可以组合使用。不同厂商、不同模型以及某些推理模式可能对参数有不同的处理方式,甚至忽略某些参数,具体行为应以对应模型的官方文档为准。
随机性不等于事实准确性
一个常见误解是:把温度调到很低,模型输出就“更准确”了。实际上,低温只让输出更确定、更集中,不保证选中的内容在事实层面正确。
可以用一个示例说明(示例为自拟,仅用于解释机制):假设模型对某道流程题的候选答案中,错误答案的概率略高于正确答案。此时降低温度,模型反而会更稳定地输出那个错误答案——随机性下降了,错误并没有消失。反过来,高温可能让模型偶尔“碰对”,但整体输出更不可控。
因此需要区分四个不同的问题:
| 问题 | 关注点 | 采样参数能否解决 |
|---|---|---|
| 输出随机性 | 同一输入多次生成是否一致 | 能调节 |
| 知识质量 | 模型是否掌握正确知识 | 不能 |
| 检索质量 | 提供给模型的资料是否相关、充分 | 不能 |
| 审核机制 | 输出是否经过人工或规则校验 | 不能 |
采样参数只作用于第一行。知识缺失、检索不到、缺乏审核,需要通过模型选择或训练、可靠资料、检索和审校等方式分别处理。
什么时候需要调整
参数调整的价值取决于任务对“多样性”和“一致性”的要求。
- 需要稳定复现的场景:如结构化信息抽取、格式固定的分类、需要多次运行结果一致的批处理,通常希望输出集中,减少无谓变化。
- 需要多样表达的场景:如创意文案的多个备选、头脑风暴、名称生成,适度放开随机性有助于获得不同角度的结果。
- 事实问答场景:参数不是主要手段。更有效的做法是提供可靠资料、要求引用来源、设置人工复核环节。
需要强调的是,这里不给出通用推荐数值。合适的取值与模型、任务、输入长度和评估方式都有关,应通过小规模测试和人工抽检来确定,而不是照搬某个固定数字。
常见边界与误解
- 低温不等于完全确定:即使温度很低,采样过程仍可能受实现细节影响,不能承诺逐字复现。
- 参数不能弥补资料错误:如果输入的资料本身有误,调参只会让错误更稳定地出现。
- 不同模型的参数不可直接类比:同样的数值在不同模型上的效果可能不同,跨模型比较需要重新评估。
- 推理模式可能改变行为:部分模型在特定推理模式下对采样参数的处理方式不同,使用前应查阅对应文档。
常见问题
Q:把温度设为0,模型就不会出错了?
A:不能保证。温度趋近于0时输出更集中,但集中到的内容仍可能是错误的。事实准确性取决于模型知识、输入资料和校验流程。
Q:Top-p和温度应该同时调吗?
A:没有统一规则。两者作用在不同层面,同时调整会让效果更难归因。建议先明确任务目标,再通过对比测试判断是否需要组合使用。
Q:调参能替代检索和审核吗?
A:不能。采样参数只影响生成时的选择倾向,检索决定模型看到什么资料,审核决定输出是否被采用,三者是不同环节。
Q:为什么同一提示词每次输出不一样?
A:这是采样随机性的正常表现。若业务要求稳定输出,需要在参数之外设计缓存、模板约束或结果校验机制。
参考来源
(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)