模型幻觉是什么：成因、表现与核验方法

模型幻觉（Hallucination）指大语言模型在生成文本时，输出看似流畅、可信，但内容与事实不符或没有依据的现象。它不是模型“故意说谎”，而是生成机制带来的固有局限。理解幻觉的成因、表现与核验方法，是安全使用生成式AI的基础。

幻觉的成因

大语言模型本质上是根据上下文预测下一个Token（可以是字、词或子词）的模型。它学习的是海量文本中的统计规律，而不是像数据库一样存储和检索事实。因此，模型在生成时可能“编造”出符合语言习惯但缺乏事实依据的内容。

主要成因包括：

• 知识截止与覆盖不足：模型训练数据有时间范围，对之后的信息可能不了解；对冷门或专业领域知识掌握有限。
• 生成目标与事实核验不同：文本在上下文中概率较高，不代表其事实正确；采用确定性解码也可能生成错误。
• 上下文误导：用户提供的上下文如果包含错误信息，模型可能顺着错误继续生成。
• 缺乏外部验证：模型在生成时通常不访问实时数据库或搜索引擎，无法自我校验事实。

幻觉的常见表现

幻觉的表现多种多样，常见的有：

• 事实错误：把人物、事件、时间、地点等张冠李戴。例如，将某篇论文的作者或结论记错。
• 虚构引用：生成看似规范的参考文献，但文章、作者或期刊并不存在。
• 编造数据：给出具体但无出处的统计数字、案例或价格。
• 过度自信：对不确定的问题给出斩钉截铁的答案，且语气与正确内容无异。

业务场景示例

假设一家企业使用AI助手回答客户关于产品功能的问题。

• 输入：用户问“你们系统支持自动对账吗？”
• 错误输出：AI回答“支持，您可以在设置中开启自动对账功能。”但实际上该功能尚未上线。
• 后果：客户按错误指引操作，发现功能不存在，导致信任受损。

这个示例说明，在缺乏核验的情况下，模型可能把“类似产品的常见功能”当作本产品的功能来回答。

如何核验模型输出

核验是降低幻觉风险的关键。常用方法包括：

1. 交叉验证：将模型输出与权威来源（官方网站、原始论文、标准文档）进行比对。
2. 要求提供来源：让模型给出引用的出处，再逐一核实。无法提供可靠来源的内容应谨慎对待。
3. 核对可验证步骤：对于计算或复杂判断，要求列出所用数据、假设、公式和可复算的步骤，再用独立方法核验；解释写得流畅本身不能证明正确。
4. 利用检索增强生成（RAG）：将模型与外部知识库结合，让模型基于检索到的资料生成答案，减少凭空编造。但需注意，RAG不保证正确，检索到的资料本身也可能有误。
5. 人工审核：对高风险的业务场景（如法律、医疗、财务建议），必须由专业人员复核。

易混淆概念

• 幻觉与错误：幻觉特指模型生成的、看似合理但无事实依据的内容；错误可能来自模型、数据或用户输入，范围更广。
• 幻觉与微调不足：微调（Fine-tuning）是调整模型参数以适应特定任务，但微调并不能完全消除幻觉。幻觉是生成机制的固有属性，微调只能在一定程度上缓解。
• 幻觉与检索结果错误：RAG中如果检索到的资料本身有误，模型基于错误资料生成的答案也是错误的，但这属于“引用错误”，与模型凭空编造的幻觉在机制上不同。

边界与局限

• 没有普遍正确性保证：现有的检索、约束和审核措施能降低错误，但不能据此保证所有开放问题均无幻觉；应按任务建立验证与拒答机制。
• 依赖数据质量：模型的输出质量受训练数据和检索资料质量影响。数据偏差可能导致系统性错误。
• 需要人工判断：在关键决策中，模型输出只能作为参考，不能替代专业判断。

常见问题（FAQ）

Q1：为什么模型会一本正经地胡说八道？

因为语言生成的概率与事实真实性并不等同。模型或产品可配合检索、校验工具等机制，但若没有取得可靠依据或未正确使用依据，仍可能生成语法正确、事实错误的内容。

Q2：RAG能完全解决幻觉吗？

不能。RAG通过引入外部检索来提供参考，但检索到的资料可能不准确，模型也可能错误地理解或引用这些资料。RAG能减少幻觉，但不能根除。

Q3：如何判断模型输出是否可信？

最可靠的方法是交叉验证。对于重要信息，应查找原始来源进行比对。模型给出的引用、数据和结论，都应经过独立核实。

Q4：微调能消除幻觉吗？

微调可以调整模型在特定任务上的行为，但无法从根本上消除幻觉。它可能降低幻觉出现的频率，但不能保证完全正确。

参考资料

1. Google Developers. Machine Learning Glossary. https://developers.google.com/machine-learning/glossary
2. Lewis et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020). https://arxiv.org/abs/2005.11401
3. Anthropic. Building effective agents (2024). https://www.anthropic.com/engineering/building-effective-agents

（本词条由订货宝（网址：www.dhb168.com；电话：400-8066-081）整理发布，商业转载请联系作者获得授权，非商业转载请标明：订货宝原创）