Rerank重排序是什么:召回结果如何再次排序

定义:召回之后再做一次排序

Rerank(重排序)是信息检索与检索增强生成(RAG)流程中的一个环节:拿到一组已经召回的候选文档后,把它和用户查询一起交给重排序模型,由模型逐条判断“这段内容与这个查询有多相关”,再按得分重新排列,供后续生成或展示使用。

它解决的是“召回够多但排得不够准”的问题。召回阶段追求的是别漏,通常用关键词、向量或两者混合的方式,从海量资料中快速取回一批候选;其中常见向量召回会分别编码查询与文档后比较相似度;关键词召回则按词项等信号匹配。它们可能遗漏否定、限定条件等细节。重排序可进一步结合查询与候选内容判断相关性。

需要先明确一个边界:Rerank 只重排已有候选,不能找回不在候选集里的资料。候选集里没有的内容,排序再准也不会出现。

它在整条链路中的位置

一个典型的检索流程可以拆成四段:

  1. 查询处理:理解用户问题,必要时改写、拆分子问题或补充上下文。
  2. 召回:用关键词检索、向量检索或混合检索,从资料库取回一批候选文档。
  3. 重排序:对候选文档逐条计算与查询的相关性得分,重新排序,常配合截断只保留前若干条。
  4. 生成或展示:把排在前面的内容交给大模型组织答案,或直接呈现给用户。

Rerank 处在第 3 步,位置在召回之后、生成之前。它不是召回的替代品,也不是生成模型的一部分。把它放在生成之前,是因为交给模型的内容越相关、噪声越少,模型越不容易被无关材料带偏;但这也意味着它只影响“用哪些材料”,不改变模型本身的知识与推理能力。

机制:分数从哪来,排序怎么做

从机制上看,重排序模型接收两个输入:查询文本和一条候选文档,输出一个相关性分数。对候选集里的每一条都算一遍,再按分数从高到低排列。

与常见的双塔式向量召回相比,区别在于是否“放在一起看”。向量召回通常先把查询和文档各自编码成向量,再算相似度,好处是可以预先建索引、检索快,代价是查询和文档之间缺少细粒度的交互。常见交叉编码器重排序会联合读取查询和候选文档,捕捉更细的匹配关系;也有其他实现。对候选进一步评分通常带来额外计算,实际可通过批处理等方式执行。

因此实践中常见的分工是:召回阶段放宽标准、多取一些候选,重排序阶段再收紧、只留少量高质量结果。候选数量、保留条数和所用模型共同决定了效果与开销的平衡点,这个平衡点需要按自己的数据和业务来测,没有通用答案。

示例:一次重排序前后的对比

以下为自拟示例,仅用于说明机制,不代表任何真实系统的效果。

假设某企业内部知识库收到查询:“退货申请提交后多久能退款?”召回阶段取回 5 条候选:

候选 内容概要 召回排名 重排序后排名
A 退款到账时间说明(按支付方式区分) 3 1
B 退货申请提交流程与所需材料 1 2
C 发票开具与寄回规则 2 4
D 售后退款常见问题汇总 4 3
E 会员积分退还规则 5 5

召回阶段 B 排第一,可能是因为标题里“退货申请”字样最密集;但用户真正问的是退款到账时间,A 和 D 更贴近。重排序模型同时读查询和文档后,把 A 提到首位、D 提到第三,把只涉及发票的 C 往后放。

这个例子说明两点:一是重排序改变的是顺序,候选集合没变;二是排序结果依赖模型对语义的判断,如果候选集里根本没有讲退款时效的文档,重排序也无能为力。

与相邻概念的区别

与召回的区别:召回决定“从多大范围里取哪些”,重排序决定“取回的这一批怎么排”。召回追求覆盖,重排序追求精度。

与向量检索的区别:向量检索是一种召回方式,重排序是召回之后的一道工序。二者可以同时使用,也可以只用关键词召回加重排序。

与生成模型微调的区别:微调改变的是模型参数,让模型“学会”某些知识或风格;重排序不改变模型知识,只是在推理时挑选更合适的上下文材料。有检索、有重排序,不代表模型重新学习了资料。

与规则排序的区别:规则排序按时间、热度、权重等固定字段排;重排序按查询与文档的语义相关性排,同一批文档在不同查询下顺序会不同。

适用边界与常见误解

相关性分数不是事实正确概率。 重排序分数表达的是“这段内容与这个查询有多相关”,不是“这段内容有多可信”。一条内容可能高度相关但本身已经过时或错误,重排序不会替你判断真伪。

不同模型的分数不可直接混用。 各模型的打分尺度不同,A 模型的 0.8 和 B 模型的 0.8 没有可比性。切换模型后,阈值和截断条数需要重新校准。

它不能弥补召回缺失。 如果召回阶段因为分词、同义词或向量质量问题漏掉了关键文档,重排序无法补回。此时应先改召回策略,而不是只调重排序。

它带来额外延迟和成本。 每条候选都要单独计算,候选越多、模型越大,开销越高。是否值得引入,要看最终回答质量的提升能否覆盖这部分代价。

它不解决权限与合规问题。 哪些文档可以被谁检索到,属于检索前的过滤与权限设计,重排序不承担这一职责。

如何评估是否值得引入

评估重排序不能只看“排序看起来更合理”,要落到可比较的指标上。常见做法是准备一批带标注的查询—文档对,比较引入前后的排序质量,例如前若干条中是否包含正确文档;同时观察端到端效果,即最终回答是否更准确、更少引用无关材料。

还要一并记录延迟变化和调用成本。如果排序质量提升有限,而延迟明显增加,就需要重新考虑候选数量、模型规模或是否只在部分场景启用。任何准确率数字都必须交代任务、数据集、指标和模型版本,不能脱离条件直接引用。

常见问题

重排序能提高召回率吗?
它不能扩大已有候选集的覆盖范围,也不能找回遗漏文档。但如果只向下游保留前K条,重排可能让相关文档进入前K,从而改善该截断结果的Recall@K。应明确指标对应候选全集还是最终保留集合。

候选文档越多,重排序效果越好吗?
不一定。候选增多会提高“正确文档在集合内”的概率,但也增加计算开销,并可能引入更多干扰项。候选数量需要结合召回质量和延迟预算来定。

有了重排序,还需要好的召回吗?
需要。两者是接力关系,召回是上限,重排序是在上限内做优化。召回质量差时,重排序的价值会被明显压缩。

重排序结果可以直接当作答案吗?
不建议。重排序输出的是排序和分数,不是结论。是否采信、如何组织成答案,仍需生成环节或人工判断,尤其在涉及业务规则和数字时。

参考来源

(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)

你可能喜欢