交叉验证是什么:轮换训练与验证怎样评估模型

交叉验证是什么

交叉验证(cross-validation)是一种在有限数据上评估模型泛化表现的流程:把可用于训练的数据分成若干份,轮流让其中一份充当验证集、其余份充当训练集,每次都在训练部分重新拟合模型,再把各轮验证分数汇总成均值与波动。它回答的不是“这个模型在某一批数据上能得多少分”,而是“换一批同分布数据,模型表现大致如何、稳不稳定”。

需要先划清一条界线:交叉验证发生在训练范围之内,用来做模型选择与参数比较;本文采用训练范围内选模型、再用独立测试集做最终评估的常用流程;测试数据不参与调参。也有嵌套交叉验证等评估设计,需要与实际评估目标匹配。

机制:k折如何轮换

以最常见的k折交叉验证为例,流程可拆成四步:

  1. 把训练范围划分为k个互不重叠的折(fold)。
  2. 取第1折作验证集,用其余k−1折作训练集,从头训练一个模型,在该验证折上打分。
  3. 换第2折作验证集,再次用其余k−1折重新训练,再打分。如此轮换,直到每一折都恰好当过一次验证集。
  4. 得到k个验证分数,汇总为平均值与标准差(或最大最小范围),用均值估计典型表现,用波动判断对数据切分的敏感程度。

关键在“重新训练”四个字。每一轮都是一个新的、独立的拟合过程,不是在同一模型上继续追加训练,也不是把上一轮学到的参数带进下一轮。同样,也不能从k个分数里挑出最高的那一折当作总体效果——那等于用验证数据做了选择,评估就失真了。

一个5折示例

以下为说明机制而自拟的示意,不涉及任何真实业务数据或效果。

假设训练范围内有100条样本,取k=5。每折20条,于是每一轮用80条训练、20条验证,共训练5次,得到5个验证分数。最终测试集另行保留,不参与这100条的任何切分。

轮次 训练样本 验证样本 结果
第1轮 80条(第2—5折) 20条(第1折) 分数1
第2轮 80条(第1、3—5折) 20条(第2折) 分数2
… … … …
第5轮 80条(第1—4折) 20条(第5折) 分数5

最后报告的是这5个分数的均值与波动,而不是某一个分数。示例中的数字只用于演示切分关系,不代表任何真实准确率或收益。

适用前提与数据关系

普通随机k折有一个隐含假设:样本之间近似独立同分布,随机切分不会破坏数据关系。现实中这个假设经常不成立,需要按数据结构换方案。

  • 有时间先后:当目标是预测未来时,随机打乱可能让未来信息进入训练,评估不能反映真实时间顺序。应考虑保持时序的方案,如按时间切分的验证或前向滚动验证。
  • 同一主体多条记录:同一客户、同一门店、同一设备产生多条记录时,随机切分可能让同一主体的记录同时出现在训练和验证中,模型记住主体特征就能得分。若要评估对新客户或新设备的泛化,应考虑分组切分,让同一主体落在同一侧;预测既有主体时则按实际使用场景设计。
  • 类别不平衡:分层切分主要让各折类别比例尽量接近总体,它不解决主体重复、时间泄漏等其他泄漏来源。分层是采样策略,不是泄漏的通用解药。

预处理也要放进每一折

一个常见错误是先在全部数据上做标准化、缺失值填补或特征筛选,再切折。这样验证折的统计信息已经渗入训练过程,分数会偏高。正确做法是:所有依赖数据的预处理都在每一折的训练部分拟合,再应用到该折的验证部分。使用Pipeline把预处理与模型串成一个整体,并让交叉验证作用于整个Pipeline,可以降低这类配置错误;但工具只是辅助,是否真的没有跨折泄漏仍要按数据流检查。

与相邻概念的区别

概念 做什么 数据使用 典型用途
单次训练/验证划分 切一次,训练一次,验证一次 验证集只切一次 快速初筛
k折交叉验证 轮换k次,每次重新训练 每折都当过一次验证 模型比较、参数选择
最终测试集 流程确定后评估一次 全程不参与训练与选择 报告最终效果

三者是流程中的不同环节,不能互相替代。在本文的调参流程中,不应把已用于选择方案的分数当作独立最终测试。选定方案后,可在全部训练范围重新拟合,再对保留的测试集评估;不必直接选择某一折的模型。

边界与成本

交叉验证不是越多折越好。k越大,每轮训练数据越接近全量,但训练次数也越多,通常至少要完成k次拟合;折数较多时,单折验证样本变少,单折分数可能更不稳定,整体估计还受数据及折间关系影响。k的选择要结合数据量、单次训练成本和评估精度需求。

此外,交叉验证只能评估你设计的切分方式下模型的表现。如果切分方式与真实使用场景不一致(例如上线后要预测新客户,而验证时客户是混着切的),分数就不能直接外推。它也不告诉你业务收益,只给出统计意义上的表现估计,是否上线仍需结合成本、风险和人工判断。

常见问题

交叉验证能代替测试集吗?
在本文这套用交叉验证调参的流程中,仍保留独立测试集。关键是最终评价不再使用已反复指导选择的数据;其他设计如嵌套交叉验证应另行明确。

k折分数取最高的一折可以吗?
不可以。最高折只是某一次切分的偶然结果,报告应使用各折汇总的均值与波动,挑选最高值等于用验证数据做选择。

分层抽样能解决所有数据泄漏吗?
不能。分层只保持类别比例,时间先后、同一主体重复记录等问题仍需用保持时序或分组切分处理,预处理也必须在每折训练部分拟合。

折数越多评估越准吗?
不一定。折数增加会提高训练成本,验证集变小也可能放大波动,需要按数据规模和精度需求权衡。

参考资料

  • scikit-learn 官方文档:Cross-validation: evaluating estimator performance,https://scikit-learn.org/stable/modules/cross_validation.html ,scikit-learn 项目。该文档支持本文关于k折轮换、每轮重新训练、分数汇总、时序与分组切分、预处理应在训练部分拟合等机制说明。

(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)

你可能喜欢