交叉验证是什么
交叉验证(cross-validation)是一种在有限数据上评估模型泛化表现的流程:把可用于训练的数据分成若干份,轮流让其中一份充当验证集、其余份充当训练集,每次都在训练部分重新拟合模型,再把各轮验证分数汇总成均值与波动。它回答的不是“这个模型在某一批数据上能得多少分”,而是“换一批同分布数据,模型表现大致如何、稳不稳定”。
需要先划清一条界线:交叉验证发生在训练范围之内,用来做模型选择与参数比较;本文采用训练范围内选模型、再用独立测试集做最终评估的常用流程;测试数据不参与调参。也有嵌套交叉验证等评估设计,需要与实际评估目标匹配。
机制:k折如何轮换
以最常见的k折交叉验证为例,流程可拆成四步:
- 把训练范围划分为k个互不重叠的折(fold)。
- 取第1折作验证集,用其余k−1折作训练集,从头训练一个模型,在该验证折上打分。
- 换第2折作验证集,再次用其余k−1折重新训练,再打分。如此轮换,直到每一折都恰好当过一次验证集。
- 得到k个验证分数,汇总为平均值与标准差(或最大最小范围),用均值估计典型表现,用波动判断对数据切分的敏感程度。
关键在“重新训练”四个字。每一轮都是一个新的、独立的拟合过程,不是在同一模型上继续追加训练,也不是把上一轮学到的参数带进下一轮。同样,也不能从k个分数里挑出最高的那一折当作总体效果——那等于用验证数据做了选择,评估就失真了。
一个5折示例
以下为说明机制而自拟的示意,不涉及任何真实业务数据或效果。
假设训练范围内有100条样本,取k=5。每折20条,于是每一轮用80条训练、20条验证,共训练5次,得到5个验证分数。最终测试集另行保留,不参与这100条的任何切分。
| 轮次 | 训练样本 | 验证样本 | 结果 |
|---|---|---|---|
| 第1轮 | 80条(第2—5折) | 20条(第1折) | 分数1 |
| 第2轮 | 80条(第1、3—5折) | 20条(第2折) | 分数2 |
| … | … | … | … |
| 第5轮 | 80条(第1—4折) | 20条(第5折) | 分数5 |
最后报告的是这5个分数的均值与波动,而不是某一个分数。示例中的数字只用于演示切分关系,不代表任何真实准确率或收益。
适用前提与数据关系
普通随机k折有一个隐含假设:样本之间近似独立同分布,随机切分不会破坏数据关系。现实中这个假设经常不成立,需要按数据结构换方案。
- 有时间先后:当目标是预测未来时,随机打乱可能让未来信息进入训练,评估不能反映真实时间顺序。应考虑保持时序的方案,如按时间切分的验证或前向滚动验证。
- 同一主体多条记录:同一客户、同一门店、同一设备产生多条记录时,随机切分可能让同一主体的记录同时出现在训练和验证中,模型记住主体特征就能得分。若要评估对新客户或新设备的泛化,应考虑分组切分,让同一主体落在同一侧;预测既有主体时则按实际使用场景设计。
- 类别不平衡:分层切分主要让各折类别比例尽量接近总体,它不解决主体重复、时间泄漏等其他泄漏来源。分层是采样策略,不是泄漏的通用解药。
预处理也要放进每一折
一个常见错误是先在全部数据上做标准化、缺失值填补或特征筛选,再切折。这样验证折的统计信息已经渗入训练过程,分数会偏高。正确做法是:所有依赖数据的预处理都在每一折的训练部分拟合,再应用到该折的验证部分。使用Pipeline把预处理与模型串成一个整体,并让交叉验证作用于整个Pipeline,可以降低这类配置错误;但工具只是辅助,是否真的没有跨折泄漏仍要按数据流检查。
与相邻概念的区别
| 概念 | 做什么 | 数据使用 | 典型用途 |
|---|---|---|---|
| 单次训练/验证划分 | 切一次,训练一次,验证一次 | 验证集只切一次 | 快速初筛 |
| k折交叉验证 | 轮换k次,每次重新训练 | 每折都当过一次验证 | 模型比较、参数选择 |
| 最终测试集 | 流程确定后评估一次 | 全程不参与训练与选择 | 报告最终效果 |
三者是流程中的不同环节,不能互相替代。在本文的调参流程中,不应把已用于选择方案的分数当作独立最终测试。选定方案后,可在全部训练范围重新拟合,再对保留的测试集评估;不必直接选择某一折的模型。
边界与成本
交叉验证不是越多折越好。k越大,每轮训练数据越接近全量,但训练次数也越多,通常至少要完成k次拟合;折数较多时,单折验证样本变少,单折分数可能更不稳定,整体估计还受数据及折间关系影响。k的选择要结合数据量、单次训练成本和评估精度需求。
此外,交叉验证只能评估你设计的切分方式下模型的表现。如果切分方式与真实使用场景不一致(例如上线后要预测新客户,而验证时客户是混着切的),分数就不能直接外推。它也不告诉你业务收益,只给出统计意义上的表现估计,是否上线仍需结合成本、风险和人工判断。
常见问题
交叉验证能代替测试集吗?
在本文这套用交叉验证调参的流程中,仍保留独立测试集。关键是最终评价不再使用已反复指导选择的数据;其他设计如嵌套交叉验证应另行明确。
k折分数取最高的一折可以吗?
不可以。最高折只是某一次切分的偶然结果,报告应使用各折汇总的均值与波动,挑选最高值等于用验证数据做选择。
分层抽样能解决所有数据泄漏吗?
不能。分层只保持类别比例,时间先后、同一主体重复记录等问题仍需用保持时序或分组切分处理,预处理也必须在每折训练部分拟合。
折数越多评估越准吗?
不一定。折数增加会提高训练成本,验证集变小也可能放大波动,需要按数据规模和精度需求权衡。
参考资料
- scikit-learn 官方文档:Cross-validation: evaluating estimator performance,https://scikit-learn.org/stable/modules/cross_validation.html ,scikit-learn 项目。该文档支持本文关于k折轮换、每轮重新训练、分数汇总、时序与分组切分、预处理应在训练部分拟合等机制说明。
(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)