知识蒸馏是什么:教师模型、学生模型与训练信号

定义

知识蒸馏(Knowledge Distillation)是一种模型压缩与知识迁移方法:先训练一个能力较强但体量较大的“教师模型”,再让体量较小的“学生模型”学习教师模型的输出分布,而不仅是学习人工标注的硬标签。其目标是在较小模型上尽量保留教师模型的泛化表现。

该概念由 Hinton 等人在 2015 年的论文《Distilling the Knowledge in a Neural Network》中系统提出,论文将教师模型输出的类别概率称为“软目标”,并指出软目标携带了类别之间的相似性信息,可作为学生模型的训练信号。

三个核心角色

教师模型

教师模型通常是已经训练好的较大模型或集成模型,其输出不是最终答案本身,而是每个类别的概率分布。例如在手写数字分类中,教师模型对一张“3”的图片可能给出“3 的概率 0.85、8 的概率 0.10、5 的概率 0.05”这样的分布,其中“3 像 8”的信息就是硬标签无法提供的训练信号。

学生模型

学生模型是待训练的小模型,参数更少、推理更快。它同时接收两类监督:真实标签(硬标签)和教师模型的输出分布(软标签)。学生模型的结构不必与教师相同,但输出空间需与教师对齐,例如分类任务中类别数一致。

训练信号

知识蒸馏的关键训练信号是教师模型在“温度”参数下平滑后的概率分布。温度 T 越高,分布越平滑,类别间的相对关系越明显;T=1 时即为普通 softmax 输出。学生模型通常也以相同温度计算输出,再与教师分布做散度损失。

机制:损失如何构成

以分类任务为例,学生模型的总损失通常由两部分加权组成:

  • 蒸馏损失:学生输出分布与教师输出分布之间的差异,常用 KL 散度衡量,训练时对温度做相应缩放。
  • 学生损失:学生输出与真实硬标签之间的交叉熵。

总损失可写为:

L = α · L_蒸馏 + (1 − α) · L_学生

其中 α 是平衡系数,取值在 0 到 1 之间,由训练者设定。该公式说明的是损失组合方式,不规定具体数值;实际训练中 α 和温度 T 需要根据任务调整。

训练流程可概括为:先训练教师模型至收敛;固定教师模型参数;用教师模型对训练数据生成软标签;再以软标签和真实标签共同训练学生模型。

示例:一个自拟的分类场景

假设某企业有一个识别商品包装是否破损的图像分类任务,类别为“完好”“轻微破损”“严重破损”。教师模型是一个较大的卷积网络,学生模型是一个轻量网络。

教师模型对一张边界模糊的图片输出:完好 0.55、轻微破损 0.40、严重破损 0.05。硬标签只告诉学生“这是完好”,而软标签告诉学生“它也可能接近轻微破损”。学生模型在学习时同时拟合这两类信号,可能比只学硬标签更好地处理边界样本。

此例为说明机制的自拟情境,不引用任何真实企业数据,也不代表实际效果。

与相关概念的区别

概念 主要做法 与知识蒸馏的差异
模型剪枝 删除模型中不重要的权重或结构 剪枝改变模型结构,蒸馏改变训练信号
量化 降低权重或激活的数值精度 量化减少存储与计算位宽,蒸馏侧重输出分布迁移
微调 在预训练模型上用新数据继续训练 微调通常面向下游任务适配,蒸馏面向师生模型间的知识迁移
标签平滑 将硬标签平滑为固定分布 标签平滑不依赖教师模型,蒸馏的软标签来自教师输出

适用场景与边界

知识蒸馏适合以下情形:需要将大模型部署到算力受限设备;希望小模型获得接近大模型的泛化能力;已有表现良好的教师模型且输出空间明确。

其边界包括:

  • 教师模型本身存在偏差或错误时,学生模型可能继承这些偏差,蒸馏不能自动纠正教师的问题。
  • 软标签的质量依赖教师模型与任务匹配程度,教师模型在训练数据分布外的输出未必可靠。
  • 温度、损失权重等超参数需要实验调整,没有通用最优值。
  • 蒸馏不保证学生模型达到教师模型的全部能力,尤其在教师模型远大于学生模型时,容量差距可能成为瓶颈。
  • 若任务只有硬标签且教师模型不可得,则无法直接使用标准知识蒸馏。

常见问题

知识蒸馏是否等于模型压缩?

不完全等同。蒸馏是一种训练方法,可用于压缩,也可用于模型集成或跨模态迁移;模型压缩还包括剪枝、量化等手段。

学生模型一定要比教师模型小吗?

通常如此,但并非定义要求。蒸馏的核心是让学生学习教师的输出分布,规模关系取决于目标;实践中多数场景以缩小模型为目标。

软标签为什么比硬标签提供更多信息?

硬标签只指示正确类别,软标签还给出各类别之间的相对概率,反映了教师模型学到的相似性结构。

参考资料

  • Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the Knowledge in a Neural Network. arXiv:1503.02531. https://arxiv.org/abs/1503.02531

(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)

你可能喜欢