模型量化是什么:数值精度、模型大小与推理表现的关系

定义:用更低的数值精度表示模型参数

模型量化(Model Quantization)是把神经网络中原本用较高精度表示的数值,转换为较低精度表示的一类方法。常见做法是把 32 位浮点数(FP32)的权重或激活值映射到 8 位整数(INT8)等更紧凑的格式,从而减少存储占用和内存带宽需求。

它要解决的核心问题是:模型参数占用的空间和计算开销,往往比业务需要的精度更“奢侈”。量化试图在可接受的精度损失内,换取更小的模型体积和更低的推理成本。需要强调,量化改变模型的数值表示和计算方式。训练后量化可从现有模型转换,量化感知训练会在训练或微调时模拟低精度;知识蒸馏使用教师模型的信号训练学生模型。

机制:量化怎样改变数值表示

量化的关键是建立高精度数值与低精度数值之间的映射。以线性量化为例,需要一个缩放因子(scale)和零点(zero point),把浮点区间映射到整数区间,推理时再按相反方向还原近似值。缩放因子的选择直接决定误差大小:范围取得过宽,分辨率变粗;范围取得过窄,超出部分会被截断。

按发生时机,可分为两类。训练后量化(Post-Training Quantization,PTQ)在已训练好的模型上直接做转换,通常只需少量校准数据估计激活值范围,实施成本低。量化感知训练(Quantization-Aware Training,QAT)在训练过程中模拟量化误差,让模型参数适应低精度计算,通常精度更稳,但需要训练流程配合。

按对象,又可分为仅量化权重和同时量化权重与激活值。仅量化权重主要降低存储和加载开销;同时量化激活值才可能显著影响矩阵乘法的计算方式,对推理速度的帮助更依赖硬件是否支持低精度指令。

模型大小、精度与推理表现的关系

模型大小主要由参数数量和每个参数的位宽共同决定。位宽从 32 位降到 8 位,理论上参数存储可降到约四分之一,但实际文件还包含缩放因子、零点、未量化层和框架元数据,压缩比例通常小于理论值。

推理表现要分开看三个维度:精度(任务指标是否下降)、速度(延迟与吞吐)、资源占用(显存、内存、功耗)。三者不是同向变化。位宽降低通常减少内存带宽压力,但若硬件没有对应的低精度加速能力,反而可能因频繁反量化而变慢。精度损失也不是均匀分布:对数值范围敏感的层、注意力相关计算、输出层附近,往往更容易受影响。

因此,“量化后一定更快更准”不成立。合理表述是:量化在特定模型、特定硬件和特定任务上,可能以一定精度代价换取资源节省,效果需实测。

使用边界与常见误解

量化不适用于所有场景。任务对数值精度极敏感、模型本身很小、部署硬件不支持低精度运算时,收益可能有限甚至为负。量化后仍需用代表性数据做评测,不能只看困惑度或单一指标,要覆盖真实业务输入分布。

常见误解有三。其一,把量化等同于蒸馏:蒸馏是让学生模型学习教师模型的输出,量化只是改变数值表示。其二,认为量化后模型“变小就一定变快”:速度取决于算子实现和硬件。其三,认为量化可以修复模型本身的能力缺陷:它不增加知识,也不改变训练数据的覆盖范围。

示例(假设)

假设某文本分类模型有 1 亿参数,权重以 FP32 存储,仅权重部分约 400 MB。采用训练后 8 位量化,理论上权重约 100 MB;若文件实测为 130 MB,差额来自缩放因子、未量化层和元数据。假设在固定测试集上原模型准确率 92.0%,量化后 91.4%,单条推理延迟从 40 毫秒降到 28 毫秒。这组数字仅用于说明计算与权衡方式,不代表任何真实产品或普遍效果。

常见问题

量化会改变模型结构吗? 通常不改变层与连接关系,改变的是参数的数值表示和部分算子的计算方式;个别实现会替换特定算子。

量化后还需要评测吗? 需要。应使用与业务分布一致的评测集,同时记录精度、延迟和资源占用,并标明测试硬件与批次条件。

训练后量化和量化感知训练怎么选? 若精度损失可接受且希望低成本落地,可先试训练后量化;若精度下降明显且具备训练条件,再考虑量化感知训练。

参考资料

  • TensorFlow 官方:训练后量化指南,https://www.tensorflow.org/model_optimization/guide/quantization/post_training ,支持训练后量化的流程与校准说明。

(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)

你可能喜欢