当我们讨论神经网络量化时，往往从工程实践出发：选择 8 位还是 4 位权重、是否采用对称量化、如何进行校准。然而，如果回到信号处理的理论基础，量化是一个更本质的问题 —— 它研究的是如何用有限的离散集合近似连续取值的信号，并最小化由此引入的失真。本文从理论角度，系统解析量化的数学原理，重点覆盖均匀量化的误差界、Lloyd-Max 最优量化算法，以及高分辨率条件下的近似理论。
标量量化基本模型
设连续取值随机变量 $X$ 的概率密度函数为 $f_X (x)$，量化器 $Q$ 将 $X$ 映射到离散重构集合 $Y = {y_1, y_2, \ldots, y_M}$，其中 $M$ 为量化级别数目。量化过程由决策区间 $R_k$ 定义：$X \in R_k$ 时，$Q (X) = y_k$。量化误差为 $e = X - Q (X)$，我们通常用均方误差（MSE）$D = \mathbb {E}[(X - Q (X))^2]$ 度量失真。
标量量化的核心问题是：给定量化级别数 $M$，如何选择决策边界和重构水平，使得均方误差最小？
均匀量化的误差分析
均匀量化是最简单也是工程中最常用的方案：决策区间等宽，即 $R_k = [(k-1)\Delta, k\Delta)$，其中 $\Delta$ 为量化步长，重构水平取区间中点 $y_k = (k-0.5)\Delta$。
在高分辨率（即 $\Delta$ 很小、$M$ 很大）条件下，对于一类广泛的光滑输入分布，均匀量化的均方误差存在一个经典上界：
$$D \approx \frac{\Delta^2}{12}$$
这个结果的推导基于以下假设：输入分布在每个量化区间内相对均匀，重构水平取条件均值。当输入确实服从均匀分布时，该近似尤为精确；对于非均匀分布（如高斯或拉普拉斯分布），均匀量化的表现会次优，因为量化资源没有根据概率密度进行最优分配。
另一个需要考虑的因素是过载失真（overload distortion）：当输入信号超出量化器支持范围时，会产生严重的截断误差。工程中通常通过扩展量化区间或采用软限制来缓解这一问题。
Lloyd-Max 最优量化算法
当输入分布已知且非均匀时，可以显著优于均匀量化。Lloyd-Max 量化器（简称 LMQ）通过迭代优化找到给定级别数下的均方误差最优解，其核心思想包含两条规则：
规则一（重构水平更新）：给定决策分区后，每个重构水平应取该分区 内输入的条件均值，即 $y_k = \mathbb {E}[X | X \in R_k]$。这保证了在给定分区下 MSE 最小。
规则二（决策边界更新）：给定重构水平后，决策边界应置于相邻两个重构水平的中点，即 $b_k = (y_k + y_{k+1})/2$。这保证了在给定重构水平下 MSE 最小。
两条规则交替迭代，算法必收敛到局部最优。值得注意的是，对于均匀分布输入，LMQ 收敛到均匀量化器；而对于高斯分布输入，LMQ 会在均值附近放置更细的量化级别，在尾部放置较粗的级别，从而更高效地利用量化资源。
LMQ 还满足一个重要的正交特性：对于最优量化器，量化误差 $\epsilon = X - Q (X)$ 与量化输出 $Q (X)$ 零相关，即 $\mathbb {E}[\epsilon \cdot Q (X)] = 0$。这与最优线性估计中的正交原理类似。
高分辨率渐进理论与非均匀量化
高分辨率理论为理解量化性能提供了渐近视角。当量化步长 $\Delta \to 0$（或等效地，bit 率 $R = \log_2 M \to \infty$）时，最优标量量化的 MSE 遵循 $D \approx c \cdot \Delta^2$，其中常数 $c$ 取决于输入分布。更精细的分析表明，最优非均匀量化器的决策边界与输入概率密度的 $1/3$ 次幂相关：$x_i \propto f_X (x)^{1/3}$，这解释了为什么 LMQ 会在高概率密度区域自动细化量化。
对于向量量化（Vector Quantization, VQ），高分辨率下的 MSE 可进一步降低至 $D \propto \Delta^{2d}$，其中 $d$ 为向量维度，这体现了多维信号处理的潜在增益。然而 VQ 的计算复杂度随维度指数增长，实际中常采用分块处理或基于结构化码书的方法。
工程参数与实践要点
将理论应用于工程实践时，可参考以下参数设计：
输入分布建模阶段：若输入分布未知，可采用直方图估计或参数化拟合（如假设高斯、拉普拉斯分布）；分布的准确性直接影响 LMQ 优化效果。
量化级别数选择：对于 $b$ 位量化，$M = 2^b$。在神经网络权重场景下，常见选择为 $b=8$（256 级）或 $b=4$（16 级）；可先用验证集 MSE 评估不同位宽的性能衰减曲线。
迭代收敛阈值：LMQ 迭代通常在 MSE 变化小于 $10^{-4}$ 或达到固定迭代次数（如 50 次）后停止。
均匀量化作为基准：实际系统中，均匀量化可作为快速 baseline；若 LMQ 带来的增益不足以抵消其复杂度，可考虑混合策略 —— 对核心层使用非均匀量化，对次要层使用均匀量化。
小结
从信号处理理论视角，量化的核心是在有限离散表示与连续信号保真度之间寻求最优折中。均匀量化提供简单且鲁棒的解决方案，其 MSE 上界为 $\Delta^2/12$；Lloyd-Max 算法则为给定分布下的最优设计提供了迭代框架。对于分布已知的场景，LMQ 可通过在概率密集区域放置更细的量化级别来获得显著增益。理解这些理论基础，有助于在神经网络量化等实际任务中做出更具原则性的设计决策。
资料来源：本文主要参考 Wikipedia 词条 "Quantization (signal processing)" 及 Stanford 大学非均匀量化讲义。