为改善均匀噪声近似,Choi等人将通用量化引入可变码率图像压缩网络。该方法在量化前加入共享的均匀随机抖动,并在取整后减去同一抖动,可表示为ẑ=roundΔ(y+u)-u,其中Δ为量化步长。单个维度上的量化误差在分布上等价于与信号无关的均匀噪声,而不同维度之间可以保留一定相关性。在反向传播过程中,量化操作仍以单位斜率近似。Choi等人在其Kodak图像集实验中观察到,采用通用量化训练的模型取得了高于独立加性均匀噪声方案的峰值信噪比。不过,这一结果建立在特定模型与实验条件之上,并不意味着通用量化在所有压缩任务中均具有绝对优势。
直通估计器也是处理不可微量化操作的重要方法。其前向传播阶段直接执行真实量化,即ŷ=round(y),而在反向传播阶段忽略取整函数的实际导数,将∂ŷ/∂y近似设为1,使上游梯度能够直接穿过量化层。与噪声近似相比,直通估计器的前向计算形式与部署时的硬量化更加一致,且无需额外构造随机噪声模型,因而具有较低的实现复杂度。Bengio等人将这种直接传递梯度的启发式方法概括为直通估计器,此后该方法被广泛用于离散表示学习和低精度网络训练。