GPTQ量化算法实现中遇到的Bug及影响

在大模型量化领域，已有答主 @吃果冻不吐果冻皮 对量化算法的背景以及相关工作进行了全面回顾。接下来，我将从实践角度分享一个我在复现 GPTQ 算法时遇到的问题。GPTQ 和 AWQ 是目前 W4A16 大模型量化中常用的两种算法，在主流推理框架（如 TGI、vLLM、TensorRT-LLM）中均得到了支持。然而，这些框架分别为两套算法维护了不同的底层算子实现，社区也开发了 AutoGPTQ 和 AutoAWQ 两套独立系统。造成这种现象的原因有两点：其一，两者对量化权重的 pack 方式存在差异，但这一问题可以通过 repack 的方式解决；其二，也是更为关键的一点，在 AutoGPTQ 中存在加减一的操作，这可能导致 qzeros 出现数据溢出的风险。更深入的分析可参考笔者之前的文章。加减一引发的数据溢出问题会带来两个严重后果：首先，这使得 GPTQ 的非对称量化效果逊于对称量化，因此社区中出现了大量上传对称量化 GPTQ 权重的现象（例如 TheBloke），从而在一定程度上削弱了 GPTQ 算法的表现。其次，这一问题还导致其他非对称量化方法（如 AWQ）的模型权重无法安全转换为 GPTQ 风格的权重，进而使得其他量化方法无法与 GPTQ 算子兼容（如 exllamav2）。结果是，社区不得不同时维护多套量化方案，增加了技术成本和复杂性。