Beyond 4 bits: Data-Centric Post-training Quantization and Recovery· 超越4位：数据驱动的后训练量化与恢复
Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where scalar PTQ pipelines collapse. Most of the remaining loss in accuracy is on \emph{generative} tasks, and the amount of performance drop is model-dependent. Furthermore, at a short recovery budget, calib
研究2位后训练量化的关键因素，提出数据驱动方法提升模型性能。
- 核心方法
- 通过研究量化表示、校准数据和恢复微调数据对模型性能的影响，发现向量码本可以恢复模型性能，提出数据驱动的量化恢复方法。
- 适合谁读
- 研究者 / 工程师
- 要解决的问题
- 现有的后训练量化技术在2位时性能大幅下降，无法保持模型的高精度。
- 关键实验
- 在六个密集模型和专家混合模型上进行了实验，模型参数范围从3.8B到32B，验证了方法的有效性。
- 主要贡献
- 提出了使用向量码本和数据驱动方法在2位后训练量化中恢复模型性能，使得低比特量化可以在更大范围内应用。
- 意义与局限
- 本研究为低比特量化提供了新的思路，特别是在资源受限的设备上部署大型模型时具有重要影响，但仍存在生成任务性能下降的问题。