Advancing SVD-based LLM Compression via Layer-Wise Error Model Search· 通过逐层错误模型搜索推进 SVD 基 LLM 压缩
Low-rank SVD-based compression offers a powerful strategy to reduce the computational costs of LLMs. However, existing methods face two key limitations: (i) global rank allocation, where uncalibrated error proxies fail to capture complex error propagation, and (ii) decomposition quality, where Fisher-based estimators suffer from severe rank collapse. In this work, we address these limitations by introducing Layer-wise Error Modeling Search (LEMS) and KFAC-SVD. LEMS advances rank allocation by introducing a layer-wise error surrogate that integrates local and global layer importance alongside a propagation bias, enabling effective global rank allocation via an ILP formulation. KFAC-SVD improves decomposition quality by utilizing token-wise statistics, mitigating the rank deficiency observed
使用 LEMS 和 KFAC-SVD 优化低秩 SVD 压缩方法，提高大模型压缩效果。
- 核心方法
- 引入了逐层错误模型搜索（LEMS）方法，通过局部和全局层重要性的误差代理和传播偏差，使用整数线性规划（ILP）优化全局秩分配。同时提出了 KFAC-SVD 方法，利用 token 级统计信息改善秩塌陷问题。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有基于低秩 SVD 的大语言模型压缩方法存在全局秩分配不准确和分解质量差的问题。
- 关键实验
- 未提供
- 主要贡献
- 提出了 LEMS 和 KFAC-SVD，显著提高了 LLM 压缩的效率和质量。
- 意义与局限
- 该研究对提高 LLM 的计算效率和资源利用有重要影响，但仍需更多实验验证。