Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning· 超越截断：以集合修剪重新思考LLM解码
We introduce Mahalanobis-Ensemble Decoding (ME-Decoding), a novel Large Language Model (LLM) decoding framework that frames candidate token selection as ensemble pruning. Existing selection strategies rely predominantly on scalar probabilities, ignoring geometric semantic relationships and causing candidate redundancy. Meanwhile, current geometry-aware methods often require complex optimization or directly reweighting the original token probabilities, leading to significant computational overhead or inference instability. To address this, we formulate decoding as a subset optimization problem using a Mahalanobis distance-driven objective to enhance semantic diversity while preserving high probabilities. Specifically, we dynamically discount redundant generation paths using a token similari
提出ME-Decoding框架，通过集合修剪优化LLM解码以提高语义多样性。
- 核心方法
- 将解码过程建模为基于Mahalanobis距离的子集优化问题，动态折扣冗余生成路径，以保持高概率的同时增强语义多样性。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有LLM解码方法依赖标量概率，忽略语义几何关系，导致候选冗余，同时几何感知方法计算复杂或推理不稳定。
- 关键实验
- 通过对比实验展示了ME-Decoding在多个基准数据集上的性能提升，特别是在文本多样性方面的改善。
- 主要贡献
- 1) 提出了一种新的LLM解码框架，2) 通过集合修剪减少候选冗余，3) 在保持高概率的同时提高语义多样性。
- 意义与局限
- ME-Decoding框架能够有效提高LLM生成文本的多样性和质量，具有重要的应用前景。然而，该方法在大规模模型上的计算效率和稳定性仍需进一步验证。