Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers· μ子训练的Transformer后解惑崩溃
Under the standard split, Muon gets hidden matrices and AdamW embeddings/output head. Muon groks modular addition faster, but its solutions do not hold. All nine configurations on $(a+b) \bmod 113$ grok and later lose generalization. Across five seeds the selected AdamW reference falls below threshold on four, reaching 27.59%. Instability persists across two moduli, two widths, two training fractions, subtraction, and depth. The failure arises at the representation-readout interface, identified only jointly up to an invertible map unselected by the loss. After solving the training set, the gradient falls to order $10^{-6}$ and the optimizers respond differently: step-size elasticity is -0.03 for Muon versus +1.5 for AdamW, and the Muon group moves 8.0 times faster per parameter. From bit-i
研究发现μ子训练的Transformer在表征-输出接口处出现后解惑崩溃。
- 核心方法
- 通过对比不同的优化器（Muon和AdamW）在训练Transformer模型时的行为，分析了训练后期梯度下降、优化器响应差异以及表征-输出接口的不稳定性。
- 适合谁读
- 适合研究者和工程师阅读，特别是关注Transformer模型优化和泛化能力的人员。
- 要解决的问题
- 本文探讨了使用μ子优化器训练Transformer模型在解决模加问题时的不稳定性和泛化能力下降的问题。
- 关键实验
- 实验包括对比9种配置在模113加法任务上的表现，以及在不同模数、宽度、训练数据比例、减法和深度下的稳定性分析。
- 主要贡献
- 提出了后解惑崩溃的概念，并分析了其在不同条件下的表现，为理解Transformer模型训练过程中的泛化问题提供了新视角。
- 意义与局限
- 该研究揭示了Transformer模型训练中一个被忽视的问题，可能对未来的模型优化和泛化研究产生重要影响。但也存在局限性，如实验仅限于特定的数学任务。