DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention· DAMI: 增强长上下文检索的双轴记忆初始化
Linear attention scales linearly with sequence length, but its finite-state memory can limit long-context retrieval. In gated linear recurrences, memory retention depends on state decay, which is shaped jointly by gate parameters A_log and dt_bias and by input activations. In controlled Gated DeltaNet (GDN) experiments, both parameters remain highly correlated with their initial values after training, highlighting the importance of initialization. Therefore, we introduce Dual-Axis Memory Initialization (DAMI), which jointly configures these parameters before training. DAMI assigns geometric timescales across heads for varied retrieval distances and a low-high-low input-sensitivity profile across layers. A small activation sample calibrates the GDN-family implementation to match both behavi
一种用于增强长上下文检索线性注意力机制的方法。
- 核心方法
- 提出了双轴记忆初始化（DAMI）方法，通过在训练前配置门控参数A_log和dt_bias，使不同头具有不同的几何时间尺度，并且在不同层间具有低-高-低的输入敏感度配置。
- 适合谁读
- 适合关注长序列处理和线性注意力机制的研究者和工程师阅读。
- 要解决的问题
- 线性注意力机制随序列长度线性扩展，但其有限状态内存限制了长上下文信息的检索。
- 关键实验
- 通过控制Gated DeltaNet (GDN)的实验，验证了使用DAMI方法后，训练中A_log和dt_bias参数与初始值的高度相关性，证明了初始化的重要性。
- 主要贡献
- DAMI提供了一种有效增强线性注意力机制长上下文检索能力的初始化策略，通过实验验证了其有效性。
- 意义与局限
- 此方法可能对需要处理长序列数据的自然语言处理任务产生积极影响，但如何在实际应用中调节和优化DAMI参数仍存在挑战。