Penelope: Localized Latent Recurrence for Efficient Structured Reasoning· Penelope：局部潜循环高效结构推理
Complex structured reasoning tasks often require additional computation, yet current language models obtain it mainly by increasing parameter scale or by serializing intermediate steps as chain-of-thought (CoT) tokens. The former raises training and deployment costs, while the latter ties reasoning computation to autoregressive output length. We introduce Penelope, an efficient latent-reasoning framework for pretrained decoder-only Transformers that localizes recurrent computation to a selected decoder interval. The lower decoder prefix is evaluated once to construct a problem-conditioned boundary memory, which is then iteratively refined through time-modulated GRU dynamics and recurrent readout states before answer generation. A progressive CoT-to-latent curriculum transfers visible reaso
基于局部潜循环的高效结构推理框架Penelope，旨在解决复杂推理任务的计算效率问题。
- 核心方法
- Penelope通过将循环计算局部化到选定的解码器区间，并使用时间调制GRU动态和循环读取状态迭代优化问题条件边界记忆来提高计算效率。
- 适合谁读
- 适合研究者和工程师阅读，特别是关注语言模型推理效率提升的读者。
- 要解决的问题
- 该论文旨在解决复杂结构化推理任务中额外计算需求导致的训练和部署成本增加以及推理计算与自回归输出长度绑定的问题。
- 关键实验
- 通过一系列复杂结构化推理任务的实验验证了Penelope的有效性和效率，具体实验结果和数据未完全提供。
- 主要贡献
- 提出了一个新的局部潜循环推理框架，有效减少了推理任务中的计算需求，同时保持了模型的推理精度。
- 意义与局限
- Penelope显著降低了现有语言模型在执行复杂推理任务时的计算成本，提升了模型的应用灵活性，但其效果可能受到特定任务和数据集的影响。