Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores· 错误预测，正确答案：从崩溃的 LLM 序列分数中恢复证据
When a large language model fails a reasoning task, it is often assumed to lack the underlying capability. However, this conflates a genuine absence of reasoning with a late-stage output bottleneck. We observe a consistent readout gap across diverse reasoning benchmarks: hidden-state probes successfully decode correct answers even when native sequence scoring completely collapses due to structural biases. To test whether instance-specific logic survives this collapse, we introduce a diagnostic protocol using a minimal, target-label-free additive correction. Fitting just two parameters on as few as 25 unlabeled examples recovers 9--34 accuracy points for Qwen3.5 models, transferring successfully to OLMo-2-1B and Llama-3.1-8B. Crucially, these recovered decisions persist on hard instances un
从大模型的失败中恢复正确的推理证据。
- 核心方法
- 通过使用隐藏状态探针和最小化的目标标签自由修正方法，测试和恢复特定实例的逻辑能力。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 大语言模型在推理任务中失败，通常被误认为缺乏推理能力，但实际上可能是输出阶段的结构偏差导致。
- 关键实验
- 在 Qwen3.5、OLMo-2-1B 和 Llama-3.1-8B 模型上进行了实验，仅需 25 个未标注样本即可恢复准确度；特别是在难度较大的实例上效果显著。
- 主要贡献
- 提出了一种诊断协议，即使在模型序列评分完全崩溃的情况下也能恢复 9-34 个准确度点；方法在多个模型上成功验证。
- 意义与局限
- 意义在于更好地理解大模型内部的推理能力，并提供了一种修正模型输出错误的方法。局限性在于需要进一步验证该方法在更多模型和任务上的有效性。