Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy· 不同证据下的相同模拟
LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and GPT-5.2 lose 11.3 and 7.9 points of accuracy, while Claude Opus 4.6 and Claude Sonnet 4.6 show no detectable cost. Re-running all 11,007 logged simulator calls shows that both GPT models compute the k
研究不同证据检索方式对LLM代理准确率的影响。
- 核心方法
- 通过使用实际的科学工具PHREEQC（美国地质调查局广泛使用的地球化学模拟器）生成长达846.8万字符的报告，测试LLM代理在不同证据检索方式下的准确率变化。
- 适合谁读
- 适合LLM领域的研究者和工程师阅读。
- 要解决的问题
- LLM代理即使能够计算出正确答案，使用不同证据检索方式时仍然可能会出错。
- 关键实验
- 测试了158个执行验证的多项选择题，重新运行了所有11,007次记录的模拟器调用。
- 主要贡献
- 发现GPT-5.1和GPT-5.2在通过部分索引而非完整上下文读取报告时准确率分别下降了11.3和7.9分，而Claude Opus 4.6和Claude Sonnet 4.6则未表现出明显损失。
- 意义与局限
- 研究结果揭示了LLM代理在处理大规模数据时的证据检索方式对其准确率的影响，有助于改进代理的设计和应用。但实验仅基于一个特定的工具和任务，结果可能不具有普遍性。