How Do Agent Harnesses Create Value? Planning Information and Release Control in Stateful LLM Agents· 代理框架如何创造价值？
Agent harnesses supply planning guidance, organize execution, and check completion. We study how these components affect success, erroneous acceptance, and cost in two Retail experiments and an Airline pilot in $τ^2$-bench. The primary comparison pairs prewritten task-specific plans (Fixed) with shuffled policy text matched in word count (Sham), isolating the contribution of guidance content. Across 265 matched cells, Fixed improves oracle-verified success by 7.17 percentage points (90\% task-clustered bootstrap interval, 1.15--13.36 points), with gains concentrated in higher-complexity tasks. A read-only terminal verifier rejects 61\% of Retail oracle-invalid episodes while withholding 17\% of correct ones, at less than one cent of additional cost per episode. Which component matters more
研究代理框架中规划信息和执行控制如何影响任务成功率及成本。
- 核心方法
- 通过对比预制任务特定计划（Fixed）与相同字数的随机混排策略文本（Sham），隔离分析规划内容的作用，并在零售和航空领域进行实验。
- 适合谁读
- 研究者
- 要解决的问题
- 探讨代理框架中的规划、执行与检查组件如何影响任务的成功率、错误接受率及成本。
- 关键实验
- 在$τ^2$-bench平台上进行了两次零售实验和一次航空实验，共比较了265个匹配组。
- 主要贡献
- 发现Fixed比Sham提高任务成功率7.17个百分点，特别是在高复杂度任务中效果更明显；引入读取终端验证器减少错误接受率并控制成本。
- 意义与局限
- 该研究揭示了规划信息对状态化LLM代理的重要性，有助于设计更高效的任务执行系统，但需进一步探索哪些组件贡献最大。