UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training· 用户代理基准：评估LLM用户模拟器
Interactive agent benchmarks and multi-turn reinforcement learning increasingly place a second language model in the role of the user. This simulated user controls what information the agent receives and when, yet current benchmarks score only the agent and do not directly measure whether the user correctly executed its assigned role. We introduce UserProxyBench, an evaluation layer over the tau-bench family, and the User Fidelity Score (UFS), which measures adherence to the benchmark's private user instructions using task-grounded rubric criteria scored independently of agent success. Holding the agent fixed at GPT-5.5 and varying only the user proxy across 375 enterprise tasks changes mean task reward by 15.2 points, while 24.4% of successful episodes contain a user-specification violati
提出新工具评估LLM用户模拟器在代理基准测试中的准确性。
- 核心方法
- 引入UserProxyBench评估框架和User Fidelity Score (UFS)，通过任务导向的评分标准独立于代理成功来衡量用户模拟器是否准确执行其角色。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 当前交互式代理基准测试中，用户模拟器的行为未被直接评估，可能影响代理性能测量的准确性。
- 关键实验
- 在375个企业任务上进行实验，固定代理为GPT-5.5，仅改变用户模拟器，结果显示平均任务奖励变化15.2分，24.4%的成功实验包含用户规范违反。
- 主要贡献
- 提供了一种评估和改进用户模拟器的新方法，有助于提高代理基准测试的可靠性和有效性。
- 意义与局限
- 该研究强调了用户模拟器在代理基准测试中的重要性，有助于提升多轮强化学习和交互式系统的评估标准。局限性在于实验仅基于GPT-5.5，可能无法完全泛化到其他代理模型。