UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users· 在多轮对话中评估代码代理
As coding agents become more capable, developers increasingly use them to fix bugs through multi-turn interactions. Existing benchmarks do not adequately cover this scenario. Most present a complete issue report in a single turn without interaction. Their evaluation can produce both false positives and false negatives, accepting incorrect patches or rejecting correct ones. We introduce UserSWE for evaluating coding agents' ability to fix repository-level bugs through multi-turn interactions with dynamic users and execution-grounded verdicts at every turn. Its construction pipeline turns repository history and existing single-turn benchmarks into multi-turn tasks. At each turn, information pools constrain what the simulated user can reveal, while a persona chain sampled from a transition mo
提出了一个新框架，用于评估代码代理在多轮对话中修复代码库级错误的能力。
- 核心方法
- 通过将代码库历史和现有单轮基准转化为多轮任务，使用信息池限制模拟用户的揭示内容，并通过状态链从转换模型中抽样生成用户角色。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有的评估基准无法充分模拟开发者与代码代理之间的多轮交互，导致评估结果不准确。
- 关键实验
- 在多个开源项目上进行了实验，展示了UserSWE的有效性和可靠性。
- 主要贡献
- 引入了UserSWE框架，可以更准确地评估代码代理在多轮对话中的修复能力。
- 意义与局限
- 为代码代理的性能评估提供了更接近真实开发环境的方法，有助于推动AI在软件开发中的应用。局限在于模拟用户的真实度和多样性可能仍有提升空间。