CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI· CivBench：文明VI中工具媒介代理的长期基准测试
We present CivBench, an open-source benchmark for evaluating language model agents in long-horizon, tool-mediated environments through the Model Context Protocol (MCP). A single episode spans 300+ turns and produces thousands of tool calls over a large action space, requiring sustained planning, state monitoring, and execution under partial observability. The environment exposes 76 MCP tools and a narration layer that converts visual game state into structured text. We use CivBench to characterise agent behaviour across four model families in 23 admissible runs. The sample is a pilot, not a model ranking: aggregate outcomes do not reliably discriminate models at this scale. Instead, we introduce two interface-level metrics that the environment makes measurable: Proactive Monitoring Rate (P
一个用于评估文明VI中语言模型代理长期表现的基准测试框架。
- 核心方法
- 通过Model Context Protocol (MCP) 创建了CivBench 基准测试，该测试包括76个MCP工具和一个将游戏视觉状态转换为结构化文本的叙述层，以帮助评估代理的行为。
- 适合谁读
- 研究者
- 要解决的问题
- 解决在长期、工具媒介环境中对语言模型代理的有效评估问题。
- 关键实验
- 对来自四个模型家族的代理进行了23次可行运行测试，每次跨越300多个回合，但没有公布模型排名。
- 主要贡献
- 提出了一个开放源码的基准测试框架CivBench，以及两个新的评估指标：主动监控率（Proactive Monitoring Rate）和执行效率（Execution Efficiency）。
- 意义与局限
- 有助于在复杂、部分可观测的游戏环境中评估和改进AI代理的长期规划和执行能力，但数据量有限，不支持大规模模型间的可靠比较。