VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies· VAKRA：在工具使用策略下评估多步推理的API和检索
Agents deployed in enterprise settings must reason across structured APIs and document collections, yet existing benchmarks evaluate these capabilities in isolation. We introduce VAKRA (e\textbf{V}aluating \textbf{A}PI and \textbf{K}nowledge \textbf{R}etrieval \textbf{A}gents), a benchmark of over $8{,}000$ executable APIs across $62$ domains with tasks spanning three settings of increasing difficulty: diverse API interaction styles, multi-hop reasoning over structured APIs, and multi-source reasoning with natural-language tool-use policy constraints. Correctness is verified by re-executing predicted tool calls against live APIs, accommodating multiple valid paths. Using a fixed ReAct harness to isolate model capabilities from agent architecture, we evaluate frontier and open-weight models
企业环境中多步推理API和文档集合的评估基准VAKRA介绍。
- 核心方法
- VAKRA基准包含超过8000个可执行API，覆盖62个领域，任务涉及API交互风格多样性、结构化API上的多步推理和自然语言工具使用策略约束下的多源推理。通过重新执行预测的工具调用，验证正确性，支持多条有效路径。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有基准仅孤立评估代理在企业环境中跨结构化API和文档集合的推理能力，无法全面衡量多步或多源推理。
- 关键实验
- 使用固定ReAct框架评估边界模型和开放权重模型，具体实验结果未提供。
- 主要贡献
- VAKRA为评估企业代理的复杂推理能力提供了一个全面的基准，涵盖了多种推理场景，填补了现有基准的空白。
- 意义与局限
- VAKRA的意义在于推动企业代理技术的发展，提高其在复杂任务中的适应性和准确性；但其局限性在于评估框架的复杂性和实施难度较高。