Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents· 自由观察，自由推理：简单的LLM胜过手工设计的RCA代理
Root cause analysis (RCA) of microservice failures has attracted many LLM agents whose investigation is hand-crafted, through standard operating procedures, fixed stages and role agents. Each is evaluated on its own data against few baselines, so it is unknown whether this design beats letting a capable model investigate on its own. We compare three simple harnesses that prescribe none of the model's calls (one call over an evidence package, a SQL agent and the Codex coding agent) with five published LLM RCA agents and with statistical and causal methods on RCAtlas, 90 validated cases from eight public datasets, across six models and three reasoning efforts. The simple harnesses are the most accurate (PR@1 65-77% on three mid-tier models), ahead of the published agents (16-53%) and the non
LLM 自由探索方法在微服务故障根因分析中表现优于手工设计的代理。
- 核心方法
- 设计了三种简单的 LLM 架构，这些架构不对模型的具体调用做任何规定，与五种已发布的 LLM RCA 代理及统计和因果方法进行对比测试。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 解决微服务故障根因分析中手工设计的代理方法是否优于让 LLM 自由探索的问题。
- 关键实验
- 在 RCAtlas 数据集上进行了实验，该数据集包含来自八个公开数据集的 90 个验证案例，使用了六种模型和三种推理努力程度。
- 主要贡献
- 证明了简单的 LLM 架构在根因分析任务上可以达到更高的精度，为未来的研究提供了新的方向。
- 意义与局限
- 该研究揭示了 LLM 在故障诊断中的潜力，但目前主要局限于中层模型；对于更复杂的模型和应用场景的有效性还需进一步验证。