Can Agent Harnesses and Inference Engines Hear Each Other? The HEAR Protocol for Agentic LLM Serving· LLM 代理能否相互‘听见’？
LLM agents increasingly execute complex workflows involving multi-turn reasoning, tool use, and parallel agents. Efficient serving requires decisions that span two layers with complementary information: the agent harness understands workflow dependencies, context lifecycles, and execution objectives, whereas the inference engine observes request queues, KV-cache state, resource pressure, and execution capabilities. Existing interfaces do not systematically connect these views, limiting workflow-aware execution. HEAR, a bidirectional Harness--Engine Pairing protocol for agentic LLM serving. HEAR standardizes how the harness communicates workflow intent and execution requirements and how the engine returns runtime state, capabilities, and outcomes. By separating protocol semantics from optim
提出HEAR协议，增强LLM代理与推理引擎的协同工作能力。
- 核心方法
- 设计了一种双向代理-引擎配对协议HEAR，标准化了代理向引擎传达工作流程意图及执行需求的方式，以及引擎向代理返回运行时状态、能力及结果的方式。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 当前的LLM代理与推理引擎间的通信接口未能有效整合工作流程依赖、执行目标和资源状态，限制了复杂任务的高效执行。
- 关键实验
- 未提供
- 主要贡献
- 首次提出了将工作流程意识与资源状态管理两个层面系统连接的方法，为LLM代理服务的高效执行和优化提供了新的解决方案。
- 意义与局限
- HEAR协议有望显著提高大型语言模型在复杂工作流程中的执行效率，并促进代理之间更有效的协作。但其实际效果仍需通过具体应用场景验证。