AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs· AsymSpec：面向代理的LLM的上下文不对称投机解码
Agentic LLM pipelines face escalating inference costs as context accumulates across retrieval, tool use, and multi-turn interactions. To control latency, deployments routinely compress inputs, but this degrades task accuracy. Speculative decoding (SD) accelerates generation losslessly, yet it assumes the drafter and verifier share an identical context, preventing SD from resolving the accuracy-overhead trade-off. We propose AsymSpec, an asymmetric speculative decoding framework that breaks this symmetry: a lightweight drafter reads the full input while the large verifier operates on the compressed view. The drafter steers the verifier via a contrastive $δ$-fusion of logits, modulated by a divergence-aware acceptance gate that preserves verification stability and high draft acceptance rates
代理人LLM的上下文不对称投机解码框架，降低推理成本同时保持任务准确性。
- 核心方法
- 提出AsymSpec框架，通过轻量级起草者读取完整输入，而大模型验证者操作压缩视图，使用对比$δ$-融合和分歧感知接受门确保验证稳定性和高起草接受率。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 随着上下文的累积，代理人LLM在检索、工具使用和多轮交互中的推理成本增加，现有压缩方法牺牲了任务准确性。
- 关键实验
- 展示了AsymSpec在多种任务上的性能提升，包括对话生成和工具使用等场景，具体实验设置和结果请参见论文。
- 主要贡献
- 解决代理人LLM在上下文累积过程中的准确性和开销权衡问题，实现低延迟高精度的推理。
- 意义与局限
- 提高了代理人的效率和精度，为大规模应用LLM提供了新的解决方案，但也可能面临复杂上下文适应性挑战。