REFLEX with Jev for Efficient Selective Control in LLM Agents· REFLEX在LLM代理中的高效选择性控制
LLM agents often use generative models for bounded decisions, raising the question of when these decisions can be handled more efficiently without reducing task success. We study REFLEX, an agent architecture that uses Jev as a fast, typed decision layer and calls a strong LLM when confidence is low, or generation is required. On a frozen 100-task benchmark, REFLEX achieves 95% success with 72.7% fewer strong-model calls than a strong-only agent, with reductions persisting across three fallback families. Controlled interventions show that reliability depends on action-set size and near-valid alternatives near authorization boundaries. External BFCL and $τ$-style evaluations reveal limited advantages over a cheap generative cascade when ordinary routing is already highly accurate. These fin
使用REFLEX架构减少LLM代理在决策时对强模型的依赖，同时保持任务成功率。
- 核心方法
- REFLEX架构结合Jev作为快速、类型化的决策层，当置信度低或需要生成内容时调用强LLM。通过控制决策调用，减少对强模型的依赖。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 如何在不降低任务成功率的情况下，减少大型语言模型（LLM）代理在做出有限决策时对强模型的调用次数。
- 关键实验
- 在100个任务基准上测试了REFLEX的表现，比较了三种不同的Fallback模型家族，评估了置信度阈值和动作集大小对可靠性的影响。
- 主要贡献
- 在100个任务基准上，REFLEX减少了72.7%的强模型调用，同时保持95%的任务成功率。展示了在不同类型任务上的一致性。
- 意义与局限
- REFLEX为提高LLM代理效率提供了一种有效方法，特别适用于需要频繁决策但资源有限的场景。局限在于普通路由已高度准确时，优势有限。