Behavioral Controllability of Agentic Models for Information Extraction: From Fixed Workflows to Reflective Agents· 代理模型信息抽取的可控性研究
Large language model (LLM) agents are increasingly used for complex information-extraction tasks, yet it remains unclear whether agentic components such as reflection and memory lead to observable and controllable improvements over fixed LLM workflows. We study this question through conference-paper dataset extraction, where a system must identify datasets mentioned in scholarly PDFs and produce structured records. We compare a fixed workflow baseline with reflective agent variants and specify an optimized agent condition (S2) that extends the same task with richer PDF tools and dynamic tool selection. Our evaluation emphasizes process-level behavior--including tool execution, retries, reflection, memory use, runtime, and failure recovery--while treating extraction coverage and field compl
研究代理模型在信息抽取任务中的行为可控性。
- 核心方法
- 通过学术论文数据集抽取任务，对比固定工作流与具有反思能力的代理模型，提出优化的代理条件S2，该条件包含更丰富的PDF工具和动态工具选择机制。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 探讨代理模型中反思和记忆等组件是否能带来相较于固定工作流的可观察和可控的性能提升。
- 关键实验
- 实验包括过程行为分析（工具执行、重试、反思、记忆使用、运行时间和失败恢复）和信息抽取效果评估。
- 主要贡献
- 证明了富含工具和动态选择的代理模型在过程行为上表现更优，且在信息抽取的覆盖率和字段完整度方面有提升。
- 意义与局限
- 研究为开发更高级的代理模型提供了理论支持，但也指出模型在可控性和稳定性方面的挑战。