Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents· 真实 PMID，错误论文：生物医学断言验证代理的 harness 设计
Literature-searching language agents are becoming a standard component of scientific assistants for the life sciences, yet there is little controlled evidence on which parts of their harness matter. We run a controlled ablation on biomedical claim verification (SciFact) with the live PubMed API as the only tool. Holding the backbone and output format fixed, we compare four harnesses: closed-book answering, single-shot retrieval using the claim as the query, a ReAct-style agent that writes its own PubMed queries, and an oracle given the gold abstracts, each with two efficient frontier backbones. Naive single-shot retrieval finds the gold paper for only 6% of claims and turns overconfident errors into abstentions without improving accuracy. Letting the model formulate its own queries triples
设计不同 harness 比较生物医学语言代理的断言验证效果。
- 核心方法
- 通过控制实验，比较四种不同的 harness 设计：闭书回答、单一检索、自定义 PubMed 查询和黄金摘要提供，使用两个高效前沿的模型作为基础。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 如何有效提高生物医学文献查询语言代理在断言验证任务中的准确性和可靠性。
- 关键实验
- 关键实验包括使用 PubMed API 的控制消融实验，比较了四种不同 harness 设计在 SciFact 数据集上的表现。
- 主要贡献
- 揭示了自定义 PubMed 查询的 harness 设计显著提高了模型在生物医学断言验证任务中的性能。
- 意义与局限
- 研究为未来生物医学语言代理的设计提供了实证支持，但实验仅在特定数据集和模型上进行，可能在其他场景下存在局限。