AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery· AI 驱动的科学发现可复现性与分析鲁棒性
Reproducible and analytically robust research findings are essential to scientific progress, but evaluating these properties typically requires costly manual effort. We investigate whether LLM agents can help automate reproduction and robustness analysis, using a medical case study grounded in the Surveillance, Epidemiology, and End Results (SEER) database, a widely used U.S. cancer registry underlying tens of thousands of published studies. First, we introduce SEER-Repro, a benchmark of 20 published SEER-based papers together with the data and resources required to reproduce their findings. Second, we create an AI agent that successfully reproduces 77.4% of 2,190 atomic claims, while providing executable baselines for further analysis. Third, we develop an agentic analysis pipeline to tes
论文探讨了 AI 助手在科研复现和分析鲁棒性中的应用潜力。
- 核心方法
- 作者构建了 SEER-Repro 基准，包括20篇基于 SEER 数据库的论文及其复现所需的数据资源，通过创建 AI 代理自动复现研究结论并提供可执行的基线以支持进一步分析。
- 适合谁读
- 研究者、工程师、产品
- 要解决的问题
- 当前科学研究成果的可复现性和分析鲁棒性评估耗时且成本高，依赖大量人工。
- 关键实验
- 关键实验包括了 SEER-Repro 基准测试，AI 代理复现了2,190个原子声明中的1,700个以上。
- 主要贡献
- 开发了一个能够自动复现77.4%原子声明的 AI 代理，以及一个用于测试分析鲁棒性的代理分析管道。
- 意义与局限
- 该研究提高了科学研究的效率和可靠性，但目前 AI 代理的复现能力和分析鲁棒性仍有局限。