RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases· 研究注意力预测
Large language models (LLMs) increasingly act as research agents, yet their ability to track shifts in research attention is difficult to evaluate because reviews and research ideas lack uniquely verifiable outcomes. We introduce Research Attention Prediction (RAP), a rolling benchmark covering 278 AI/ML fields and 1,390 episodes. At each cut-off, an LLM agent searches a temporally restricted arXiv corpus and predicts the next six months' paper shares across eight frozen research directions. Search generally helps, but all four diagnostic models perform worse than an exact-count exponentially weighted moving average (EWMA) baseline in compositional accuracy. We identify two linked bottlenecks. Under cumulative-history access, State carry-forward outperforms direct Forecast for all four dia
研究注意力预测模型揭示了目标条件下的证据获取偏差。
- 核心方法
- 引入了一个滚动基准测试Research Attention Prediction (RAP)，涵盖278个AI/ML领域和1,390个案例，在每个截止点，一个大型语言模型代理搜索时间限制的arXiv语料库，预测接下来六个月中八个固定研究方向的论文比例。
- 适合谁读
- 适合研究者、AI/ML领域的工程师阅读
- 要解决的问题
- 评估大型语言模型跟踪研究注意力变化的能力困难，因为研究评价和理念缺乏唯一可验证的结果。
- 关键实验
- 实验包括了四个诊断模型的性能比较，所有模型在组合准确性上都表现得不如一个确切计数的指数加权移动平均值（EWMA）基线。
- 主要贡献
- 该研究揭示了大型语言模型在预测研究注意力时存在的两个瓶颈：累积历史访问时，状态前向优于直接预测。
- 意义与局限
- 研究对理解和改善大型语言模型如何有效处理长文本及历史信息以预测科学趋势具有重要意义；局限在于模型在预测未来研究方向的动态变化方面仍存在挑战。