ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry· ProteinGeoBench：前沿结构生物学代理在几何问题上的挑战
Frontier agents retrieve structural metadata well and compute geometry from coordinates less reliably. We ask how much of a benchmark score reflects that gap and how much reflects the evaluation configuration around the model. We study ProteinGeoBench, a suite of 131 protein-structure tasks, using 4,249 rollouts from four frontier models and 4,486 further trials across 26 models. Three of the four frontier models fall within 0.031 of one another (0.785 to 0.816) with no difference between them resolved, while the fourth scores 0.707 and all three gaps to it exclude zero. Three of the four do better on metadata lookup than on numeric calculation. The fourth is slightly better on numeric. Numeric tasks are 28 of the 131 but half of the twelve tasks that all four models fail. The ranking also
前沿结构生物学代理在检索结构元数据方面表现出色，但在几何计算上存有缺陷。
- 核心方法
- 通过使用ProteinGeoBench，一个包含131个蛋白结构任务的测试套件，研究者对来自四个前沿模型的4,249次运行和另外26个模型的4,486次试验进行了分析，评估了代理模型在不同任务上的表现。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 论文探讨了前沿结构生物学代理模型在处理与蛋白结构相关的任务时，尤其是在检索结构元数据和基于坐标计算几何之间存在性能差异的问题。
- 关键实验
- 使用ProteinGeoBench测试套件，分析了4,249次四个前沿模型的运行结果和4,486次另外26个模型的试验结果。
- 主要贡献
- 指出了前沿模型在处理特定类型任务时的局限性，强调了几何计算任务对代理模型的挑战性，并为模型评估提供了新的视角。
- 意义与局限
- 这篇论文的重要意义在于揭示了当前结构生物学代理模型的能力边界，促进了对模型改进方向的思考。其局限性在于实验范围仅限于特定的模型和任务，可能无法全面反映所有代理模型的表现。