AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets· AgentFAIR: 评估地理空间数据集 FAIR 性的多代理框架
Geospatial datasets support applications from urban planning to climate modeling, yet consistent assessment of FAIR compliance is difficult. Existing evaluators use different rubrics and evidence sources and may fail on JavaScript-rendered pages or repository-specific identifiers. For 50 datasets from 10 repositories, the standard deviation of normalized scores across available tools averages 15.0 percentage points and reaches 30.3 for one dataset. Because these outputs are not equivalent measurements, we use them to characterize disagreement and failure modes, not comparative accuracy. We present AgentFAIR, a multi-agent framework combining structured metadata extraction with 13 sub-principle-specific LLM evaluators. Each produces a 0-3 maturity score, cited evidence, and recommendations;
提出多代理框架 AgentFAIR 评估地理空间数据集的 FAIR 性。
- 核心方法
- 结合结构化元数据提取和 13 个针对 FAIR 子原则的 LLM 评估器，为每个评估生成 0-3 成熟度评分、证据引用和改进建议。
- 适合谁读
- 研究者、工程师和数据管理者
- 要解决的问题
- 解决现有 FAIR 评估工具在评估地理空间数据集时存在的不一致性及技术局限。
- 关键实验
- 对来自 10 个存储库的 50 个数据集进行了评估，展示了不同工具间评分的高标准差，证明了现有评估方法的不一致性。
- 主要贡献
- 提供了一种系统化、多代理的方法来提高地理空间数据集 FAIR 性的评估一致性和可靠性。
- 意义与局限
- 提高了地理空间数据集的 FAIR 性评估质量，促进了数据的可发现性、可访问性、互操作性和可重用性，但框架的复杂性和实现成本较高。