ERUnderstand: Evaluating Vision-Language Models on Structured ER Diagrams· ERUnderstand：在结构化ER图上评估视觉-语言模型
Entity-Relationship Diagrams (ERDs) are central to conceptual database design, yet they are typically available only as rendered images rather than machine-readable schemas, limiting AI-assisted database engineering. We introduce ERUnderstand, the first large-scale benchmark for structured understanding of ER diagrams, comprising 2,960 diagrams collected from curated educational sources, real-world schemas, and synthetically generated examples spanning diverse domains, notations, complexity levels, and Extended Entity-Relationship (EER) constructs. Each diagram is paired with a standardized machine-readable representation for fine-grained evaluation of schema elements. Evaluating state-of-the-art Vision-Language Models (VLMs), we find that while common ERD elements are recovered reliably (
提出ERUnderstand，首个大规模ER图理解基准数据集，评估VLM性能。
- 核心方法
- 构建了包含2,960个来自教育、实际和合成源的ER图的大规模基准数据集，每个图配以标准化的机器可读表示，用于评估VLM对ER图的理解能力。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有AI模型难以理解和解析视觉形式的ER图，限制了数据库工程的智能化进程。
- 关键实验
- 对当前最先进的VLM进行了评估，测试了它们在识别ER图基本元素、关系和扩展构造方面的准确率。
- 主要贡献
- 1. 提供了第一个专门用于评估AI模型理解和解析ER图能力的大规模基准数据集；2. 揭示了现有VLM在解析常见的ERD元素时的可靠性和不足。
- 意义与局限
- 该基准数据集为提升AI在数据库设计领域的应用潜力提供了重要工具，但当前模型在处理复杂ER图时仍存在局限，需要进一步的研究。