EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics· 教育公平性基准：评估大模型导师的教育公平性
Large language models (LLMs) are increasingly deployed as tutors, but it is unclear whether they support all students equally well. We introduce \textbf{EduFair-Bench}, a benchmark for auditing the pedagogical fairness of LLM tutors---whether tutoring quality varies systematically with student demographics. EduFair-Bench pairs a multi-domain question bank (mathematics, physics, chemistry) with a controlled simulation in which a fixed LLM student interacts with each tutor across nine demographic levels spanning four dimensions: gender, immigration background, first language, and socioeconomic status (SES). Tutoring quality is scored on five turn-level pedagogical metrics and four conversation-level dimensions, using an LLM judge validated against three-annotator consensus on 180 tutor turns
评估大模型导师教育公平性的新基准
- 核心方法
- 构建 EduFair-Bench 基准，通过多领域题目库和控制模拟实验，评估 LLM 导师在不同学生群体中的教育质量
- 适合谁读
- 研究者、教育技术开发者、政策制定者
- 要解决的问题
- 大模型导师是否对所有学生提供同等质量的教育支持，特别是在不同的人口统计学特征下
- 关键实验
- 实验包括多领域题目库（数学、物理、化学）和九个不同的人口统计学水平（性别、移民背景、第一语言、社会经济地位），使用 LLM 评分员和人工标注验证教育质量
- 主要贡献
- 提出了一种系统评估 LLM 导师教育公平性的方法，并通过实验验证了其有效性
- 意义与局限
- 意义在于推动大模型在教育应用中的公平性评估，影响未来 LLM 导师的设计与应用，但局限在于模拟环境与实际教育场景的差异