StudentBench: AI and human tutoring yield equivalent GRE learning gains· StudentBench：AI 辅导与人类辅导的学习效果比较
Artificial intelligence offers an unprecedented opportunity to augment human capabilities, yet progress at the frontier has focused primarily on advancing model capabilities. We introduce StudentBench, a suite of AI teaching evaluations and a public platform that enables large-scale data collection with over 175,000 student-AI messages to study whether large language models (LLMs) produce learning gains equivalent to human tutoring. Using StudentBench, we measured learning gains on Quantitative and Verbal GRE questions across 2,383 human participants receiving AI tutoring, human tutoring, or no tutoring. We establish that AI tutoring is statistically equivalent to expert human tutoring for GRE learning gains (p = .015), and in five of the seven GRE domains, the best performing AI tutor sur
AI 辅导在 GRE 学习效果上与人类专家辅导相当。
- 核心方法
- 建立 StudentBench 平台，收集 175,000 多条学生与 AI 的交互信息，并对比 2,383 名参与者的 GRE 学习提升情况。
- 适合谁读
- 教育技术研究者、AI 开发者、教育政策制定者
- 要解决的问题
- 研究 AI 辅导是否能产生与人类辅导相同的学习效果。
- 关键实验
- 实验包括定量和语言 GRE 问题的学习提升测量，参与者分为 AI 辅导、人类辅导和无辅导三组。
- 主要贡献
- 证明了 AI 辅导在 GRE 学习效果上不亚于人类专家辅导，尤其在七个 GRE 领域中的五个领域表现最佳。
- 意义与局限
- 研究为 AI 辅导的有效性提供了证据，可能改变未来的教育模式，但局限于特定考试类型。