M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents· M4Bench：评估临床EHR衍生智能体的程序规范
Clinical research over electronic health records depends on derived variables whose definitions sit outside the schema, in item codes, time windows, missingness rules, and output-grain choices that change cohorts and downstream conclusions. We introduce M4Bench, 28 clinical derivation tasks across 15 task families on MIMIC-IV and eICU, to test whether AI coding agents can reproduce such derivations and how clinician-reviewed agent skills change their results. Its controls decompose the value of skills into specification completeness, delivery format, and schema familiarity. In a Docker-isolated Codex campaign (GPT 5.4 Mini and GPT 5.5), skills raise reward by 0.136 over the no-skill baseline, with 26 of 28 tasks improving. Specification completeness accounts for most of this gain: on an ei
评估AI在临床电子健康记录衍生变量定义中的表现。
- 核心方法
- 通过M4Bench框架，设计28个任务来评估AI编码智能体在不同技能水平下生成临床EHR衍生变量的能力，任务涉及15个不同的类别。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 临床研究依赖于电子健康记录中的衍生变量，但这些变量的定义往往不在数据库结构内，需要评估AI能否准确生成这些定义。
- 关键实验
- 在Docker隔离的Codex环境下，使用GPT 5.4 Mini和GPT 5.5进行实验，结果显示技能提升了0.136的奖励，26个任务的表现有所提高。
- 主要贡献
- 引入M4Bench框架，提供了一种系统地评估AI编码智能体在临床EHR衍生变量定义上的性能和技能影响的方法。
- 意义与局限
- 为临床研究中的AI应用提供评估标准，但局限于特定数据集和模型，需要进一步验证。