On the estimation and validity of AI time horizons---a statistical look at the METR plot· AI时间预测的统计分析
METR's 50\% time horizon measures the human completion time of software tasks that an AI solves with 50\% probability, allowing AI capabilities to be expressed in interpretable units. On 228 tasks and 26 AIs, we recompute the time horizons using splines and item-response theory to relax the assumption that the AI difficulty of a task depends linearly on the log of human time. Our fitted spline can be interpreted as a function that \emph{converts} human time to AI difficulty; it is nearly flat in a region from 2--30 min but close to linear elsewhere. Hence, a time-horizon jump from 3 min to 30 min is much easier than one from 30 min to 5 hours despite the same multiplier of $10 \times$. Overall, we contribute time-horizon point estimates that perform better under a cross-validated suite of
重新评估了 AI 任务难度与人类完成时间的关系，提出了改进的时间预测模型。
- 核心方法
- 使用样条函数和项目反应理论对 228 个任务和 26 个 AI 系统的时间预测进行了重新计算，放松了线性假设。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有的 METR 时间预测模型假设任务难度与人类完成时间的对数呈线性关系，这可能不准确。
- 关键实验
- 分析了 228 个任务和 26 个 AI 系统，展示了新的模型在交叉验证中的表现。
- 主要贡献
- 提供了更精确的时间预测点估计，特别是在 2-30 分钟的任务区间内。
- 意义与局限
- 改进了 AI 时间预测的准确性，有助于更好地理解和评估 AI 的任务处理能力，但模型的适用范围和泛化能力仍需进一步验证。