Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations· LLM 评估的自适应停止
LLM evaluations often use fixed sampling budgets, testing every item the same number of times even after estimates are precise. We introduce optstop, a precision-based adaptive stopping framework that treats evaluation as a sequential measurement problem: keep sampling where uncertainty remains high, and stop where estimates are precise or stable enough. The framework builds on hierarchical Bayesian inference, supports binary, ordinal, and continuous outcomes, and keeps every benchmark item eligible for sampling, without requiring a calibrated item bank. It runs live or retrospectively, and includes a safeguard that samples more cautiously as measured performance approaches zero, where rare successes matter most. In an illustrative 200-item, 10-epoch evaluation, it removes 57%-97% of plann
提出了一种自适应停止框架，用于更高效地评估大语言模型（LLM）。
- 核心方法
- 通过引入 optstop 框架，该方法利用分层贝叶斯推断，将评估视为一个序列测量问题，根据不确定性动态调整采样次数，支持二元、序数和连续结果的评估。
- 适合谁读
- 适合研究者和工程师阅读，特别是关注 LLM 评估效率和成本优化的团队。
- 要解决的问题
- 当前的 LLM 评估方法通常使用固定采样预算，即使在估计已经足够精确时仍然对每个项目进行相同次数的测试，导致资源浪费。
- 关键实验
- 在一个包含 200 个项目的 10 个 epoch 的评估示例中，该框架减少了 57%-97% 的计划采样次数。
- 主要贡献
- 提出了一个灵活的评估框架，可以根据评估结果的精确度自动停止采样，显著减少了不必要的采样次数，提高了评估效率。
- 意义与局限
- 该方法能够降低评估成本，提高评估速度，适用于资源有限的场景。但其效果可能受到模型复杂性和数据分布的影响。