Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models· 语言模型选择性预测中的分层组条件风险控制
Large language models serve heterogeneous populations structured by domain, topic difficulty, and linguistic style. Conformal risk control (CRC) gives rigorous marginal risk guarantees for selective prediction with abstention, but marginal guarantees do not imply per-group ones: a model can meet the population budget while systematically over-exposing subgroups to errors. Under mild shift in group composition, standard CRC violates the budget in up to 47% of trials. We propose HG-CRC (Hierarchical Group-Conditional CRC), a post-hoc calibration framework enforcing simultaneous risk guarantees across all nodes of a user-defined group hierarchy. It applies a Bonferroni correction over nodes and a leaf-first policy that uses the most specific applicable threshold, falling back to coarser nodes
提出HG-CRC框架，实现语言模型选择预测中的层次组条件风险控制。
- 核心方法
- 采用Bonferroni校正策略在用户定义的组层次结构的所有节点上同时实施风险控制，并使用从叶子节点到根节点的阈值应用策略。
- 适合谁读
- 适合关注语言模型预测公平性和风险控制的研究者与工程师阅读。
- 要解决的问题
- 标准的符合性风险控制(CRC)在组构成略有变化时无法为所有子群体提供统一的风险保证。
- 关键实验
- 实验表明，在组构成出现轻微变化的情况下，HG-CRC在最多47%的试验中保持了预算的遵守，相比于传统CRC有了大幅提升。
- 主要贡献
- 提供了在选择性预测中针对不同子群体的更精细的风险控制方法，显著减少了预算超标的可能性。
- 意义与局限
- HG-CRC增强了语言模型在服务异质用户群体时的公平性和可靠性，减少了模型对特定子群体的系统性错误暴露。其局限性在于可能增加预测的保守性，导致更多预测结果被拒绝。