ai.hackcv
论文精选 60arXiv

RISE: Recursive Improvement via Self-Extrapolating Policy Distillation· RISE:通过自外推策略蒸馏递归改进

On-policy distillation (OPD) provides dense, per-token supervision for language model post-training, but its effectiveness is bottlenecked by teacher quality: external teachers suffer from distribution mismatch, while self-distillation with privileged conditioning is limited by in-context learning capacity. We propose \textbf{RISE} (\textbf{R}ecursive \textbf{I}mprovement via \textbf{S}elf-\textbf{E}xtrapolating Policy Distillation), which constructs a synthetic teacher directly from the model's own RLVR training trajectory. By extrapolating the displacement between the current checkpoint and a trailing anchor---in parameter space or output logit space---RISE converts a sparse outcome-induced parameter update into a dense token-level target, without any external model or privileged conditi

AI 解读论文

通过自外推策略蒸馏实现语言模型的递归改进

核心方法
提出 RISE 方法,直接从模型自身的强化学习训练轨迹构建合成教师,通过外推参数空间或输出 logit 空间的位移,将稀疏的结果诱导参数更新转换为密集的 token 级目标
适合谁读
研究者
要解决的问题
解决自监督策略蒸馏中因外部教师模型或特权条件自我蒸馏带来的分布不匹配和上下文学习能力限制问题
关键实验
未提供
主要贡献
无需外部模型或特权条件,提高了模型的训练效率和性能
意义与局限
意义在于提供了一种新的自监督学习方法,可以有效提高语言模型的训练效果,但目前尚无实验验证其具体性能提升
领域:cs.AI作者:Yang Li、Semih Yavuz、Shafiq Joty
相关推荐

本站内容由 LLM 精选聚合,原文版权归 arXiv 所有 · 摘录仅供参考