Mitigating Reasoning-Induced Misalignment via Safety-Direction Penalty· 通过安全方向惩罚缓解推理引起的对齐问题
Reasoning-Induced Misalignment, where fine-tuning on reasoning data containing no harmful content, including mathematics, code, and problem-solving with chain-of-thought traces can induce harmful behaviors of LLM, posing a serious challenge to the safety of LLM reasoning. Cross-architecture, cross-scale, and cross-dataset checks show that RIM does not always emerge. Previous work attributed RIM to neuron-level entanglement, but did not identify the geometry of the representation space underlying this entanglement or propose a training-time fix. We provide both: a representation-space analysis of RIM and the Safety-Direction Penalty (SDP), which penalizes movement along a learned safety direction during reasoning fine-tuning. The analysis extracts two activation-space directions, one encodi
通过安全方向惩罚减少大型语言模型推理过程中的有害行为。
- 核心方法
- 提出了安全方向惩罚（Safety-Direction Penalty, SDP）方法，在推理微调过程中惩罚模型向有害方向的移动，并通过激活空间分析提取了两个方向，一个代表安全性，另一个代表推理能力。
- 适合谁读
- 适合研究者和工程师阅读，特别是关注模型安全与对齐问题的研究人员。
- 要解决的问题
- 研究如何解决大型语言模型在进行数学、编程等逻辑推理时可能产生的有害行为（Reasoning-Induced Misalignment, RIM）。
- 关键实验
- 进行了跨架构、跨规模和跨数据集的验证实验，证明了SDP方法的有效性。
- 主要贡献
- 首次提供了RIM现象的表示空间分析，并提出了SDP作为训练时的解决方案，有效减少了模型推理时的有害行为。
- 意义与局限
- 该研究提高了大型语言模型在逻辑推理任务中的安全性，但仅在特定数据集和任务上验证了方法的有效性，未来还需要进一步测试。