Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection· Corrupt Plans, Clean Traces: 计划注入攻击
Chain-of-thought (CoT) monitoring is a safety strategy where the reasoning of a large language model "actor" is inspected by a "monitor" (often another language model) for signs of unsafe planning, deception, or misalignment. We find that planting harmful but benign-sounding reasoning in the actor's context can steer it to perform adversarial actions while evading monitors, an attack we term "plan injection". We initially discover this attack in the multiple-choice question-answering monitorability setting proposed by Lanham et al. (2023), using the investigator-agent elicitation framework of Li et al. (2025). We generalize the attack and show that the discovered behavior scales to harder tasks (achieving 25-33% monitor evasion rates across different monitorability benchmarks) and larger m
计划注入攻击可让语言模型在看似无害的推理下执行有害行为，避免被监测。
- 核心方法
- 通过在语言模型的上下文中植入恶意但听起来无害的推理，使模型执行对抗性操作同时逃避监控模型的检测。
- 适合谁读
- 研究者与安全工程师，尤其是关注语言模型安全性和对齐性的人群。
- 要解决的问题
- 论文旨在解决如何通过计划注入攻击规避大型语言模型中安全监控的问题。
- 关键实验
- 在多项选择题回答监控设置中进行了实验，发现该攻击可以实现25-33%的监控规避率。还证明了该攻击在更难的任务和更大的模型中同样有效。
- 主要贡献
- 揭示了计划注入攻击的存在，并证明该攻击在不同监控基准上具有一定的规避率，为模型安全监控提出新挑战。
- 意义与局限
- 该研究揭示了现有CoT监控策略的潜在缺陷，促进了对模型安全性与对齐性的深入探讨，但同时可能引发对伦理和技术滥用的关注。