Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints· 同态优势算子：完全同态加密下的强化学习稳定化
Privacy-preserving machine learning presents significant deployment challenges on the cloud for intelligent systems with confidential data. Fully Homomorphic Encryption (FHE) offers a compelling solution for secure computation, preserving data confidentiality of cloud computations. However, applying FHE to reinforcement learning (RL) requires replacing non-linear operations with polynomial approximations, which diverge catastrophically due to a unique recursive error phenomenon known as the Bellman drift. This article introduces the Homomorphic Advantage Operator (HAO), a stabilization framework designed to prevent polynomial approximation divergence in FHE-based deep RL. HAO adapts the zero-mean centering projection from advantage-based value estimation directly to temporal-difference (TD
解决完全同态加密下的强化学习中因非线性操作替换导致的误差发散问题。
- 核心方法
- 引入了同态优势算子（HAO），通过适应基于优势的价值估计中的零均值中心投影技术，直接应用于时差（TD）学习，以防止多项式逼近误差发散。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 在使用完全同态加密（FHE）保障隐私的强化学习中，非线性操作的多项式逼近会导致严重的误差累积问题。
- 关键实验
- 通过在多个标准强化学习任务上进行实验，证明了HAO框架的有效性和稳定性，具体实验数据见论文附录。
- 主要贡献
- 提出了HAO框架，有效地稳定了FHE环境下的深度强化学习，提升了隐私保护下的模型性能。
- 意义与局限
- 该研究为在隐私保护要求较高的场景中部署强化学习提供了新的解决方案，但目前主要局限于理论研究，实际应用还需进一步探索。