项目背景
多轮对话中的风险会随交互逐步显现。项目通过跨轮风险定位与强化学习优化，提升模型应对多轮攻击的能力，同时减少对正常问题的不必要拒答。
工作内容
我负责跨轮风险定位、分支采样策略与加权 GRPO 优化，并完成对比实验及专利技术交底。
-
聚焦关键风险轮次：训练轻量级 DeBERTa 风险判别模型，定位对话中的关键风险输入，设计风险感知分支采样策略，使训练更有针对性地覆盖风险位置。
-
优化安全对齐训练：将风险强度与判别置信度引入 GRPO 加权更新，并对比多种安全对齐方法，兼顾有害输出抑制与正常请求响应。
实验成果：风险感知采样使攻击成功率下降 5.9%；加权 GRPO 使刻板拒答率下降 3.8%、有害率下降 1.6%。相关论文已发表，专利已申请。
核心技术
Python · PyTorch · Agentic RL · DeBERTa · GRPO