安全只藏在回复的前几个词里？那就让防御者先占住它
AI工具
摘要
文章指出，模型拒答看似干脆，但多轮对话后可能“松口”，原因在于安全对齐过浅，拒绝仅藏在回复前几个token。为此提出ShallowDefend方法，让防御者先占住这段关键跨度，显式执行“评估→决策→回复”流程，并通过一条规则奖励的强化学习训练决策点，以提升防御的准确性。
你的模型拒答干脆，但多聊几轮就“松口”了？😮 问题不在模型不懂安全，而是对齐太浅——拒绝只藏在回复的前几个 token。ShallowDefend 反其道而行：让防御者先占住这段关键跨度，显式走“评估→决策→回复”，用一条规则奖励的 RL 把决策点练准。
转载信息
原文：
安全只藏在回复的前几个词里？那就让防御者先占住它
（2026-11-05 21:00）
作者：
yweng18
分类：
技术
0
0
132
评论 (0)
请 登录 后发表评论
暂无评论，来留下第一条评论吧