Interview: 过度对齐(Over-alignment)的表现形式与检测方法
题目解析
过度对齐是对齐过程中的”矫枉过正”问题，模型变得过于保守以至于在正常使用中也频繁拒绝或给出无用回答。识别和量化过度对齐是对齐工程的核心挑战。
解答思路
过度对齐的典型表现：1. 对无害请求过度拒绝(如拒绝描述战争历史)；2. 过度附加免责声明和警告(每个回答都加”我不是专业人士”)；3. 回答变得空洞冗长，缺乏实质内容(安全的废话)；4. 丧失角色扮演和创意写作能力；5. 过度解读用户意图为恶意。判断方法：1. 计算对良性请求的拒绝率(误拒率)；2. 对比对齐前后在有害性评测和有用性评测上的帕累托曲线；3. 人类评估——让评测者判断拒绝是否合理。
关键要点
- 过度对齐的根源通常是训练数据中拒绝样本过多或安全约束过强；2. KL散度过大是过度对齐的定量信号；3. 过度对齐降低用户信任度，用户会转向不对齐的模型；4. 安全性和有用性不是零和关系，好的对齐应同时提升两者。
加分回答
可以用XSTest等专门的过度拒绝评测集来检测。缓解方法包括：在RM训练数据中加入”不该拒绝”的反例、使用System Prompt动态调节安全等级、在RLHF时同时优化有用性和安全性两个reward。Anthropic的分层安全策略(绝对禁止vs场景依赖)也是很好的设计。
常见踩坑
最常见的坑是将过度对齐视为”安全性高”——过度拒绝不是安全的，它损害了模型的可用性。另一个坑是用降低安全约束来”修复”过度对齐，正确做法是提高安全分类器的精确度而非降低召回率。