安全对齐与Red Teaming
一句话总结
Red Teaming通过系统化的对抗性测试发现模型的安全漏洞，是安全对齐中不可或缺的评估、验证和持续改进手段。
核心概念
Red Teaming借鉴网络安全中的红队概念，指专门团队尝试诱导模型产生有害输出。攻击方式包括：直接有害请求、角色扮演绕过(DAN)、多步骤间接引导、编码/翻译绕过、对抗性后缀攻击(GCG)。防御策略包括：安全训练数据增强、输入输出过滤器、安全系统提示、多层防御架构。自动化Red Teaming使用模型自动生成攻击提示，可规模化地发现漏洞。
为什么重要
没有经过Red Teaming的模型几乎必然存在可利用的安全漏洞。系统化测试能发现开发者难以预想的攻击角度和边缘情况。监管要求(如EU AI Act)越来越多地要求进行对抗性安全评估，Red Teaming正成为合规的必要步骤。
实践要点
建立分类明确的安全风险分类体系(如暴力、歧视、隐私等)；结合人工和自动化方法形成互补；持续更新攻击手段库跟上最新越狱技术；将发现的漏洞转化为安全训练数据形成改进闭环；详细记录所有测试结果供后续审计使用。
常见误区
误区一：通过Red Teaming就能保证模型绝对安全——安全是持续对抗的过程，不存在绝对安全的模型。误区二：只需做一次Red Teaming——新的攻击手段不断出现，需要持续、定期地进行。