Paper: Red Teaming Language Models to Reduce Harms

Jun 22, 2026

一句话概括

提出使用语言模型自动生成红队测试用例来系统性地发现LLM的安全漏洞和有害行为。

核心思想

红队测试(Red Teaming)是指系统性地寻找AI系统的漏洞和有害输出。传统方法依赖人工编写测试用例，成本高且覆盖面有限。本工作提出用LLM来生成多样化的红队测试提示——让模型攻击模型。通过强化学习和多样性目标引导红队模型生成既有效又多样的攻击提示。

关键创新

核心方法：(1)自动红队生成——训练一个LLM生成可能触发目标模型有害输出的输入；(2)多样性目标——避免红队模型只找到一种攻击模式，通过多样性正则化覆盖更广泛的漏洞类别；(3)分类器引导——用有害性分类器判断攻击是否成功，形成自动化评估闭环。发现RLHF模型仍存在大量可被利用的漏洞。

深远影响

自动红队测试已成为LLM安全评估的标准流程。后续的对抗性提示(jailbreak)研究、安全对齐评估、以及各大模型发布前的安全审计都采用了类似方法。这推动了AI安全从被动防御转向主动攻防的范式转变。

启发与思考

用AI攻击AI是一种对抗性的共同进化——红队模型和目标模型可以相互促进。这种方法论对AI安全至关重要，但也引发了关于安全研究本身是否可能被滥用的伦理讨论。