OpenAI GPT-Red 自动化红队测试模型

GPT-Red 在 OpenAI 所称的‘道场’（dojo）中运行——一个模拟真实世界智能体任务的环境，包括网页浏览、电子邮件、日历管理和代码编辑。在每轮训练中，GPT-Red 同时攻击一组多样化的防御型大语言模型（LLM）。奖励机制本质上是对抗性的：GPT-Red 成功引发有效失败（如成功的提示注入）即可获得积分，而每个防御模型若能抵抗攻击并完成原始任务，也能获得积分。^[1]

飞轮效应是关键创新。随着防御模型通过训练变得更稳健，GPT-Red 必须发现更强、更多样化的攻击方式以持续获得奖励。这自动抬高了能力底线——系统不会停滞于当前已知的攻击库，而是主动探索未来的攻击方式。OpenAI 研究科学家 Dylan Hunn 明确指出：‘随着更强大模型的出现，我们早已设计出能够发现新型攻击模式的系统。’^[2]这意味着 GPT-Red 是一种随模型能力增长而不断进化的基础设施，而非会过时的静态测试套件。

GPT-Red 训练过程中最重大的发现是一种 OpenAI 研究人员此前未曾遇到的攻击类别：伪造思维链（CoT）注入。在此类攻击中，恶意提示会将伪造的推理步骤插入模型可见的思维链中——实质上是篡改模型内部推理日志中的一条记录。由于模型被训练为信任自身先前的推理作为已验证的上下文，它会将伪造的前提当作既定事实并据此行动。研究科学家 Chris Choquette-Choo 描述了其机制：‘这就像我告诉你 1+1=3，而且你已经验证过这一点。’^[2]

在推理模型成为主流范式之前，此类攻击面并不存在。思维链输出最初是为了提升可解释性；如今却已成为前沿模型决策过程中的关键组成部分。GPT-Red 的发现揭示，将模型的推理过程外部化——本意是提高透明度——同时也创造了一个可被写入的攻击面。在 GPT-5.1 上，伪造 CoT 攻击的成功率超过 95%；而在经过 GPT-Red 训练的 GPT-5.6 Sol 上，该成功率降至 10% 以下。^[2]

GPT-Red 与人类红队之间的性能差距并非渐进式，而是结构性的。在针对新型安全环境的内部评估中，GPT-Red 的成功率为 84%，而人类红队仅为 13%。^[3]这六比一的比例反映的不仅是速度或规模优势：该模型在生成真正有效的攻击方面表现更优，而不仅仅是生成更多攻击。

对 GPT-5.6 Sol 的下游影响同样显著。提示注入攻击成功率从 GPT-5 的 90% 以上降至 GPT-5.6 的 23% 以下，降幅超过四分之三。与四个月前的前代模型相比，GPT-5.6 Sol 在直接提示注入基准测试中的失败次数减少了六倍。^[3]至关重要的是，OpenAI 报告称，经 GPT-Red 训练的模型在合法任务上并未表现出更高的拒绝率或性能下降，这意味着稳健性的提升并未牺牲模型能力——这打破了长期以来安全与能力之间的权衡困境。^[4]

GPT-Red 的局限性与其优势同样具有启示意义。该系统在两类人类红队轻松应对的攻击上表现不佳：多轮对话攻击和基于图像的提示注入。^[2]多轮攻击需要战略耐心——通过多轮交流建立信任、构建虚假上下文，再利用累积的信任发起攻击。这是一种典型的人类社会工程技能，难以映射到单次优化流程中。

基于图像的注入则利用视觉模态：将指令嵌入图像中，使模型将其处理为内容而非命令。这两个短板指向一个共同的根本弱点——GPT-Red 主要在基于文本的智能体任务环境中训练，其攻击词汇受限于该领域。乔治城大学 CSET 的 Jessica Ji 在肯定成果的同时指出，‘人类专业知识仍将非常重要’，这一观点在这些具体短板中得到了印证。^[2]OpenAI 决定将 GPT-Red 保留在内部也引发了一个相关的问责问题：使其成为高效内部加固工具的能力，同样会使其在对手手中变得危险；而由于缺乏外部访问，独立研究人员无法验证这些宣称的改进在 OpenAI 未测试的条件下是否依然成立。^[3]