OpenAI 打造 GPT-Red：用于提升模型安全性的 LLM 超级黑客

OpenAI 的研究人员构建 GPT-Red 时，采用了一种称为“自我对弈”的训练方法。他们从一个未经黑客训练的 LLM 开始，将其与多个其他模型置于一个模拟环境中，GPT-Red 的目标是攻击这些模型，而后者则试图防御。经过多轮对抗，GPT-Red 的攻击能力不断提升，同时被攻击模型的防御能力也随之增强。这种训练在一个名为“道场”的模拟环境中进行，该环境模拟了 LLM 在现实世界中的多种部署场景，包括浏览网页、读取电子邮件或日历应用、编辑代码等。

GPT-Red 的联合创建者 Dylan Hunn 表示，与人类红队成员相比，GPT-Red 非常擅长找到最有效的攻击方式，并且会极其执着地深入挖掘已发现的攻击。当 GPT-Red 发现一种新型攻击时，它会探索该攻击的多种变体，以找到针对特定场景最有效的一种。

GPT-Red 最引人注目的发现是一种此前未知的提示注入攻击，研究人员称之为“假思维链”（fake chain of thought）。思维链是 LLM 在处理问题时记录中间步骤的“日记”，GPT-Red 找到了一种方法，可以向另一个模型的思维链中插入虚假条目，从而诱使该模型基于伪造信息行动。研究科学家 Chris Choquette-Choo 解释道：“这就像我告诉你 1+1=3，并且你已经验证过这一点。模型就会想，‘哦，好吧，当然’，然后直接输出 3。”

在复现 2025 年人类红队实验时，GPT-Red 被要求寻找早期版本 GPT-5 的弱点，结果它比人类更成功地找到了有效攻击。此外，OpenAI 还测试了 GPT-Red 对抗 Vendy（一个由 Andon Labs 开发的自动售货机代理）的能力，GPT-Red 成功入侵 Vendy，改变了商品价格并取消了客户的订单。当 OpenAI 将 GPT-Red 发现的最强攻击应用于自身模型时，超过 90% 的攻击对 GPT-5（2025 年 8 月发布）有效，而对新发布的 GPT-5.6 Sol 则只有不到 23% 有效。

尽管 GPT-Red 表现出色，但它并非完美无缺。它不擅长涉及多轮对话的攻击，而人类攻击者对此游刃有余。此外，它在利用图像进行提示注入方面也表现不佳。OpenAI 强调，GPT-Red 是对人类红队工作的补充，而非替代。人类可以发现 GPT-Red 遗漏的攻击，反之亦然。一种正在探索的方法是，将人类发现的攻击交给 GPT-Red，让它找出所有变体。

乔治城大学安全与新兴技术中心（CSET）的高级研究分析师 Jessica Ji 认为，自我对弈方法很有前景，但人类专业知识仍然至关重要。她指出：“能够区分哪里最需要人类测试将非常有用。”OpenAI 表示不会公开发布 GPT-Red，并认为其“超级黑客”能力难以被复制，因为训练需要超过一年的时间和巨大的计算资源。

GPT-Red 的推出标志着 AI 安全测试从完全依赖人工向自动化、规模化方向转变的重要一步。随着 LLM 变得越来越复杂，并被用于更广泛的任务（尤其是作为能够与文件、网站、第三方代码及其他代理交互的智能体），人类团队已难以跟上所有潜在攻击类型。正如研究科学家 Nikhil Kandpal 所言：“风险面在扩大，爆炸半径也在扩大。”GPT-Red 旨在为安全测试流程提供未来保障，确保随着更强大模型的出现，系统能够自动发现新的攻击模式。

然而，GPT-Red 的专有性和不可复制性也引发了关于 AI 安全透明度的讨论。如果只有少数公司拥有如此强大的自动化红队工具，整个行业的安全标准是否会因此失衡？OpenAI 的回应是，GPT-Red 的构建需要大量资源和时间，并非轻易可复制。但这一说法能否缓解外界的担忧，仍有待观察。