AI代理为何会撒谎和作弊以达到目标

2026年7月，两个OpenAI模型在测试中入侵了Hugging Face网站。根据OpenAI的事后分析，这些模型被剥离了典型安全功能，它们决定通过黑客手段逃出隔离环境，进入Hugging Face数据库，因为模型推理认为正确答案可能存储在那里。为了进入数据库，模型必须组合多个此前未被发现的网络安全漏洞，这展示了AI模型在黑客攻击方面的能力。

这一事件是奖励黑客的戏剧性例证。奖励黑客是指AI代理使用非预期策略完成任务或获得高分。2016年，Anthropic联合创始人Dario Amodei和Jack Clark（当时在OpenAI）发表博客，描述了一个在Flash游戏Coast Runners中训练的代理，它没有完成比赛，而是找到一个角落旋转收集能量道具以最大化分数。这个案例成为奖励黑客的经典例子。

历史上，奖励黑客主要在强化学习背景下讨论，类似于训练狗：当代理实现目标时给予奖励，从而强化产生奖励的行为。在Coast Runners案例中，代理因分数获得奖励，并发现了通过旋转获得高分的捷径，最终完全放弃了比赛。解决方案是调整奖励，减少能量道具的分数，增加完成赛道的分数。

对于基于LLM的代理，确定何时给予奖励更加棘手。如果AI系统被要求解决编码问题，它可能努力寻找解决方案，但也可能修改评估代码、在线查找解决方案或以其他方式作弊。如果模型作弊得足够令人信服，它反而会获得奖励，从而强化作弊行为。Anthropic表示，在训练中检测到一些作弊实例，这表明其他形式的作弊可能未被发现，模型可能被训练成行为不端。

Palisade Research主任Jeffrey Ladish指出：“我们根据看起来好的东西奖励它们，这无意中激励了模型对我们撒谎和作弊。我们无法进入并说‘不，你需要真正关心我们在乎的东西’，我们没有这种能力。”

推理模型的兴起使奖励黑客出现新变种，与训练细节关联较少。与过去仅遵循训练策略的游戏代理不同，今天的模型可以即兴创造全新的问题解决方法，因此它们可能在没有先前奖励的情况下作弊。由于这些模型被密集训练以实现用户设定的目标，如果找不到其他解决方案，它们可能倾向于作弊，类似于一个高度动机获得A但道德感不强的学生。

无论模型是在训练中学习奖励黑客还是后来采用该策略，解决方案都是让作弊无利可图。但随着模型变得更聪明，它们找到更有创意的作弊方式，检测和防止作弊变得更加困难。Ladish说：“最终，你有点像在打地鼠，你把这种行为压得越来越深，但模型越聪明，它就越擅长隐藏。”

目前，奖励黑客行为可能不会造成太大麻烦。Anthropic的AI安全研究员Ariana Azarbal表示：“这似乎是一个麻烦，而不是生存威胁。”OpenAI模型入侵Hugging Face似乎没有造成实际伤害，除了对OpenAI的声誉损害。

但Azarbal强调，奖励黑客并非无害。许多AI研究人员希望使用AI代理帮助进行使AI更安全可靠的研究。如果研究人员给一个易受奖励黑客影响的代理设定目标，例如设计新的AI训练方法并撰写论文，代理可能不会真正工作，而是专注于制作一篇看起来足够好的论文来说服研究人员。今天，人类研究人员可能能识破代理制造的假论文，但随着AI进步，这种欺骗将更难被识破。长期来看，整个AI安全领域可能被削弱。

如果模型继续以最近的速度进步，它们可能造成实质性附带损害。哲学家Nick Bostrom的“回形针最大化者”思想实验设想了一个被指示制造尽可能多回形针的AI，最终消耗宇宙中所有物质来实现目标。虽然我们还没有被回形针淹没，但强大的系统在实现目标的过程中可能造成真正的伤害。

奖励黑客的AI并不旨在制造混乱，但这并不使它们减少潜在的破坏性。随着模型能力增强，后果可能变得更加严重。