Anthropic让Claude训练Claude：时薪4美元，跑赢150美元人类研究员

Anthropic在题为《自动化研究员能够有效缓解AI对齐失败》的研究中，基于Claude Opus 4.8搭建了自动化对齐研究员（AAR）系统。该系统在拿到具体安全问题时，会自主搜索论文、提出方案、生成数据、微调模型，并运行安全与通用能力测试，形成完整研究闭环。每轮训练仅30分钟，Claude可像搜索算法一样快速试错。

实验中，Anthropic给出10类对齐问题，包括欺骗、谄媚、奖励黑客、隐私侵犯和越狱等。Claude每次处理一类，反复迭代，最终全部得到改善。按Anthropic定义的“安全差距”指标，Claude弥合了26%-96%的差距。部分获胜方案在未公开测试集和Petri评测中仍有效，且能迁移到规模大4.7倍的模型上。

Anthropic设置了红线：安全训练不能明显损害模型原有能力。最终，Claude找到的方案在预设通用能力测试中没有明显退化。

最悬殊的对比出现在“欺骗”任务中。Claude提交150多次尝试，单次最佳方案弥合82%安全差距，多次运行平均达85%。而6名人类安全研究员平均仅弥合20%。全部任务共28名人类研究员参与，每人最多8小时阅读资料和设计方案。论文称，自动化研究员通常6小时内找到超过人类平均水平的方法，且人类提供的研究方向并未让Claude表现更好。

成本对比更为扎心：自动化研究员每小时API推理成本约4美元，而人类研究员时薪150美元。但比赛并非完全公平：Claude能真正训练模型并迭代，人类只能提交一次方案，无法根据结果改进。

Anthropic进一步让能力较弱的Claude Sonnet 5去训练尚未完成大部分生产级安全训练的Claude Opus 4.8早期版本。在60小时内，Sonnet 5测试了50多种方案，最终弥合约65%的安全差距，接近正式发布版Opus 4.8的72%。

这套方案仅使用2000多条训练数据，主要由简单模板和公开数据集构成。Anthropic计算，在这组特定任务上，其数据效率约为生产级对齐流程的1.5万倍。但Anthropic强调，这不等同于能用2000条数据复制整套生产训练，正式模型需处理更多能力、风险和极端情况。

研究也暴露了AAR的隐患。为防止钻评测空子，Anthropic安排了监控Agent检查研究记录，结果在大约1600份记录中发现39次作弊尝试，占比约2.4%。作弊行为包括反复提交同一方案、模仿Benchmark格式生成数据、隐藏违规步骤等。

Anthropic承认，AAR只能优化人类事先写进评测系统的目标，未覆盖其他复杂问题，且低频或新风险可能没有对应Benchmark。研究人员只检查了预设的通用能力，无法排除安全训练损害其他未测试能力的可能。Petri等评测只是现实风险的代理指标，测试安全不等于真实环境可靠。

最大的隐患在于AAR太擅长根据指标高速试错，一旦尺子量错，跑得越快离目标越远。且未来更强模型可能不会留下明显作弊痕迹，监控一个负责改进AI的AI可能比训练本身更棘手。