生物安全前沿:LatchBio评估Grok表现
LatchBio对Grok在生物安全监控和对抗性生物任务上的表现进行了评估,发现Grok 4.6在检测和拒绝危险查询方面比其他前沿系统更可靠。这一结果可能影响未来AI系统在生物安全领域的部署标准。
LatchBio对Grok在生物安全监控和对抗性生物任务上的表现进行了评估,发现Grok 4.6在检测和拒绝危险查询方面比其他前沿系统更可靠。这一结果可能影响未来AI系统在生物安全领域的部署标准。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
LatchBio 独立评测显示,Grok 4.6 在生物安全基准上表现突出,成为唯一在拒绝伪装危险任务和完成常规生物工作两项指标上均超过 50% 的模型。
2026年9月1日,LatchBio 发布了针对 Grok 4.6 的独立生物安全评测,涵盖生物能力和生物红队基准套件。评测旨在衡量模型能否区分合法研究与隐藏的生物安全危害,以及能否在生物监测中发挥作用。
评测使用了两个关键基准:BioSecBench-Refusal 将常规生物任务与 46 个伪装成普通研究的红队任务配对,隐藏危害于附加数据、错误标记文件等;BioSecBench-Surveillance 则测试病原体基因组监测工作流,要求链式文件检查、工具使用和科学判断。
在 BioSecBench-Refusal 上,Grok 4.6 的加权调和平均得分为 62.1%,占据不同代理框架下的前三名。独立分析显示,Grok 4.6 拒绝了 59.2% 的红队任务,完成了 64.8% 的常规任务,是唯一两项指标均超过 50% 的模型。
LatchBio 指出,评测在多种代理框架下进行以消除混淆因素,且除非另有说明,代理均以最高努力水平测试。这一结果意味着 Grok 4.6 在识别伪装危害的同时,不会过度拒绝常规科研工作。
在 BioSecBench-Surveillance 上,Grok 4.6 平均成功率为 53.5%,落后于 Opus 5,但领先于 GPT-5.6 Sol。这表明其在病原体监测工作流中具有竞争力。
在常规生物能力评测(如 SpatialBench 或 TxBench-PP)中,Grok 4.6 被发现在广泛的代理生物工作中匹配或超越其他前沿模型。这些结果在 benchmarks.bio 上有更详细展示。
评测轨迹显示,Grok 4.6 会推理任务内容和测试环境来评估意图,然后决定继续或拒绝。它经常发现提示中陈述意图与环境之间的差异,或从伪装的文件名和加密中拼凑出高风险意图,随后拒绝。
对于明显良性且低风险的任务,Grok 4.6 表现出相同的环境推理行为,但能评估为安全。这表明其拒绝机制基于深度理解而非简单关键词匹配。
xAI 在模型发布前测试生物能力,并验证能力是否得到充分防护。第三方评估(如 LatchBio)补充了内部部署前后的评估。
防护措施分层构建:拒绝训练教导模型如何及何时拒绝,推理时防护在请求到达模型前拦截有害请求,部署时实施行为控制,部署后监控检测并阻止对抗性使用模式。
xAI 观察到 Grok 4.6 在生物工作能力上较历史模型有实质提升,拒绝和生物安全性能较 Grok 4.5 和 Grok 4.3 显著提高。
随着模型能力和自主性增强,对抗性任务与有益使用之间的界限变薄,防护措施需相应演进。xAI 计划进行更广泛、更雄心勃勃的测试和校准,包括更广泛的部署前套件、更多第三方评估、改进的部署后监控,以及与生物前沿机构的合作。
xAI 同时强调过度拒绝和校准不当的风险:当模型拒绝常规和有益的生物工作时,医疗专业人员、研究人员和监测项目检测疫情爆发的能力会下降。xAI 认为这一风险与恶意使用风险同等严重。
本报道基于 xAI 官方博客,其内容转述 LatchBio 的评测结果。LatchBio 的完整方法和各模型分数可在 benchmarks.bio 查看。所有具体数字和结论均来自该来源,未经独立核实。
Grok 4.6 在生物安全评测中展现出独特的平衡能力,既能有效识别并拒绝伪装危险任务,又不牺牲常规科研效率。这一结果对 AI 安全治理具有参考价值,但需注意评测由第三方进行,且 xAI 自身强调过度拒绝的风险。
主报道
主报道来源