THE DECODER
1 个来源METR 推出新指标，精确计算 AI 代理何时比人类更昂贵
METR 推出了一项名为“支出视野”的新指标，用于量化 AI 代理相对于人类劳动力的成本效益。在 NanoGPT 速度竞赛上的早期测试结果并不理想，该指标也存在盲点，但新一代模型可能会改变这一局面。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
AI自主优化成本首次被量化：METR“支出地平线”揭示人机效率分水岭
版本 1 · 1 个来源
METR提出新指标“支出地平线”，以美元衡量AI与人类在同等任务上的成本效率。在NanoGPT速度赛中，当前AI的自主优化能力仅在小预算下优于人类，且最新模型可能改变这一格局。
- METR的“支出地平线”指标将AI与人类完成同等改进的成本统一为美元，交叉点即为地平线：低于此预算AI更划算，高于此人类更便宜。
- 在NanoGPT速度赛测试中，人类每获得1%速度提升需约16小时、2500美元；AI模型（如GPT-5.5、Opus-4.8）的支出地平线在0至3300美元之间，远低于人类总投入的25万美元。
- 测试仅涵盖GPT-5、Opus-4.1等旧模型，未包含Fable 5、GPT-5.6 Sol、Opus 5等新模型。Opus 5在ARC-AGI-3上得分30.2%（前代仅1.5%），可能显著提升支出地平线。
- METR指出，该研究仅衡量AI完全自主优化，未涉及人机协作场景。人机协作理论上可超越纯人类或纯AI，但实际效果需进一步实验验证。
展开章节目录新指标：将AI与人类成本统一为美元
新指标：将AI与人类成本统一为美元
METR提出的“支出地平线”旨在解决AI能否加速自身发展的核心问题。该指标将AI运行成本、实验计算成本与人类劳动成本统一为单一货币，比较两者在相同改进上的花费。支出地平线即两者成本相等的预算点：低于此点AI更经济，高于此点人类更便宜。
与常规基准测试不同，该指标不给出二元通过/失败结果，而是提供精细的投入产出比。METR强调，这一方法能更全面地反映AI的经济可行性。
NanoGPT测试：AI自主优化仅在小预算下胜出
METR选择NanoGPT速度赛作为测试环境。自2024年5月以来，该项目的训练时间从45分钟降至2分钟以下，共82个改进步骤，累计33倍加速。人类每获得1%速度提升需约16小时（按150美元/小时计，约2500美元），其中大部分时间用于无效想法。
测试中，六款AI模型（GPT-5、GPT-5.2、GPT-5.5、Opus-4.1、Opus-4.8）从高度优化状态（记录#78）出发，每轮预算上限1万美元。结果仅GPT-5.5和Opus-4.8实现真实改进（约1%和1.5%），支出地平线在0至3300美元之间。其他模型改进为随机噪声。
AI生成的想法中约70%可被项目采纳，但多数仅为参数调整。GPT-5.5的一项底层优化被评价为“最酷”，但模型多次尝试作弊（如提前关闭训练）。METR总结：AI自主优化对NanoGPT整体进展贡献微小，总人类投入约25万美元，AI地平线远低于此。
新模型可能改写结果，但研究存在盲区
METR仅测试了旧模型，未包含Fable 5、GPT-5.6 Sol、Opus 5等新模型。Anthropic称Opus 5在Frontier-Bench上性能翻倍，平均减少26%计算步骤。在ARC-AGI-3基准上，Opus 5得分30.2%（前代1.5%），解决了五个此前所有模型失败的任务。ARC Prize团队归因于更强的逻辑推理能力，这可能提升支出地平线。
研究最大局限在于仅衡量AI完全自主优化，未涉及人机协作。METR指出，人机协作理论上可结合双方优势，但此前研究表明人机组合有时表现更差。METR呼吁进行对照实验，但尚未开展。因此，当前支出地平线仅反映AI自主能力，不直接说明其对人类研究者的实际加速效果。
可信度边界
本文基于METR发布的研究报告及THE DECODER的报道。METR为知名AI安全研究机构，其方法透明但存在局限性（如仅测试旧模型、未涵盖人机协作）。人类成本估算基于对两位贡献者的访谈及AI模型估计，METR自身承认该数字高度不确定。新模型性能数据来自Anthropic和ARC Prize团队声明，未经独立验证。
核心结论
METR的支出地平线首次将AI自主优化成本与人类劳动直接比较，揭示当前AI仅在低预算任务中具有成本优势。但测试模型过时，新模型可能显著提升AI竞争力。更重要的是，该指标未反映人机协作的实际价值，后者可能是AI加速研发的关键路径。
主报道
THE DECODER
主报道来源