返回信息流
新闻事件
meng shao (X)T3
1 个来源

为 Claude Fable 5 设计「成本高效 Harness」

本文提出一种为Claude Fable 5(同样适用于GPT-5.6 Sol)设计的成本高效方案,核心思路是大多数任务在token上的智能需求不对称,仅在关键位置使用前沿模型。通过三种分配模式和实验验证,可在大幅降低成本的同时保持接近的性能,并提供四条设计准则指导实践。

SynthePulse Insight · AI 深度解读

成本高效 Harness:前沿模型的智能不对称分配

版本 1 · 1 个来源

通过识别 token 维度的智能需求不对称,仅对关键 token 注入前沿模型判断力,能以显著降低成本实现接近全量使用的性能。

  • 大多数任务的智能需求在 token 维度不对称:少数 token 需要前沿判断,多数只需廉价执行。
  • 三种分配模式:Orchestrator(编排者)、Advisor(顾问)、Verifier(验证者),分别适用于不同任务形状。
  • Parameter Golf 实验:Fable 5 作顾问 + Sonnet 5 执行者,以 34% token 成本达到 Fable 全量使用的约 90% 增益。
  • BrowseComp 实验:完整集(~31M tokens/题)下协调套利显现,96% 分数 / 46% 成本;易子集无优势。
  • 协调成本两大来源:边界重复(跨模型 token 计费至少两次)和扇出重叠(worker 互不通信)。
  • 关键设计准则:审视任务形状、使用委派启发式、评估协调成本、保证 prompt cache 命中。

核心思路:智能需求的不对称性

前沿模型如 Claude Fable 5 和 GPT-5.6 Sol 在多数任务中并非所有 token 都需要同等智能。少数 token 依赖前沿判断力,而多数 token 仅需廉价执行。成本高效 harness 的核心在于识别这种不对称,只在正确的位置注入前沿智能,从而大幅降低总成本。

基于此思路,设计出三种分配模式:Orchestrator(Fable 5 编排,委派廉价 worker)、Advisor(Fable 5 作顾问,由低阶执行者咨询)、Verifier(Fable 5 验证产出)。不同模式适用于不同任务形状:判断散布全流程适合 Advisor,判断前置或末端审查适合 Orchestrator 或 Verifier。

实验验证:Parameter Golf 与 BrowseComp

在 Parameter Golf 实验中,Fable 5 作为 Advisor 在初始和两个检查点介入,Sonnet 5 作为执行者运行 20 轮 ML 实验设计。结果以 34% 的 token 成本获得了 Fable 独自运行约 90% 的性能增益。反直觉的是,前置规划无效——Fable 的初始排序与有效方向反相关,真正的价值来自中段检查点,用于纠偏 Sonnet 5 陷入的边际增益 hill-climbing。

BrowseComp 实验测试多约束 Web 检索。在易子集(约 0.37M tokens/题)中,Fable 单独运行反而更便宜,协调增加 60% 成本无收益。但在完整集(约 31M tokens/题)中,Fable 编排 + Sonnet worker 实现了 96% 分数和 46% 成本,套利显现。协调成本主要来自边界重复和扇出重叠,只有当 worker 吸收的 token 量足够大时,节省才能摊薄固定交接成本。

设计准则与终极走向

四条 harness 设计准则:1)审视任务形状,选择对应分配模式;2)使用委派启发式,为模型提供 worker 的品味与智能先验排序;3)评估协调成本,确保委派的 token 量足够大;4)保证 prompt cache 命中,避免每次 spawn 新 worker 重复支付 context write 费用。低 cache 命中率会直接抵消低 $/token 的成本优势。

终极走向是 Fable 5 可根据任务即时自写 harness。上述任务形状分析、委派成本权衡、cache 管理等知识,为 Claude 自主生成“选择性施加前沿智能”的 cost-effective harness 提供了内化基础。

可信度边界

本文内容来自 AI 领域分析者 meng shao 在 X 平台的技术帖,实验由作者自行开展,数据为 source claim,非官方基准测试。核心思路与设计准则属于分析推理。整体可信度中等,可作为前沿模型成本优化策略的参考。

核心结论

前沿模型成本高效使用的关键在于选择性施加而非替代,通过不对称智能分配和精心设计的协调机制,可在显著降低成本的同时保留大部分性能。

本版本来源

  1. 为 Claude Fable 5 设计「成本高效 Harness」 这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 to…

    meng shao (X)

主报道

meng shao (X)T3

主报道来源