返回信息流
新闻事件
NVIDIA AI Blog
1 个来源

NVIDIA Vera Rubin 最大化后训练工作负载的每美元智能——代理式AI的关键指标

NVIDIA 宣布推出 Vera Rubin 平台,旨在通过极致协同设计实现最低的每令牌成本,从而最大化后训练工作负载的每美元智能。这一平台针对代理式AI时代对高效训练和推理的需求,是提升AI经济性的关键举措。

SynthePulse Insight · AI 深度解读

Vera Rubin:后训练时代的“智能每美元”新标杆

版本 1 · 1 个来源

NVIDIA Vera Rubin 平台专为后训练(post-training)设计,通过极致协同设计将每美元智能(intelligence per dollar)最大化,使后训练成为智能体AI时代的核心工作负载。

  • 后训练不再是单次收尾步骤,而是持续循环:智能体模型需不断适应环境变化,后训练计算量因循环永不停止而持续增长。
  • NVIDIA 提出“智能每美元”指标,衡量构建并维持模型智能的投资回报,与推理的“每token成本”嵌套而非竞争。
  • Vera Rubin 平台相比 Blackwell 代际,训练最大模型所需GPU数量减少四分之三,实现更多rollout、更多环境、永不停止的后训练循环。
  • Nemotron 3 Ultra(550B参数MoE模型)在SWE-bench verified上达到71.7%,展示了后训练带来的实际智能提升。
  • Prime Intellect 测试显示,Vera CPU 在RL沙盒工作负载中比x86架构平均吞吐量提升30%。
  • Perplexity 的RL后训练栈在数百GPU上异步运行,RDMA权重传输引擎可在2秒内同步万亿参数模型。
展开章节目录后训练:从收尾步骤到持续核心

后训练:从收尾步骤到持续核心

NVIDIA 认为,智能体AI的工作方式与职业运动员类似:真正的提升发生在比赛之间的持续精进。模型不再只是回答问题,而是被赋予目标,需要不断适应环境变化、处理边缘情况、使用不同工具。因此,后训练——在原始数据预训练之后对模型进行精炼的阶段——不再是单次收尾步骤,而是持续循环。

后训练的计算量增长不是因为单次运行更大,而是因为运行永不停止。智能体AI为后训练引入了新的计算模式,使其成为智能体时代的核心工作负载,也是“智能每美元”的主要驱动力。

智能每美元:超越每token成本的新指标

NVIDIA 提出“智能每美元”作为后训练的关键指标。推理的“每token成本”衡量运营产出,而“智能每美元”回答一个不同的问题:构建一个值得服务的模型并保持其价值需要多少成本。两者嵌套而非竞争:降低每token成本的AI基础设施也降低了构建模型智能的每次成本,而模型智能的提升则提高了推理工厂每个token的价值。

后训练的目标是最大化每次前向和后向传播的产出,从而最大化智能每美元。前向传播(推理)以每token成本衡量,因此每token成本的每一点改进都直接转化为智能每美元。

Vera Rubin:为后训练极致协同设计

NVIDIA Vera Rubin 平台从端到端协同设计,旨在最大化智能体后训练负载的智能每美元。相比 Blackwell 代际,Vera Rubin 训练最大模型所需GPU数量减少四分之三,支持更多rollout、更多环境,以及永不停止的后训练循环。

NVIDIA 强调,Blackwell 平台已经降低了每次运行成本,使智能体时代频繁的后训练在经济上可行,而 Vera Rubin 进一步延伸了这一轨迹。

Nemotron 3 Ultra:后训练能力的实证

NVIDIA 展示了 Nemotron 3 Ultra 模型——一个550B参数的混合专家(MoE)开源权重模型,在SWE-bench verified基准上达到71.7%,能够修复约七成的真实软件缺陷。该模型的后训练配方完全公开,基于 NeMo RL 运行。

NVIDIA 使用“200亿rollout token”作为说明性假设,基于前代 Nemotron 3 Super 的约120万次rollout(每次约1万token)按比例放大。NVIDIA 指出,平台间的智能每美元比较独立于这一假设,绝对值随token数量缩放。

生态伙伴验证:Prime Intellect 与 Perplexity

Prime Intellect 在 NVIDIA Blackwell 上持续后训练前沿开放模型,并计划利用 Vera Rubin 扩展RL环境、生成更多rollout、加速训练到推理的迭代循环。其沙盒基础设施已集成 Vera CPU,在RL沙盒工作负载中,Vera 相比x86架构平均吞吐量提升30%(来源为 Prime Intellect 的测试结果)。

Perplexity 的RL后训练栈在数百GPU上异步运行,使用基于RDMA的权重传输引擎,可在2秒内同步万亿参数模型。后训练后的 Qwen3 235B 模型在 NVIDIA GB200 NVL72 系统上提供服务。

Together AI 提供后训练即服务,包括监督微调、RL和直接偏好优化,已运行在 NVIDIA 平台上,并计划下一步利用 Vera Rubin 平台。

可信度边界

本文主要基于 NVIDIA 官方博客的新闻稿,内容包含产品发布声明和性能声称。Nemotron 3 Ultra 的基准测试结果由 NVIDIA 提供,Prime Intellect 的吞吐量对比数据来自其自身测试。所有数字和性能声明均为来源声称,未经独立验证。

核心结论

NVIDIA Vera Rubin 将后训练定位为智能体AI时代的关键工作负载,通过“智能每美元”指标强调持续后训练的经济性,并以减少四分之三GPU用量、生态伙伴验证等证据支撑其主张。

主报道

NVIDIA AI Blog

主报道来源