返回信息流
新闻事件
A重点84
NVIDIA Developer Blog
1 个来源

英伟达Rubin GPU架构:为智能体AI时代提供动力

英伟达全新的Rubin GPU架构旨在支持下一代智能体AI系统,实现大规模持续生产智能的AI工厂。这标志着从离散训练和聊天界面到持续自主AI运营的转变。

SynthePulse Insight · AI 深度解读

NVIDIA Rubin GPU:为智能体AI推理重塑架构

版本 1 · 1 个来源

NVIDIA Rubin GPU 以 3360 亿晶体管、HBM4 和第三代 Transformer Engine 为核心,宣称在智能体推理能效上比 Blackwell 提升 10 倍。本文基于官方技术博客,拆解其架构创新与关键约束。

  • Rubin GPU 集成 3360 亿晶体管、224 个 SM、896 个 Tensor Core,支持 NVFP4 精度,峰值性能达 50 petaflops。
  • 配备 288 GB HBM4 内存,带宽 22 TB/s;NVLink 6 提供 3600 GB/s 片间互联。
  • 第三代 Transformer Engine 支持动态精度调整,宣称在保持精度的同时提升推理效率。
  • 增强型 Tensor Memory Accelerator (TMA) 支持内联描述符更新,优化 MoE 模型权重加载。
  • Tensor Core 在 K 维度吞吐翻倍,减少 GEMM 循环迭代次数,提升矩阵运算效率。
  • Vera Rubin NVL72 机架级方案集成液冷、电源平滑、无电缆 MGX 架构,支持多万亿参数模型。
展开章节目录核心架构:晶体管堆叠与内存革命

核心架构:晶体管堆叠与内存革命

Rubin GPU 由两颗计算芯片通过 NV-HBI 高速互联封装而成,晶体管总数达 3360 亿,配备 224 个流式多处理器 (SM) 和 896 个 Tensor Core。其第三代 Transformer Engine 支持 NVFP4 精度,官方声称可提供最高 50 petaflops 推理性能,同时保持模型精度。

内存子系统采用 12-Hi 堆叠的 HBM4,容量 288 GB,峰值带宽 22 TB/s。片间互联方面,NVLink 6 提供 3600 GB/s 带宽,NVLink-C2C 实现 1800 GB/s 的 CPU-GPU 一致性互联,PCIe Gen 6 x16 提供 256 GB/s 主机连接。此外,TEE-I/O 机密计算被用于保护数据全生命周期安全。

MoE 与矩阵运算:减少数据搬运开销

针对混合专家 (MoE) 模型,Rubin 增强了 Tensor Memory Accelerator (TMA),支持内联描述符更新。传统方案需在内存中修改描述符,而 Rubin 允许内核在 TMA 指令中直接覆盖指针和步幅字段,从而减少元数据管理开销,提升专家权重加载效率。

Tensor Core 在 K 维度上的指令吞吐翻倍,使得每个 GEMM 循环迭代次数减半。例如,Blackwell 需要 4 次 K 迭代的运算,Rubin 仅需 2 次。这降低了循环开销,提高了 Tensor Core 利用率,尤其有利于张量并行规模较大时的上下文和解码 GEMM 运算。

长上下文与智能体工作负载的挑战

智能体 AI 工作负载需要持续推理、多步规划和长上下文注意力,对 KV 缓存容量和低延迟解码提出更高要求。Rubin 通过大容量 L2 缓存和 GigaThread 引擎协调任务调度,但官方博客未提供具体的长上下文性能数据或与 Blackwell 的对比基准。

机架级方案 Vera Rubin NVL72 集成了液冷、电源平滑 (DSX MaxLPS)、无电缆 MGX 架构和热插拔 NVLink 交换托盘,宣称可在相同功耗下支持多达 40% 更多 GPU,并实现多万亿参数模型的部署。

可信度边界

本文所有技术细节均来自 NVIDIA 官方技术博客,属于第一方产品宣传。性能提升(如 10 倍能效)基于内部 2T MoE 工作负载测试,未提供第三方验证或标准化基准。部分架构改进(如 TMA 内联更新)的描述较为具体,但实际效果需等待独立评测。

核心结论

Rubin GPU 在晶体管规模、内存带宽和互联能力上大幅提升,针对 MoE 和长上下文推理做了架构级优化。但 10 倍能效提升等关键指标仅基于内部测试,且缺乏与 Blackwell 的详细对比数据,实际性能需进一步验证。

主报道

NVIDIA Developer Blog

主报道来源