通过NVIDIA BlueField极致协同设计扩展智能体AI工厂

智能体AI将推理扩展为跨GPU、CPU、内存、网络、存储和安全的分布式工作流，每一步都依赖数据移动、上下文保留、策略执行和服务协调，使基础设施数据路径成为推理管线的一部分。

KV缓存成为关键瓶颈：GPU内存受限时，系统需换出或重算KV缓存，或限制上下文长度，引入延迟、吞吐或成本的权衡。

BlueField-4 DPU集成高达800Gb/s的以太网或InfiniBand连接、64核Grace CPU、高带宽LPDDR5X内存、PCIe Gen6以及内联加速，用于网络、存储、安全和数据移动。

相比BlueField-3，BlueField-4声称网络带宽翻倍，计算性能提升6倍，内存容量4倍，内存带宽3倍以上。这些数据来自NVIDIA官方博客，尚未经独立验证。

Vera BlueField-4 STX存储处理器结合Vera CPU、ConnectX-9 SuperNIC、高达1.6Tb/s的Spectrum-X以太网连接、高性能NVMe存储访问、加速数据移动、硅内安全与DOCA可编程性，用于NVIDIA CMX上下文内存和AI原生存储。

DOCA提供可编程软件基础，通过库和微服务支持KV缓存复用、租户隔离、存储元数据、拥塞控制、安全配置和新的智能体运行时模式。

BlueField在NVIDIA Vera Rubin平台和DSX架构中，跨GPU计算、CPU执行、网络、存储和安全运行，旨在提高GPU利用率、降低推理延迟、增强多租户隔离、降低每token成本并提高每瓦token数。

这些收益是NVIDIA的宣称，缺乏独立第三方验证，实际效果可能因工作负载而异。