Meta将定制芯片战略从计算扩展到网络

Meta 推出 MTIA 300，其首款针对排序和推荐模型训练优化的自研加速器。与 LLM 训练不同，推荐模型在加速器之间的通信耗时更多，因为嵌入表可能包含超过 99% 的模型参数。训练跨数百个加速器时，频繁的 AllReduce、AllToAll 和 AllGather 操作使网络的重要性不亚于计算本身。

这一设计源于对工作负载的深入分析：通信压力主要来自嵌入表，而非浮点运算。因此，MTIA 300 将网络接口直接集成到加速器封装中，包含两个网络 chiplet，每个有六个 800 Gbps RDMA NIC，共 12 个 NIC，提供 1.2 TB/s 总 I/O 带宽，无需经过 PCIe 总线。这些 NIC 同时支持机架内扩展和机架间扩展，带宽分配可动态调整，无需重新设计芯片。

将 NIC 移近计算并未消除所有争用：传统 GPU 上，集合通信会占用训练所需的处理资源。MTIA 300 内置 16 个专用消息引擎，独立于主计算网格处理通信，并包含近内存硬件用于归约操作。Meta 报告称，这种分离使大型矩阵运算和集合通信并发时，计算吞吐量下降小于 0.5%，而对比的 GPU 架构在重叠时下降超过 20%。

硬件与 Meta 的集合通信库 HCCL 协同设计。HCCL 将集合操作编译为子图，由 MTIA 300 的消息引擎自主执行，主机 CPU 不再逐操作编排通信。一旦指令到达加速器，主机便不再参与通信驱动。生产中，HCCL 在机架内达到最高 940 GB/s 的通信带宽。

在 1500 亿参数的推荐模型、40 个加速器上，Meta 报告 MTIA 300 将总通信时间比等效 GPU 集群减少 3.9 倍。这一数字来自 Meta 的测试，属于公司声明，尚未独立验证。

MTIA 300 是 Meta 更广泛定制芯片计划的一部分。公司表示已运行数十万 MTIA 加速器用于推理，并计划未来两年推出四代新芯片，覆盖排序、推荐和生成式 AI 工作负载。Meta 还扩大了与博通的合作，共同开发未来 MTIA 代际，同时继续从 AMD、NVIDIA 等供应商采购加速器，作为其组合策略的一部分。

这一策略反映了超大规模厂商向工作负载专用 AI 芯片的转变：Google 扩展 TPU，Amazon 发展 Trainium，Microsoft 开发 Maia。MTIA 300 展示了 Meta 将专业化推向极致：不是将网络视为外围基础设施，而是围绕数据移动与处理同等重要的负载，协同设计计算、通信硬件和集合软件。