腾讯混元研究：大模型强化学习中 Batch Size 何时能有效扩大？

当预训练把大模型带到新的能力起点，强化学习通过持续的探索与反馈决定模型还能走多远。RL 在模型开发中占比越大，训练效率对算力预算的影响越直接。按论文给出的示意账：1 万张 GPU 连续运行 30 天、每卡每小时 3 美元，总费用 2160 万美元；若同样卡数、同样效果但训练时间缩短 10%，可少用 72 万 GPU 小时，节省约 216 万美元。

效率收益的一个基础来源是 Batch Size。腾讯混元团队在实验中观察到：适度增大 Batch 并同步调整学习率，可以在保持学习效率的同时提高吞吐；但 Batch 过大时，额外样本代价会反过来压过吞吐收益。论文把这种反差画成登山：B、2B 和 4B 在累计样本维度上保持近似相同的学习进度，更大的 Batch 因吞吐更高而更快登顶；扩大到 16B 后，样本效率损失超过吞吐收益，登顶反而比 B 更慢。

论文的核心衡量目标是 time-to-target：从训练开始到模型首次达到预设验证目标，真实经过了多少时间。它由两种效率共同决定——样本效率（每条训练回答带来多少学习进展）和系统效率（整条流水线每秒生成并处理多少训练回答）。论文给出的关系是：相对于参考配置，达标样本数比值与端到端吞吐比值的比较决定了更大 Batch 是否更快；只有当吞吐的提升超过达标样本数的增幅时，更大 Batch 才会缩短训练时间。

经典 Batch Scaling 讨论的是更大 Batch 如何改变梯度估计、更新次数和训练并行度。2017 年 Facebook 的 Priya Goyal、Yangqing Jia 和 Kaiming He 等人在《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》中，通过线性放大学习率和 gradual warmup，将 ResNet-50 在 ImageNet 上的训练从 8 张 GPU、Batch 256 时约 29 小时，扩展到 256 张 GPU、Batch 8192 时 1 小时，同时保持了小 Batch 的精度。2018 年 OpenAI 的 Sam McCandlish、Jared Kaplan、Dario Amodei 在《An Empirical Model of Large-Batch Training》中研究了扩大 Batch 的收益何时开始递减，并将转折与梯度噪声尺度联系起来。

LLM 强化学习多了一个关键闭环：作为 Agent 的 Transformer 必须先用当前策略自回归生成，或与环境连续交互，得到回答、轨迹和奖励；这些在线产生的数据随后才进入学习阶段，用于前向传播、反向传播和参数更新；更新后的 Transformer 又继续生成下一批数据。模型既是生产训练数据的推理系统，也是消费这些数据的学习系统。

从系统架构看，生成是逐 token 的自回归推理，需要反复读取模型权重、维护 KV Cache 并调度并发序列；学习则在整批 token 上执行前向和反向传播，还要保存激活、计算梯度并更新优化器状态。因此扩大 Batch 不是只给同一种计算多塞数据：它既可能通过更高并发提高生成效率，也会增加训练侧的计算和显存开销。学习曲线无法单独回答训练会快多少，生成吞吐也无法单独回答模型还需要多少样本。