ICML 2026｜TikTok与新加坡国立大学提出置信度门控提升奖励模型效率

奖励模型在强化学习与人类反馈（RLHF）等对齐技术中扮演关键角色，用于评估生成内容的质量。然而，传统奖励模型对所有输入执行相同深度的计算，导致大量资源浪费在容易判断的样本上。这一问题在大规模部署时尤为突出，限制了模型的实际应用效率。

TikTok与新加坡国立大学的研究团队注意到，奖励模型在面对不同难度样本时，其内部置信度存在显著差异。基于此，他们提出了一种计算自适应的新范式：让模型的思考深度与任务难度相匹配，而非无差别地投入计算。

置信度门控（Confidence Gating）的核心思想是在奖励模型的前向传播中引入一个轻量级的置信度评估器。该评估器在模型推理的早期阶段快速判断当前样本的难度：如果模型对当前判断高度自信，则直接输出结果，跳过后续的复杂计算层；如果置信度较低，则允许模型继续执行更深层的计算以获得更精确的评估。

这一机制类似于人类的“快思考”与“慢思考”系统。研究团队设计了专门的训练策略，使得置信度评估器能够在不显著增加参数量的前提下，准确预测最终输出可靠性。从而实现了计算资源的高效分配。

在多个基准数据集上的实验表明，采用置信度门控的奖励模型在保持甚至提升准确率的同时，平均推理计算量降低了约30%至50%，具体数值因任务复杂度而异。值得注意的是，在简单样本占比更高的场景下，效率提升更为显著。

该工作还探讨了门控阈值对性能的影响。通过调整阈值，可以在计算效率与准确性之间灵活权衡，满足不同部署场景的需求。此外，置信度门控与现有模型架构兼容性强，可无缝集成到已有奖励模型中使用。

置信度门控为解决奖励模型推理效率瓶颈提供了实用方案。对于RLHF等需要反复调用奖励模型的对齐流程，该技术可大幅降低训练和推理成本，加速大模型的实际落地。

未来，该方法可进一步扩展到其他需要高效推理的判别式或生成式模型中，如筛选器、分类器等。研究团队指出，结合模型量化、剪枝等传统加速手段，置信度门控有望实现更极致的性能提升。