几分钟内开始定制 NVIDIA Nemotron 3 Nano 与 Prime Intellect Lab

模型定制通常面临基础设施、技术专长和领域知识等多重挑战。NVIDIA与Prime Intellect Lab的合作旨在解决这一问题：通过Prime Intellect Lab的训练即服务平台，开发者可以在约五分钟内完成本地设置，启动托管强化学习定制流程。

该流程无需管理本地GPU集群，Prime Intellect Lab负责托管部署、训练和推理基础设施。开发者只需一个开发环境（curl和Python 3）、Prime Intellect账户及互联网连接即可开始。

教程以Python数学任务为例，展示了标准定制流程：首先获取基线性能，然后使用带可验证奖励的强化学习（RLVR）训练LoRA适配器，最后重新评估模型。

基线评估使用32个示例，每个示例一次rollout，结果显示模型初始表现较差。训练后，模型准确率显著提升，但教程明确指出这仅作为示例，实际效果取决于具体任务和评估方法。

该流程同样适用于Nemotron 3 Super和Ultra模型。教程还提供了一个更复杂的编码任务配套笔记本。

NVIDIA Nemotron 3系列以开放模型资源发布，包括权重、数据和训练配方。开发者可以访问NVIDIA Nemotron开发者资源、阅读《Inside NVIDIA Nemotron 3》并检查Nemotron仓库。

这些资源提供了模型构建和后训练的详细视图，包括使用的数据类型和环境，帮助开发者理解自己的定制应如何与基础模型区分。开放生态支持可重复性、透明度和针对特定用例的适配。

模型定制有多种方法，包括监督微调、参数高效微调、偏好优化、强化学习或组合技术。本教程聚焦于带可验证奖励的强化学习（RLVR），在Python数学环境中使用Python工具（numpy、sympy、scipy）进行计算。

环境默认100轮，但教程将每次rollout限制为5个助手轮次，以惩罚重复工具调用而不产生最终响应。这种设计选择影响了训练行为和最终模型表现。