使用强化学习代理技能和 NVIDIA NeMo 运行自动研究工作流程

长期以来，强化学习研究的痛点在于：有意义的指标往往只有在整个实验基础设施搭建完毕后才会出现。配置环境、管理依赖、处理错误、监控运行、分析结果——这些重复性工作占据了研究者大量时间。2025 年以来，随着 GPT 5.5 等前沿模型的推出，编码智能体开始展现出解决这类复杂工作流的能力。

NVIDIA 开发者博客于 2026 年 7 月 14 日发表了一篇详细教程，展示了如何利用 Codex 智能体（基于 GPT 5.5）结合 NeMo RL 和 NeMo Gym，构建一个无需用户编码的“autoresearch”工作流。该工作流由 Andrej Karpathy 开源的 Autoresearch 项目驱动，目标是让智能体承担重复性的设置与迭代工作，而人类研究者则专注于设定目标、审查里程碑和最终决策。

工作流的基础是 NVIDIA NeMo 框架下的两个开源库：NeMo RL 和 NeMo Gym。NeMo RL 基于 AutoModel、Megatron-Bridge 和 vLLM，支持 GRPO、DPO、SFT 等后训练流程，配置驱动，可从小规模验证扩展到分布式训练。NeMo Gym 则提供交互环境，模型在其中通过实时生成的体验获得奖励并学习。

智能体本身（Codex + GPT 5.5）具备强大的推理、代码导航和工具使用能力，但为了适应本地操作规范（如检查点路径、指标权威性、会话恢复等），团队为其配备了三个互补的“技能”（Skills）：Brev-etiquette 负责系统操作规范（保持仓库整洁、正确存放大文件、安全处理密钥）；session-memory 维护持久会话日志（记录目标、子任务、决策、进度）；autoresearch 则实现实验循环（保留目标、建立基线、为每个假设创建分支、记录尝试、监控停止规则、汇总结果）。这些技能以结构化可复用指令的形式，编码了操作上下文和机构知识，使智能体的研究循环更具可复现性。

教程通过三个步骤演示了智能体的能力。首先，智能体在 NVIDIA Brev GPU 实例（搭载单块 NVIDIA L40S 48 GB GPU）上启动并验证全栈环境：包括安装依赖、配置 VS Code 和 Codex 插件、验证 NeMo RL 和 NeMo Gym 的端到端训练流程。

第二步是目标驱动的自主研究：智能体自主创建了一个新颖的 NeMo Gym 视觉计数环境，然后训练 Qwen3-VL-2B-Instruct 模型在该任务上的准确率，结果从 25.0% 提升至 96.9%。这一过程完全由智能体自主完成：它分析基线、提出假设、编辑代码、启动实验、分析指标并保留有效的改进。

第三步展示了论文到代码的能力：智能体阅读一篇研究论文，形成实现计划，将离线策略 RL 算法翻译为代码，添加测试，并启动了一个 10 小时的验证训练活动。在整个过程中，智能体表现出对论文内容的理解以及将其转化为可运行代码的能力。需要注意的是，最终决策和战略指导仍由人类掌控。

尽管结果令人振奋，但需要清醒认识其局限性。首先，当前工作流依赖前沿模型（GPT 5.5）和特定硬件（NVIDIA L40S 48 GB GPU），且技能集（Brev-etiquette、session-memory）是针对特定平台（Brev 实例）定制的，普适性有待验证。

其次，智能体的长期可靠性尚未经过充分检验：长时间运行中的上下文压缩、断连恢复、目标漂移等问题虽通过 session-memory 技能有所缓解，但大规模、多实验的稳定运营能力仍需更多证据。

另外，论文到代码的翻译虽已实现，但其质量仍需人类审查；智能体对论文中数学细节和微妙假设的把握程度尚不明确。最后，这项工作主要聚焦强化学习领域（尤其 RL for VLM），向其他 ML 分支（如监督学习、生成模型）的迁移能力还有待探索。