NVIDIA Cosmos-H-Dreams：将实时生成式模拟引入手术机器人领域

Cosmos-H-Surgical-Simulator 是一个基于 Cosmos-Predict2.5-2B 的动作条件世界基础模型，在 Open-H-Embodiment 数据集上后训练，给定手术场景帧和未来机器人轨迹，生成对应的视频。它适用于离线策略评估和合成数据生成，但推理速度较慢。

Cosmos-H-Dreams 将其蒸馏为因果学生模型，专用于 dVRK 桌面缝合，并支持自回归逐块生成。模型接收初始 RGB 帧和实时机器人运动学流，输出下一帧块。

NVIDIA 还与 CMR Surgical 和 Cambridge Consultants 合作，将 Cosmos-H-Dreams 集成到 Versius 手术控制器中，实现实时操作。

教师模型从 Cosmos-H-Surgical-Simulator 的 Open-H 检查点开始，使用统一的 44 维动作表示，并在 JHU dVRK 桌面混合数据集上微调，该数据集包含成功演示以及失败和分布外场景（如掉针、漏投、打结失败）。训练时逐步增加时间范围，从 12 帧到 72 帧。

学生模型首先通过因果预热（causal warmup）学习教师预计算的去噪轨迹，然后采用自强制蒸馏：学生使用自己生成的上下文进行滚动，教师模型提供分布匹配监督，从而减少部署时误差累积。学生模型支持少步扩散，每个潜在帧仅需 2 步去噪。

Cosmos-H-Dreams 通过 FlashDreams 推理库实现低延迟流式生成，优化包括流式 KV 缓存、CUDA Graph 捕获和模型编译。这些技术将蒸馏后的学生模型从约 10 FPS 提升至约 160 FPS（单张 RTX PRO 6000 GPU）。

系统提供多种人机接口：浏览器客户端通过 WebRTC 发送键盘命令并接收生成帧；Meta Quest 客户端将追踪的控制器运动映射为机器人动作，并通过 WebXR 显示合成场景；同一模型也可直接连接学习策略，在闭环中交换生成观测和预测动作。

Cosmos-H-Dreams 提供预训练的桌面缝合检查点，同时提供完整的教师微调和自强制蒸馏流程，用户可针对自有数据集训练实时学生模型。

下一步工作包括评估视觉质量之外的指标：工具尖端可达性和姿态精度、夹爪周期保真度、空闲稳定性、反事实动作多样性、长程漂移，以及仿真与物理机器人之间的一致性。这些将构成新的闭环基准。