Robostral Navigate：8B模型仅需单个RGB相机达到76.6% R2R-CE准确率

Robostral Navigate在R2R-CE（Room-to-Room in Continuous Environments）基准上取得了惊艳成绩：validation unseen成功率达76.6%，validation seen达79.4%。这一数字不仅刷新了单目视觉导航的纪录，甚至超越了使用深度传感器或多个相机的系统，例如比最佳单目方法高出9.7个百分点，比多传感器方法高出4.5个百分点。

值得注意的是，模型仅依赖一个普通RGB摄像头，没有LiDAR或深度传感器，却能应对走廊、办公室、仓库等复杂场景。Mistral AI将其归因于“指向”导航机制：模型预测目标在图像中的像素坐标和朝向，而非绝对坐标，从而对相机内参变化具有天然鲁棒性。当目标超出视野时，模型回退到局部坐标位移（如“向前2米，左移1.5米，左转25度”）。

这些结果来自公司官方发布的基准测试，但需要注意的是，R2R-CE本身是仿真环境，虽被广泛用于导航研究，但真实世界中的光照变化、动态障碍物和传感器噪声可能降低实际表现。独立第三方尚未复现这些数字。

模型的基底是Mistral内部开发的视觉语言模型（VLM），专为指向、计数、定位等任务优化。导航能力被视为这些基础的延伸。数据生成完全在模拟中完成，共采集约40万条轨迹，覆盖6000个场景，全部由Mistral自研管线完成，未使用开源VLM或现有数据集。

训练环节的亮点是前缀缓存（prefix-caching）技术：通过树状注意力掩码，将一个完整episode压缩为单一序列，所有时间步在一次前向传播中并行训练，且无信息泄露。相比逐时间步训练，该方法将训练token数减少22倍，从而将原本需要数月的训练缩短至数天。

这一效率提升使得大规模模拟数据训练成为可能，而无需依赖真实世界数据。但同时也意味着模型对模拟环境的潜在过拟合风险，尤其是在纹理、光照等细节上与真实世界存在差异时。

在监督训练之后，Mistral引入了CISPO在线强化学习算法，让模型从试错中学习，并学会从失败中恢复。这一阶段单独提升了3.2%的成功率。公司表示，目前尚未观察到性能平台，预期更多训练和实验将继续带来改进。这暗示RL训练仍有潜力，但具体上限未知。

泛化方面，公司声称模型可适用于轮式、腿式和飞行机器人，且对不同机器人尺寸和相机内参具有鲁棒性。官方演示视频显示模型在真实办公室中自主穿越，避开人和障碍物。然而，公开可获取的演示视频仅作为定性证据，没有提供定量指标（如真实环境成功率），也未披露任何失败案例。

此外，模型并非开源，而是通过商业渠道提供（“请与我们的团队沟通”）。这限制了学术界和工业界独立验证其性能与泛化能力，也使得社区无法直接在此基础上改进。

Robostral Navigate的核心局限在于训练数据完全来自模拟，尽管注入了一些随机化，但模拟与真实世界之间的“鲁棒性鸿沟”仍是具身智能领域的普遍难题。此外，单目相机在低纹理区域、透明物体或极端光照下可能失效，无深度传感器意味着无法直接感知三维几何，可能影响近距离避障。

基准R2R-CE虽然经典，但主要关注遵循自然语言指令的导航，而非开放世界探索或动态交互。模型在更复杂任务（如抓取、操作）上的延伸目前尚未展示。公司将其定位为“统一具身代理”的第一步，但通往通用机器人控制系统的道路依然漫长。

总体而言，Robostral Navigate在模拟基准上的表现令人印象深刻，其高效训练策略和RL调优方法为业界提供了有益参考。然而，其真实世界性能、泛化广度和开放程度仍需更多证据。对于寻求实用导航系统的客户，建议先进行小规模试点验证。