返回信息流
新闻事件
A重点78
The AI Insider
2 个来源

Mistral AI 推出机器人导航模型

Mistral AI 发布了 Robostral Navigate,一个 8B 参数的机器人导航模型。该模型使用 RGB 图像和自然语言指令,使机器人能够在办公室、住宅等复杂环境中自主导航。

SynthePulse Insight · AI 深度解读

Mistral AI 切入机器人导航:单摄像头、纯模拟训练,是真正的突破吗?

版本 1 · 2 个来源

Mistral AI 发布 Robostral Navigate,一个 8B 参数的机器人导航模型,声称仅凭单个 RGB 摄像头即可在基准测试上超越依赖深度传感器或多摄像头的系统。然而,纯模拟训练和未公开的实机表现给这一突破蒙上阴影。

  • Robostral Navigate 是一个 8B 参数的导航模型,仅使用单个 RGB 摄像头和自然语言指令。
  • 在 R2R-CE 基准上,模型在未见环境(validation unseen)中达到 76.6% 成功率,在已见环境中达 79.4%。
  • Mistral 宣称这比最佳单摄像头方法高 9.7 个百分点,比使用深度或多摄像头的系统高 4.5 个百分点。
  • 模型完全在模拟环境中训练,使用约 40 万条轨迹、覆盖 6000 个场景。
  • 训练采用前缀缓存技术,将 token 数减少 22 倍;在线强化学习(CISPO)进一步提升成功率 3.2%。
  • Mistral 已开始扩建其机器人团队,但未透露模型可用性或真实世界测试的细节。
展开章节目录一、小模型、单摄像头:导航范式的简化还是妥协?

一、小模型、单摄像头:导航范式的简化还是妥协?

Mistral AI 本周发布了 Robostral Navigate,一款专为机器人导航设计的 8B 参数模型。与当前依赖 LiDAR、深度传感器或多摄像头的主流方案不同,该模型仅通过一个 RGB 摄像头获取的视觉图像和自然语言指令来决定机器人下一步的移动方向和位置。Mistral 称,这一设计大幅降低了硬件成本,并使模型能适配轮式、足式甚至飞行机器人。

模型的核心创新在于其预测方式:它直接在当前摄像头视角中输出目标点的图像坐标,并估算到达时的朝向。当目标超出视野时,则退化为局部运动指令(如前进、侧移、转向)。Mistral 强调,这种坐标指向机制使模型对相机内参和世界尺度差异更具鲁棒性。

二、纯模拟训练与效率革命

Robostral Navigate 的训练完全在模拟环境中完成。Mistral 构建了一个数据生成管线,产出了约 40 万条轨迹,覆盖 6000 个虚拟场景。训练过程中采用前缀缓存技术,将每个时间步所需的训练 token 数减少 22 倍,从而将原本需要数月的训练压缩至数天。

在监督训练之后,Mistral 引入基于 CISPO 的在线强化学习,让模型通过试错学习自我修正和探索行为。在 R2R-CE 基准上,这一环节将成功率额外提升了 3.2 个百分点,且公司表示尚未观察到性能瓶颈。“我们确信,更多的训练和实验将持续推高这一数字。”

值得注意的是,Mistral 声称该模型完全自研,未依赖任何开源视觉语言模型,而是基于其内部的视觉语言模型初始化,该模型擅长指向、计数与物体定位等接地任务。

三、基准成绩的含金量

在 R2R-CE(Room-to-Room with Continuous Execution)基准上,Robostral Navigate 在未见过的验证环境中达到 76.6% 成功率,在已见环境中达 79.4%。Mistral 将其与现有方法对比:比最佳单摄像头方案高 9.7 个百分点,比任何使用深度传感器或多摄像头的系统高 4.5 个百分点。

然而,这些数字需谨慎看待。R2R-CE 是一个关注室内导航指令执行的基准,其场景和指令模板可能存在分布局限性。目前尚无第三方的独立复现或真实机器人部署报告。Mistral 也未公布模型在动态障碍物、光照变化或户外环境下的表现。

四、从导航到通用机器人的漫漫长路

Mistral 将导航视为“通用机器人的基础能力”,并明确表示 Robostral Navigate 仅是第一步。公司正在扩建机器人团队,计划在后续迭代中提升模型性能。但目前关于模型可用性、API 定价或硬件适配等实际落地信息均为空白。

纯模拟训练的泛化性是核心风险。尽管模拟场景数量可观(6000 个),但与真实世界的多样性相比仍有差距。在线 RL 在模拟中提升了成功率,但能否迁移到物理机器人尚未验证。此外,模型未考虑动态障碍物避让、人机交互等现实导航场景的常见挑战。

五、结论:突破还是预演?

Robostral Navigate 展示了紧凑模型在单摄像头视觉导航上的潜力,其训练效率优化为行业提供了有益参考。然而,由于缺乏真实世界测试、基准局限性和尚未公开的部署计划,目前将其称为“突破”为时尚早。Mistral 的机器人团队扩张表明其长期投入意愿,但该领域的真正检验尚未到来。

可信度边界

本文信息主要源自 Mistral 的官方博客文章及《The AI Insider》《THE DECODER》等二线科技媒体的报道。性能数据来自 Mistral 的内部基准测试,未经独立第三方验证。模型训练方法和架构细节未以论文或技术报告形式公开,因此推理部分需保留一定不确定性。

核心结论

Mistral 的 Robostral Navigate 在导航模型的大规模模拟训练和单摄像头方案上取得积极进展,但距离真正可靠、通用的机器人导航仍有距离。关键待验证项包括真实环境泛化性、动态场景处理能力以及商业化路径。

主报道

The AI Insider

主报道来源

同一事件报道

另有 1 个来源报道