中国Orca世界模型无需动作标签即可匹配专业机器人系统

当前AI的主流范式是预测下一个token（语言模型）、下一个视频帧（视频生成器）或下一个机器人动作（控制策略）。Orca则走向另一条路：预测世界的下一个状态，在一个抽象的隐空间中表示这一变化。BAAI在技术报告中主张，智能不应由特殊化的预测模型定义，而应基于对世界如何变化的通用理解，再适配不同任务。

Orca的基座采用预训练的视觉语言模型Qwen3.5，训练完成后冻结核心参数。对每种输出类型，研究人员附加一个轻量模块：文本输出沿用Qwen3.5的原生语言头；图像输出通过一个小型适配器将内部状态传递给Stable Diffusion 3.5；机器人动作则用一个从零训练的‘动作专家’模块生成。这种分解设计意在证明，一个训练良好的内部世界状态可以作为各种差异巨大的任务的共享底座。

Orca的训练融合了两种学习模式。‘无意识学习’使用未标注的原始视频：模型看到一张图像，预测下一张图像在抽象空间中的表示，在此过程中学习运动模式、遮挡和典型场景动态。训练数据包含125,000小时视频，涵盖第一人称日常交互、第三人称物体操作、无动作标签的机器人记录以及自然场景，当前版本仅使用了其中十分之一。

‘有意识学习’则引入语言指令。视频被切分成片段，每个片段标注状态变化描述，让模型学习特定动作如何引起状态转移。此外，模型还在经典的视频问答任务上进行训练，以保持对自然语言查询的响应能力。两种学习路径共同馈入同一个内部世界状态表示，形成互补。

Orca训练了0.8B和4B两个规模。在文本基准上，Orca-4B在MVBench、TemporalBench、3DSRBench和SWITCH上的平均得分为51.8%，高于Qwen3.5-4B、Gemma 4-4B、DeepSeek-VL2-3B等小规模视觉语言模型，也超过更大的世界模型Emu3（8B）和Emu3.5（34B）。不过，在单个测试中Qwen3.5-4B仍在MVBench上领先。

图像预测方面，BAAI构建了自有基准PRICE-V0.1，使用真实机器人及第一人称场景，要求模型根据指令（如‘关上微波炉’）生成结果图像。Orca-4B平均分59.8%，超过FLUX.2 small（56.1%）、FLUX.1-context（40.9%）和OmniGen2（39.6%）。Orca在保持机器人形状、物体接触点和指令一致性上优于纯图像模型，后者常引入无关物体或幻觉手部。

机器人控制实验采用轮式双臂人形机器人，执行书本上架、碗叠放、舀糖等五项操作任务。Orca匹配了专用系统π0.5的性能——而π0.5直接使用机器人动作数据训练。Orca的基座模型在预训练时从未见过动作标签，仅在后续训练中，为每个任务使用200个真实世界记录（相机图像与对应动作）训练了动作专家模块。对比的V-JEPA 2.1和Qwen3.5加同一控制模块则落后很多。有趣的是，Orca展现出错误恢复能力：一次抓取失败后它会重试，而π0.5在同一情况下陷入重复失败。

机器人领域长期面临标注动作数据不足的困境。Orca的核心贡献在于，通过世界模型从大规模无标签视频中学习通用状态表示，大幅降低了对昂贵动作标签的依赖。预训练阶段完全不使用动作数据，仅在后续适配时使用少量演示（每任务200条），就达到了与专用系统相当的水平。这为利用海量互联网视频训练机器人基础模型提供了可行的路径。

训练效率也是亮点。BAAI使用自研FlagScale库，通过内存和通信优化，在H100上达到每GPU每秒2.91个训练样本，较机器人领域常用代码库StarVLA快4.4倍。

Orca目前仅从图像和文本中学习，缺失声音、力、触觉等多模态信号。视觉预测依赖预训练图像编码器的隐空间，而非从零学习世界表示。模型参数量（0.8B和4B）对于完整世界建模仍然偏小。事件描述仅覆盖几分钟的短时间窗口。BAAI表示，最终目标是训练一个从零开始、融合多种信号类型的原生世界模型。

此外，‘世界模型’的定义在学界尚无共识。北京大学团队提出的OpenWorldLib给出了统一框架，明确将纯文本-视频模型（如Sora）排除在外。清华大学团队的基准测试显示，即使是Sora 2和Veo 3.1在物理合理的场景推进上也存在困难。Orca的路径是否代表正确的方向，仍需更多验证。