LeCun世界模型创业公司AMI发布H-JEPA,代码权重全部开源
AMI联合纽约大学、INRIA和布朗大学发布分层世界模型H-JEPA,通过堆叠多个JEPA实现从长期规划到精细动作的分层预测。在Visual AntMaze任务中,三层模型成功率达73%,远超单层模型的18%,且规划计算量更少。团队同步开源代码和预训练权重,延续LeCun倡导的开源路线。
AMI联合纽约大学、INRIA和布朗大学发布分层世界模型H-JEPA,通过堆叠多个JEPA实现从长期规划到精细动作的分层预测。在Visual AntMaze任务中,三层模型成功率达73%,远超单层模型的18%,且规划计算量更少。团队同步开源代码和预训练权重,延续LeCun倡导的开源路线。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
AMI联合纽约大学、INRIA和布朗大学发布分层世界模型H-JEPA,代码与权重全部开源;在Visual AntMaze仿真任务中三层结构成功率达73%,单层仅18%。但分层并非普遍有效,Push-T任务中三层、四层反而下降,而公司官网至今没有面向公众的产品入口。
AMI这次交出的不是产品,而是一篇论文加一套可加载的模型。H-JEPA由AMI联合纽约大学、巴黎INRIA和布朗大学的研究者发布,定位是面向视觉规划的分层世界模型;团队同步公开了代码和预训练模型权重,研究者可以直接加载模型复现规划实验。
这条开源路线并非临时起意。早在2022年还在Meta担任首席AI科学家时,LeCun就提出过分层JEPA的构想:让模型在不同抽象层级和时间尺度上预测,再通过分层规划把复杂目标落实为动作。如今这套构想成为AMI的创业方向,而H-JEPA是它第一次以论文、代码、权重三件套的形式对外呈现。
H-JEPA的做法是把多个JEPA逐层堆叠,让各层在自己的表征空间中预测不同时间跨度后的状态。每一层配置三个组件:状态编码器提取当前环境的表征,动作编码器描述动作带来的变化,预测器结合当前状态和动作预测未来状态。最低层直接读取图像,更高层则基于下层表征进一步抽象,保留该时间尺度下更重要的信息。
规划时的分工是自上而下的:高层先制定粗略计划,再把预测的中间状态作为子目标交给低层,低层接力逐步细化,最终生成可以执行的动作。论文实验中,相邻高层的一步对应低层的两步预测。
训练上,各层通过端到端训练共同学习,不同层级通过子目标衔接——高层预测出的中间状态成为低层的子目标,低层把自己预测的状态转换到高层表征空间,与高层指定的子目标比较,再据此调整动作。
最能说明问题的数字来自Visual AntMaze仿真迷宫任务:三层H-JEPA成功率达到73%,单层模型为18%。同时,在多项仿真任务中,分层模型还以更少的规划计算量取得了更好的表现。
研究者还观察到不同层级的信息取舍:迷宫任务里,高层逐渐弱化腿部姿态,但仍保留了机器人的位置信息。这正好对应分层规划的直觉——规划长途行程时,脚下某一级台阶的高度并不重要;真正走下楼梯时,这个细节却直接决定该怎样迈步。
需要强调的是,73%与18%都来自仿真迷宫任务,并非真实物理环境。H-JEPA在Visual AntMaze之外的真实机器人任务上能否保持这一成功率,来源没有提供证据。
论文自己给出了反例。在Push-T任务中,两层模型表现较好,增加到三层、四层后成绩反而下降。论文认为,这可能是较短的任务轨迹限制了高层可用的训练数据。
这意味着“堆更多层”并不是一条可以无条件外推的规律。分层层数的最优选择目前缺乏通用规则,Push-T中分层失效的原因也只是论文的推测,而非已验证的结论。
另一条边界来自底座:H-JEPA以LeWorldModel为最底层,向上增加更多JEPA,形成共同训练、由上至下规划的结构。它的能力因此受这一底层方法约束。
训练世界模型要解决一个经典问题:表征坍塌。如果编码器把所有输入都压缩成同一个向量,预测器只输出这个向量,也能获得很低的预测误差,但模型实际上没有学到任何有用的信息。
H-JEPA沿用了LeCun团队此前在LeJEPA中提出的SIGReg,对表征分布进行约束,避免不同状态被压缩到同一个向量。今年的LeWorldModel把这套方法用于世界模型训练,H-JEPA则以它为最底层继续向上叠加。
这里需要保持克制:H-JEPA相对LeWorldModel、LeJEPA的性能增量具体如何归因,来源没有做拆解。
AMI的资本与人事配置并不低调。今年3月,AMI宣布完成10.3亿美元融资,投前估值35亿美元。公司由LeCun担任董事长,Alexandre LeBrun担任CEO,谢赛宁担任首席科学家,Pascale Fung负责研究与创新,Michael Rabbat负责世界模型,而Rabbat也是这次H-JEPA论文的作者之一。
但研究成果归研究成果。至少从目前官网来看,AMI展示的主要还是技术方向、团队和招聘信息,尚未看到面向公众的产品入口;AMI何时推出面向公众的产品,来源也没有给出时间表。
作为对照,同样押注世界模型的World Labs在9月28日迎来转折:AMD宣布与其签订约82亿美元的全股票收购协议。一边走向与芯片公司的结合,一边继续沿自己的研究路线推进。不过来源并未说明World Labs与H-JEPA技术路线的可比性,这一对照更多是行业节奏的参照,而非技术优劣的判断。
H-JEPA延续了JEPA的一项基本主张:在表征空间中完成预测。LLM通常通过预测下一个token来学习生成内容;视觉JEPA则先把图像、视频编码成内部表征,再预测目标部分的表征,无需逐个生成图像像素。在H-JEPA这类世界模型中,模型还会结合动作预测未来状态的表征,规划器据此比较不同动作的后果,寻找通向目标的方案。
LeCun一直认为,理解世界、预测行动后果和规划,是走向人类级智能必须具备的能力。今年9月,在瑞典马尔默举行的ECCV上,他的演讲幻灯片再次出现那句建议:如果你对人类级AI感兴趣,就不要研究LLM。他随后补充,基于LLM的AI工具非常有用,大家都在使用,但他认为单靠LLM本身无法走到人类级智能。
这属于LeCun的个人主张,来源没有提供验证。把它与H-JEPA的73%放在一起看时,需要分清两件事:前者是路线判断,后者是仿真任务上的实验结果,二者不能互相替代证明。
本文事实主要来自量子位对H-JEPA论文的报道,属二手转述,其中架构、开源、73%与18%等核心信息与论文公开内容一致,可信度较高;AMI“尚无面向公众的产品入口”为来源基于官网现状的观察,属来源主张而非公司确认。所有成绩均来自仿真任务,不代表真实物理环境表现。
H-JEPA的价值不在于“分层一定更好”,而在于它把分层世界模型做成了可复现的开源基线:73%对18%证明了分层在长程迷宫任务中的潜力,Push-T的反例则划出了适用边界。对AMI而言,论文与权重已经交卷,产品仍是空白;对读者而言,真正需要跟踪的是这套方法能否走出仿真,以及分层层数何时有通用规则。
主报道
主报道来源