返回信息流
新闻事件
量子位
1 个来源

LeCun世界模型创业公司AMI发布H-JEPA,代码权重全部开源

AMI联合纽约大学、INRIA和布朗大学发布分层世界模型H-JEPA,通过堆叠多个JEPA实现从长期规划到精细动作的分层预测。在Visual AntMaze任务中,三层模型成功率达73%,远超单层模型的18%,且规划计算量更少。团队同步开源代码和预训练权重,延续LeCun倡导的开源路线。

SynthePulse Insight · AI 深度解读

LeCun的世界模型交卷:H-JEPA把73%写进仿真迷宫,但产品入口仍是空白

版本 1 · 1 个来源

AMI联合纽约大学、INRIA和布朗大学发布分层世界模型H-JEPA,代码与权重全部开源;在Visual AntMaze仿真任务中三层结构成功率达73%,单层仅18%。但分层并非普遍有效,Push-T任务中三层、四层反而下降,而公司官网至今没有面向公众的产品入口。

  • AMI联合纽约大学、巴黎INRIA和布朗大学发布H-JEPA论文,推出面向视觉规划的分层世界模型,并同步开源代码与预训练权重。
  • H-JEPA将多个JEPA逐层堆叠,各层在自己的表征空间中预测不同时间跨度后的状态;规划时高层先出粗略计划,低层接力细化并生成可执行动作。
  • 在Visual AntMaze仿真迷宫任务中,三层H-JEPA成功率为73%,单层模型为18%;多项仿真任务中分层模型还以更少规划计算量取得更好表现。
  • 分层有适用边界:Push-T任务中两层模型表现较好,增加到三层、四层后成绩反而下降,论文推测是较短任务轨迹限制了高层可用的训练数据。
  • H-JEPA以LeWorldModel为最底层,沿用LeJEPA提出的SIGReg约束表征分布以避免表征坍塌;相邻高层一步对应低层两步预测。
  • AMI今年3月完成10.3亿美元融资、投前估值35亿美元,LeCun任董事长;但官网主要展示技术方向、团队和招聘信息,尚无面向公众的产品入口。
展开章节目录一份论文加一套权重:AMI把“分层”从构想推到可复现

一份论文加一套权重:AMI把“分层”从构想推到可复现

AMI这次交出的不是产品,而是一篇论文加一套可加载的模型。H-JEPA由AMI联合纽约大学、巴黎INRIA和布朗大学的研究者发布,定位是面向视觉规划的分层世界模型;团队同步公开了代码和预训练模型权重,研究者可以直接加载模型复现规划实验。

这条开源路线并非临时起意。早在2022年还在Meta担任首席AI科学家时,LeCun就提出过分层JEPA的构想:让模型在不同抽象层级和时间尺度上预测,再通过分层规划把复杂目标落实为动作。如今这套构想成为AMI的创业方向,而H-JEPA是它第一次以论文、代码、权重三件套的形式对外呈现。

分层怎么落地:每层三个组件,高层一步等于低层两步

H-JEPA的做法是把多个JEPA逐层堆叠,让各层在自己的表征空间中预测不同时间跨度后的状态。每一层配置三个组件:状态编码器提取当前环境的表征,动作编码器描述动作带来的变化,预测器结合当前状态和动作预测未来状态。最低层直接读取图像,更高层则基于下层表征进一步抽象,保留该时间尺度下更重要的信息。

规划时的分工是自上而下的:高层先制定粗略计划,再把预测的中间状态作为子目标交给低层,低层接力逐步细化,最终生成可以执行的动作。论文实验中,相邻高层的一步对应低层的两步预测。

训练上,各层通过端到端训练共同学习,不同层级通过子目标衔接——高层预测出的中间状态成为低层的子目标,低层把自己预测的状态转换到高层表征空间,与高层指定的子目标比较,再据此调整动作。

73%对18%:分层在迷宫任务里赢在哪,又赢了多少

最能说明问题的数字来自Visual AntMaze仿真迷宫任务:三层H-JEPA成功率达到73%,单层模型为18%。同时,在多项仿真任务中,分层模型还以更少的规划计算量取得了更好的表现。

研究者还观察到不同层级的信息取舍:迷宫任务里,高层逐渐弱化腿部姿态,但仍保留了机器人的位置信息。这正好对应分层规划的直觉——规划长途行程时,脚下某一级台阶的高度并不重要;真正走下楼梯时,这个细节却直接决定该怎样迈步。

需要强调的是,73%与18%都来自仿真迷宫任务,并非真实物理环境。H-JEPA在Visual AntMaze之外的真实机器人任务上能否保持这一成功率,来源没有提供证据。

分层不是万能药:Push-T里层数越多反而越差

论文自己给出了反例。在Push-T任务中,两层模型表现较好,增加到三层、四层后成绩反而下降。论文认为,这可能是较短的任务轨迹限制了高层可用的训练数据。

这意味着“堆更多层”并不是一条可以无条件外推的规律。分层层数的最优选择目前缺乏通用规则,Push-T中分层失效的原因也只是论文的推测,而非已验证的结论。

另一条边界来自底座:H-JEPA以LeWorldModel为最底层,向上增加更多JEPA,形成共同训练、由上至下规划的结构。它的能力因此受这一底层方法约束。

表征坍塌这道老题:SIGReg与LeWorldModel的接力

训练世界模型要解决一个经典问题:表征坍塌。如果编码器把所有输入都压缩成同一个向量,预测器只输出这个向量,也能获得很低的预测误差,但模型实际上没有学到任何有用的信息。

H-JEPA沿用了LeCun团队此前在LeJEPA中提出的SIGReg,对表征分布进行约束,避免不同状态被压缩到同一个向量。今年的LeWorldModel把这套方法用于世界模型训练,H-JEPA则以它为最底层继续向上叠加。

这里需要保持克制:H-JEPA相对LeWorldModel、LeJEPA的性能增量具体如何归因,来源没有做拆解。

研究交卷了,产品还没交卷

AMI的资本与人事配置并不低调。今年3月,AMI宣布完成10.3亿美元融资,投前估值35亿美元。公司由LeCun担任董事长,Alexandre LeBrun担任CEO,谢赛宁担任首席科学家,Pascale Fung负责研究与创新,Michael Rabbat负责世界模型,而Rabbat也是这次H-JEPA论文的作者之一。

但研究成果归研究成果。至少从目前官网来看,AMI展示的主要还是技术方向、团队和招聘信息,尚未看到面向公众的产品入口;AMI何时推出面向公众的产品,来源也没有给出时间表。

作为对照,同样押注世界模型的World Labs在9月28日迎来转折:AMD宣布与其签订约82亿美元的全股票收购协议。一边走向与芯片公司的结合,一边继续沿自己的研究路线推进。不过来源并未说明World Labs与H-JEPA技术路线的可比性,这一对照更多是行业节奏的参照,而非技术优劣的判断。

LeCun的判断:主张归主张,验证归验证

H-JEPA延续了JEPA的一项基本主张:在表征空间中完成预测。LLM通常通过预测下一个token来学习生成内容;视觉JEPA则先把图像、视频编码成内部表征,再预测目标部分的表征,无需逐个生成图像像素。在H-JEPA这类世界模型中,模型还会结合动作预测未来状态的表征,规划器据此比较不同动作的后果,寻找通向目标的方案。

LeCun一直认为,理解世界、预测行动后果和规划,是走向人类级智能必须具备的能力。今年9月,在瑞典马尔默举行的ECCV上,他的演讲幻灯片再次出现那句建议:如果你对人类级AI感兴趣,就不要研究LLM。他随后补充,基于LLM的AI工具非常有用,大家都在使用,但他认为单靠LLM本身无法走到人类级智能。

这属于LeCun的个人主张,来源没有提供验证。把它与H-JEPA的73%放在一起看时,需要分清两件事:前者是路线判断,后者是仿真任务上的实验结果,二者不能互相替代证明。

可信度边界

本文事实主要来自量子位对H-JEPA论文的报道,属二手转述,其中架构、开源、73%与18%等核心信息与论文公开内容一致,可信度较高;AMI“尚无面向公众的产品入口”为来源基于官网现状的观察,属来源主张而非公司确认。所有成绩均来自仿真任务,不代表真实物理环境表现。

核心结论

H-JEPA的价值不在于“分层一定更好”,而在于它把分层世界模型做成了可复现的开源基线:73%对18%证明了分层在长程迷宫任务中的潜力,Push-T的反例则划出了适用边界。对AMI而言,论文与权重已经交卷,产品仍是空白;对读者而言,真正需要跟踪的是这套方法能否走出仿真,以及分层层数何时有通用规则。

主报道

量子位

主报道来源