Einsia AI 发布世界模型物理终极大考:最高分仅 57.76
Einsia AI 旗下 Navers Lab 推出「World Models' Last Exam in Physics」基准,用 40 个任务和 9 类物理现象测试 8 个视频生成模型。结果显示,排名第一的 Seedance 2.5 平均分仅 57.76/100,说明现有模型在物理规律理解上仍有明显短板。该基准通过一致性分数和物理分数两部分,评估生成视频是否连贯以及物理关系是否正确。
Einsia AI 旗下 Navers Lab 推出「World Models' Last Exam in Physics」基准,用 40 个任务和 9 类物理现象测试 8 个视频生成模型。结果显示,排名第一的 Seedance 2.5 平均分仅 57.76/100,说明现有模型在物理规律理解上仍有明显短板。该基准通过一致性分数和物理分数两部分,评估生成视频是否连贯以及物理关系是否正确。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
Einsia AI 旗下 Navers Lab 发布「World Models' Last Exam in Physics」基准,用 40 个任务、9 类物理现象测试 8 个视频生成模型。最高平均综合分只有 57.76 分,而自由落体任务中平均一致性分高达 98.75 分、平均物理分却只有 13.88 分——这组反差,正是这项评测最想追问的问题。
Einsia AI 旗下 Navers Lab 发布名为「World Models' Last Exam in Physics」的基准,用于测试视频生成模型是否遵守物理规律。该基准包含 40 个视频生成任务,覆盖力学、光学、流体、相变、电磁等 9 类物理现象,共测试 8 个视频生成模型。
任务形式很直接:每个任务给定一张初始图像和一段生成提示,要求模型输出一段呈现后续物理过程的视频。模型需要保留图像中的物体与场景关系,让指定过程持续发生,并使其中的运动和变化符合相应的物理规律。
从结果看,在参评的 8 个模型中,Seedance 2.5 以 57.76 分取得最高平均综合分,MiniMax H3 以 54.89 分紧随其后。最高分不到 60 分,构成了这项评测最直观的结论。
评测将评分分为一致性分数 C 和物理分数 P,两者均为 0-100 分制,总分 S 中一致性占 15%、物理性占 85%。一致性分数 C 由视觉语言模型 Qwen3.6-27B 依据每道任务的专门提示词给出,衡量视频中的主体、事件和场景能否保持连贯,并提供完成任务所需的观察依据。
物理分数 P 的机制完全不同:由程序通过分割、跟踪、几何拟合和事件检测从视频中提取轨迹、周期、角度、液面等可观察量,再按各任务指标计算误差和得分,无需与参考视频比较,也不依赖视觉语言模型直接判断物理正确性。
物理部分还有一道计入条件:只有当一致性分数 C ≥ 80 时才计算物理分记录,否则物理部分不计入总分。按来源给出的例子,C 为 100、P 为 60 时总分为 66;如果 C 只有 60,即使记录到较高的物理分,总分也只有 9。这一设计意在避免主体缺失、关键事件未发生等问题被局部物理指标的高分掩盖。
以单摆任务为例,在小角度近似、重力条件相同的情况下,周期之比的平方应等于摆长之比。误差尺度预设为 0.20 且对所有模型一致:误差为 0 得 100 分,相对误差 20% 得 50 分,相对误差 40% 得约 33.3 分。
自由落体任务最能说明两套分数为何要分开。这项任务中,各模型的平均一致性分达到 98.75 分,平均物理分却只有 13.88 分。小球可以完整、连贯地下落,但测得的运动仍可能偏离任务要求的物理关系。
具体到模型,Seedance 得 29.50 分、Wan 得 22.72 分,两者均为近似匀速下落、不符合物理。来源将这一现象归因于当前模型对时序动力学建模能力的不足。
这正是评测设计的核心关切:一个小球可以始终沿着连续轨迹下落,但它的位置随时间变化的关系仍然可能不符合自由落体规律。画面连贯,并不等于物理正确。
相变(冰融化)任务呈现出极端分化:只有 Seedance 2.5 取得 95.61 分,其余模型最高为 15 分。其中 MiniMax 生成的冰块没有融化、不遵循 Prompt,得分为 0.00。来源据此判断,大部分模型对基本的物理规律缺乏理解。
光学同样是各模型的共同难点。在「光的折射与全反射」任务中,8 个模型的平均综合分均未超过 40 分。模型能够生成光束和介质界面的视觉外观,却难以在光路变化过程中持续保持相应的物理约束。
具体得分上,MiniMax H3 能生成部分折射光线但结果是错的,得 31.67 分;Cosmos 不能生成,得 0.00 分。
为评估物理量评分与人类判断的一致性,研究团队邀请 10 位标注者对覆盖 40 个任务的 320 段视频进行人工评估,并将测量方法与视觉语言模型直接评分(Direct VLM)进行比较。
比较分为两种:一种先让标注者给视频打分,再检查自动评分与人类评分对视频优劣的排序是否一致;另一种直接展示两段视频,让标注者判断哪段更符合物理规律。在两项比较中,本方法分别比 Direct VLM 提高 8.18 和 7.50 个百分点,与人类之间的一致率仍有约 5 个百分点的差距。
来源据此认为,从视频中提取物理量、依据具体关系评分,比让视觉语言模型直接判断物理正确性,更贴近人类的判断。但约 5 个百分点的差距也说明,自动评分与人类判断尚未完全一致。
需要明确的是,该基准由 Einsia AI 旗下 Navers Lab 自行发布,其评测方法与结果尚未见独立第三方复现或验证。各模型在光学、相变、自由落体等任务上的具体得分来自单一来源,未提供逐任务完整数据供交叉核对;来源也未说明参评 8 个模型的具体版本、推理配置或评测时间等可能影响可比性的细节。
来源文章称这些结果表明当前生成模型在大部分场景中仍不理解物理世界的规律,物理规律理解仍是当前模型的软肋。这属于作者基于该基准结果的判断,而非独立证实。
文章最终将这项研究归结为一个更根本的问题:世界模型生成的究竟只是一个「像真的」画面,还是一个真正符合物理规律的未来。这是一个开放问题,来源未给出确定答案。该工作的论文题目为 World Models' Last Exam in Physics,并公开了项目主页、GitHub 仓库和 arXiv 链接。
本文所有事实、数字与结论均来自机器之心对 Einsia AI 旗下 Navers Lab「World Models' Last Exam in Physics」基准的报道。该基准为发布方自行发布,评测方法与结果尚未见独立第三方复现或验证;各任务具体得分来自单一来源,未提供逐任务完整数据供交叉核对;来源未说明参评 8 个模型的具体版本、推理配置或评测时间。文中「当前模型在大部分场景中仍不理解物理规律」属来源作者判断,非独立证实;「世界模型生成的是像真的画面还是符合物理规律的未来」为来源提出的开放问题。
这项基准的价值不在于给出一个排名,而在于把「画面连贯」与「物理正确」拆成两套分数来测。自由落体任务中一致性 98.75 分、物理性 13.88 分的反差说明:模型可以把过程画得很顺,却未必保持住其中的定量规律。最高分 57.76 分、相变与光学任务的大面积低分,以及自动评分与人类判断约 5 个百分点的差距,共同指向同一个尚未解决的问题——从生成画面到预测世界,中间隔着的正是物理规律理解这道能力边界。
主报道
主报道来源