大晓机器人等发布 HSImul3R：首个可仿真人-场景交互重建框架，被 ECCV 2026 接收

三维重建、人体运动估计与人-场景交互建模近年持续进步，但传统方法大多以几何准确、姿态还原和视觉对齐为主要标准，回答的是“人和场景重建得像不像”。问题在于，机器人最终面对的是由重力、碰撞、摩擦与接触共同决定的物理世界：一个视觉上高度可信的场景进入仿真器后可能立即失效，椅子可能因结构缺失无法站稳，人体与物体也可能发生穿模。

HSImul3R 的切入点正是这一“感知-仿真鸿沟”。据该来源，团队将其定义为首个面向非标定稀疏视角输入、实现稳定可仿真（Simulation-Ready）人-场景交互重建的框架，并进一步支持单目视频输入；该成果已被 ECCV 2026 正式接收。它不再只要求人和场景在画面中对齐，而是把重力稳定性、真实接触与交互稳定性纳入核心评价标准。

需要区分的是：上述“首个”与“Simulation-Ready”属于团队自述的定位，来源未提供第三方独立验证；ECCV 2026 接收与论文、项目、代码链接的存在，属于来源陈述的事实性信息。

HSImul3R 并非先完成重建、再用仿真器验证，而是提出物理闭环（Physics-in-the-Loop）双向优化机制，让仿真反馈直接参与重建：正向过程优化人体，反向过程修正场景。

正向的面向场景强化学习（Scene-targeted Reinforcement Learning）在运动跟踪基础上加入场景交互约束，通过人体关键接触点与物体表面的空间关系，使优化后的动作既忠实于原始观测，又能与当前场景保持正确、稳定的接触。来源给出的反例是：一段“坐在椅子上”的动作经普通运动优化后，人体可能为保持平衡而偏离椅子——人没摔倒，但“坐椅子”这一交互已经消失；去除该模块后，仿真中出现非预期物体位移且难以稳定交互。

反向的直接仿真奖励优化（DSRO）针对的是另一种失败：仿真失败不一定意味着“人动错了”，也可能是场景本身没重建正确。在人类遮挡严重、桌腿或椅腿等结构较细的场景中，图像生成三维模型容易产生结构缺失或几何畸变。DSRO 直接利用物理仿真的交互结果作为监督信号，反向优化三维物体生成模型，评价标准由“物体自己能不能站稳”提升为“人与它交互之后还能不能稳定”。来源将仿真反馈划分为从“物体在重力下失稳”到“人与物体实现稳定交互”的四种状态，只有当物体自身稳定、交互后仍稳定、且人与物体确实形成有效接触时，重建才被认为真正成立。

为验证这一评价体系，团队构建了面向人-场景交互的 HSIBench。据该来源，数据集包含 19 个场景物体、超过 50 段人体动作序列和 300 个独立交互实例，由 3 名参与者完成，每个案例均从 16 个视角同步采集。与传统基准更关注几何误差不同，HSIBench 将人-场景交互稳定性（Stability-HSI）作为核心指标之一，不仅判断物体在重力下能否稳定，还要求整个交互进入仿真后保持稳定并保留有意义的人-物接触。

实验结果显示，在 Easy、Medium 和 Hard 三档任务中，HSImul3R 的人-场景交互稳定率分别达到 53.68%、30.56% 和 13.92%，而 HSfM 分别为 10.52%、4.50% 和 2.66%；人-场景三维穿模率也从 HSfM 的 69.51% 降至 22.90%。

这些数字需要谨慎解读。它们来自该来源的转述，未提供独立复现或第三方评测；且即便按来源口径，Hard 档 13.92% 的稳定率也说明高难度场景下多数重建仍无法在仿真中稳定交互。可以确认的是相对差距明显，不能确认的是绝对能力已接近可用。

如果只停留在稳定的物理仿真，这项工作仍只是完成了从真实世界到仿真的迁移（Real-to-Sim）。来源称，团队进一步将经过物理优化的人体动作重定向至 Unitree G1，再以这些动作作为先验，在仿真环境中训练全身控制策略，最终直接部署到真实 G1 上，使机器人能在现实环境中复现相应的人-场景交互。

由此，一段人类视频中的行为被描述为完成完整转换：从图像或视频中恢复三维人-场景关系，通过物理仿真修正“视觉上合理、物理上无法成立”的部分，再将人体动作转化为机器人可学习的动作先验，最终由真实机器人重新执行。来源据此提出一条更具想象力的路径：互联网中已存在规模巨大的人类行为视频，若其中的人-场景交互能被持续重建、物理验证并迁移到不同机器人本体，这些视频就可能成为机器人学习真实物理技能的重要来源。

但这条链路目前仍是方向性主张而非已验证结论。来源自身也承认，该路线仍处于早期阶段，复杂交互、多物体场景和动态环境依然存在大量挑战；来源未披露 Sim-to-Real 部署的成功率、任务范围或失败案例，因此“人类视频转化为机器人技能资产”应视为团队愿景，而非已兑现的能力。

从可验证信息看，HSImul3R 的贡献集中在三点：把物理可执行性纳入重建评价标准；用物理闭环让仿真反馈参与优化而非仅做终检；用 HSIBench 把“能不能交互”变成可量化指标。这三点在来源叙述中逻辑自洽，且与给出的对比数字方向一致。

不确定性同样明确。其一，所有性能数字均来自单一来源转述，无第三方复现；其二，来源未说明 HSfM 的配置是否与 HSImul3R 同等条件，跨方法比较的公平性无法从现有材料判断；其三，HSIBench 规模有限（19 个物体、300 个交互实例、3 名参与者），对真实世界多样性的覆盖程度未知；其四，机器人迁移部分缺少量化结果。

因此更稳妥的判断是：这项工作提出了一个有价值的问题框架和一套可检验的指标，并在其自建基准上显示出相对优势；但它是否真正填平了感知与仿真之间的鸿沟，仍需独立验证与更大规模场景的检验。