量子位
1 个来源上海AI实验室等提出InfiniHand：单模型实现世界坐标系下手部运动重建
上海人工智能实验室联合上海交通大学等团队提出InfiniHand，一个流式模型，可联合估计手部位置、形态和相机轨迹，将第一视角视频中的连续手部动作恢复到共享世界坐标系。团队汇集约5000小时公开第一视角视频，经清洗后两阶段训练，模型预测速度达11.19FPS，超过HaWoR两倍，并在多个测试集上提升重建精度。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
把“手在哪里”和“手指怎么动”放进同一个流式模型：InfiniHand 想解决第一视角手部重建的哪一层问题
版本 1 · 1 个来源
上海人工智能实验室联合上海交通大学等团队提出 InfiniHand，用单一流式模型联合估计手部位置、手部形态与相机轨迹，把连续手部动作恢复到共享世界坐标系。论文报告其在速度与多个测试集精度上优于所比较方法，但物理尺度、大幅运动与遮挡仍是未解项，且所有性能数字均来自论文自报。
- InfiniHand 用一个流式模型联合估计手部位置、手部形态和相机轨迹，把连续动作恢复到共享世界坐标系，而非把检测、姿态、SLAM 拆给多套系统。
- 训练数据来自 ARCTIC、HOT3D、EgoDex 等 9 个公开数据集，约 5000 小时第一视角视频，并统一图像、手部参数、关节、掩码与边界框。
- 清洗阶段用 Sapiens 2 预测二维手部关键点与原始标注投影比对，持续不一致的序列被筛除，移除了约 30% 至 40% 的候选训练数据。
- 论文报告预测吞吐量 11.19FPS，约为 HaWoR 的 2.04 倍；该数字针对预测吞吐量，不含后台稀疏束调整的额外开销。
- 论文报告在 34 个 ARCTIC、10 个 HOT3D、166 个 HOI4D、100 个 EgoDex 场景上均取得所比较方法中最低误差，但均为自报结果，尚无第三方独立复现。
- 系统仍需额外模型恢复物理尺度，大幅运动与间歇遮挡依然困难，单目重建生成的监督也可能带入尺度漂移。
展开章节目录问题的核心不是“看清手”，而是“手在世界里的哪里”
问题的核心不是“看清手”，而是“手在世界里的哪里”
第一视角视频里，镜头本身在动。画面中的手向右移动，可能只是佩戴者转了一下头；物体遮挡和双手交互，又会让关键的手指细节消失在视野中。这意味着单看手部局部图像无法判断手在空间中的位置——相同的手掌大小可能对应不同距离，局部外观也很难单独解释相机转动。
传统世界坐标系重建通常把任务拆给多套系统：检测器找手，手部网络估计姿态，SLAM 系统追踪相机，再把结果对齐。每个环节都可能出错，检测抖动、轨迹漂移和尺度偏差还会传到后续阶段；处理大规模视频时，多套模型的计算与协调成本同样不可忽视。
InfiniHand 的切入点是共享这些环节所需的几何上下文：预训练的 LingBot-Map 骨干从完整画面提取几何特征，定位模块据此预测左右手区域，手部重建模块再融合局部外观补充手指和关节细节。全局特征帮助确定空间关系，局部特征帮助恢复精细形态。这一设计思路属于对论文方法的转述，其相对多系统方案的实际优势仍以论文自报结果为准。
5000 小时视频之前，先要解决标注是否可信
模型见过多少视频很重要，但错误标注也会随规模一起进入训练。不同数据集的左右手顺序、坐标定义和标注种类并不一致；部分标注投影回画面后，甚至与实际手的位置、姿态对不上。
团队从 ARCTIC、HOT3D、EgoDex 等 9 个公开数据集汇集约 5000 小时视频，统一图像、手部参数、关节、掩码与边界框。已有三维关键点被用于补齐缺失的 MANO 参数，有相机轨迹的序列则额外保留世界坐标系监督。
清洗时，系统用 Sapiens 2 预测图像中的二维手部关键点，再与原始标注的投影比较；持续不一致的序列被筛除，不确定样本留待人工检查。这一步移除了约 30% 至 40% 的候选训练数据。代价是明确的：被筛掉的部分是否包含边缘场景，以及这是否影响模型在罕见动作上的泛化能力，论文没有给出结论。
在此基础上训练分两步：第一阶段利用有效的相机空间标注，先学好手部定位与精细重建；第二阶段引入相机轨迹和时序监督，联合学习手部与相机运动。这样不同标注条件的数据都能参与训练，也让精细手势学习和全局轨迹估计各有重点。
流式推理：用记忆换连续性，用并行换速度
长视频处理面临一个实际问题：如何利用过去的信息，同时控制计算量。InfiniHand 以窗口为单位持续接收视频，保留初始参考帧、近期细节特征和更早时刻的压缩记忆，模型由此延续几何上下文，无须每次重新处理全部历史画面。
推理时两路任务并行：一路提取下一窗口的骨干特征，另一路解码上一窗口的手部与相机结果，减少串行等待。论文报告的预测吞吐量为 11.19FPS，约为 HaWoR 的 2.04 倍。对批量视频标注而言，这意味着相同时间内能处理更多画面。
需要区分的是，这个数字针对的是预测吞吐量。针对长序列的残余漂移，系统还在后台进行稀疏束调整，通过关键帧之间的几何关系修正相机轨迹；二值关键帧池同时保留近期观测和部分较早帧，避免只顾眼前而丢失长时间联系。这一优化环节仍有额外计算开销，因此 11.19FPS 并不等于端到端流水线的实际速度。
精度提升的幅度与它的边界
定量测试覆盖 34 个 ARCTIC、10 个 HOT3D、166 个 HOI4D 和 100 个 EgoDex 场景。以同时考虑姿态误差和漏检惩罚的 PA-p 指标衡量，论文报告 InfiniHand 在四个数据集上均取得所比较方法中的最低误差。
具体数字是：相较 ViDiHand，ARCTIC 上的误差从 9.82 毫米降至 7.72 毫米，降低 21.4%；EgoDex 上从 17.22 毫米降至 7.29 毫米，降低 57.7%。把手放到世界坐标系后，InfiniHand 在 ARCTIC、HOT3D 和 EgoDex 上均取得所比较方法中最低的全局关节位置误差 W-MPJPE，其中 EgoDex 上相较 Dyn-HaMR 从 78.41 毫米降至 28.77 毫米，降低 63.3%。
这些数字的边界同样清楚：它们全部来自论文自报，尚无第三方独立复现或验证；11.19FPS 与 HaWoR 的 2.04 倍关系也基于论文自报比较，缺乏独立基准测试。此外，论文展示的 Ego4D 自然场景样例中，InfiniHand 使用了外接手部定位，与完整系统设置不同，因此该样例不能直接等同于完整系统的泛化表现。
输出形式决定了它能被谁使用
模型输出采用 MANO 参数化手模型，用一组参数描述关节姿态、手形与朝向；辅助二维关键点预测还会约束三维结果在图像中的投影，使恢复出的手与可见位置相符。模型随后结合相机轨迹，将各帧手部结果转换到同一个世界坐标系，得到能够跨帧比较的动作轨迹。
这意味着整条路径依赖 MANO 这一参数化表示，也依赖训练数据中相机轨迹监督的可得性。论文提到，有相机轨迹的序列才额外保留世界坐标系监督，这暗示数据条件本身会限制哪些序列能参与第二阶段训练。
从重建到具身示范，中间还差几步
论文的落点是把人类操作视频变成可用的三维示范：这些三维动作经过质量筛查和机器人形态适配后，有望用于灵巧手数据增广、动作迁移与模仿学习，扩大具身训练可利用的人类示范来源。这属于论文提出的应用展望，尚无落地验证。
这条路径仍有待完善：系统需要额外模型恢复物理尺度，大幅运动与间歇遮挡依然困难，单目重建生成的监督也可能带入尺度漂移。更高质量、更多样的训练数据，被论文视为把可靠标注扩展到更复杂日常活动的方向。
论文已于 2026 年 9 月 28 日在 arXiv 发布预印本，并公开项目主页与代码仓库。作者单位包括上海人工智能实验室、上海交通大学、中国科学技术大学、利物浦大学、南洋理工大学、香港大学和浙江大学。是否经过同行评审尚不明确。
可信度边界
本文所有事实与数字均来自单一来源（量子位对论文的报道，article_id 22562），该来源为二手转述，其性能数字与结论缺少第一方独立佐证。11.19FPS、2.04 倍、PA-p 与 W-MPJPE 的各项降幅、四个数据集的场景数量，均按 source_claim 处理，未经第三方复现。约 5000 小时数据、9 个数据集、30% 至 40% 清洗移除比例、两阶段训练、MANO 输出、流式记忆与稀疏束调整等，按来源陈述处理为已确认的方法描述，但其效果仍以论文自报为准。论文预印本发布于 2026 年 9 月 28 日，同行评审状态不明。
核心结论
InfiniHand 的价值主张不在于某一项指标，而在于把“手在哪里”和“手指怎么动”放进同一个流式模型，并用约 5000 小时、经 30% 至 40% 清洗的数据支撑两阶段训练。但它的速度与精度优势目前全部是论文自报，物理尺度、大幅运动与遮挡仍未解决——在第三方复现出现之前，它更适合被看作一条有前景的路径，而不是一个已经验证的结论。
主报道
量子位
主报道来源