新智元报道

【新智元导读】摒弃传统检测思路，全球直接从视频世界模型中「读取」手部姿态：在三大基准测试中刷新SOTA，首创视频手个世界让百万小时野生视频首次转化为机器人操作教材。看眼

机器人领域长期存在一个棘手难题，出双困扰业界数年：手部动捕。全球

并非技术不可行，首创视频手个世界而是看眼一旦进入真实场景便频频失效——当你端碗、拧瓶盖或从口袋掏手机时，出双手部一旦遮挡，全球最先进的首创视频手个世界检测器即刻失效，后续的看眼姿态重建随之崩溃。

全球顶尖团队为此叠加检测器、出双时序模块、全球运动先验及测试时优化……补丁层层叠加，首创视频手个世界仍无法克服遮挡瓶颈。看眼

我们另辟蹊径，重新定义视频生成模型的应用方式，一举攻克此难题。

近日，大晓机器人联合南洋理工大学与上海交通大学发布 ACE-ViDiHand—— 全球首个基于视频生成模型的4D手部动捕方法。

在 ARCTIC、HOT3D、HOI4D 三大权威基准上，ACE-ViDiHand 在 ARCTIC 和 HOT3D 的全部九项指标中位列第一，在 HOI4D 的九项指标中斩获八项第一。

最引人注目的数据：在严重遮挡场景下，ACE-ViDiHand 的帧准确率高达 0.997，而此前最强模型 WiLoR 仅为 0.919。

这意味着什么？同样处理1000帧视频，WiLoR 丢失81帧，而 ACE-ViDiHand 仅丢失3帧——几乎实现“零丢失”。

这标志着大规模、高质量的人手视频自动标注，首次成为现实。

论文标题《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》中的“Surprising”一词，恰如其分地表达了作者对这一惊人效果的认可。该项目将于近期全面开源。

论文链接：https://arxiv.org/abs/2606.30308

项目主页：https://ACE-ViDiHand.github.io

同期研究 Vision Banana 已证实：将图像生成模型用于视觉理解，其效果优于专门训练的判别式模型——会画画的AI，天然具备认知能力。

ACE-ViDiHand 将这一逻辑从图像扩展至视频，从2D扩展至4D：会生成视频的AI，天然理解手部运动规律。

手部动捕为何如此艰难？

手部动捕不仅是技术难题，更是具身智能的命门。

手部运动是人类操作意图最直接的载体。

抓、放、倒、拧、叠——每个灵巧操作的任务意图、动作过程及物体状态变化，均蕴含在手部轨迹中。

机器人若要从人类视频中学习操作，手部轨迹便是最核心的监督信号。这份“教材”的质量，直接决定了机器人策略学习的上限。

然而，这也是最难自动提取的数据。核心痛点仅两个字：遮挡。

端碗吃饭，手被碗遮挡；拧瓶盖，手指重叠；掏手机，整只手消失。

人类一眼便能识破，机器却难以应对。

目前主流方案分为两条路径：

1. 图像路线（HaMeR、WiLoR、Hamba等）：依赖检测器先框选手部，再估算姿态。一旦手部遮挡，检测失效，姿态重建全盘崩溃。
2. 视频路线（OmniHands、Dyn-HaMR等）：依靠跨帧注意力机制和运动先验，从前后帧中推断缺失信息。但此类时序模块基于稀缺的手部标注数据训练，识别能力尚显不足，更无法有效“猜测”被遮挡部分。

此外，现有运动先验仅建模手部本身，与物体、场景完全脱节——当手伸入抽屉时，先验与现实即刻冲突。

两条路径均陷入死胡同。多年未解，并非缺乏努力，而是方向偏差——所有人都在“手”本身做文章，却无人尝试转换出发点。

会画手的AI，无需再教认手

这一逻辑符合直觉：视频生成模型每日浏览互联网海量视频，早已学会“脑补”被遮挡的手部——此前仅无人从“手部”角度挖掘这一潜力。

以 Wan2.1 等视频生成模型为例，要生成无破绽的视频，其内部必须解决三大核心问题：

• 时空一致性：前一帧手在此处，后一帧不能瞬移；
• 2D到3D的推导：合理处理手的透视与大小变化，即“理解”三维几何；
• 遮挡内容推理：手被杯子遮挡后再次出现，模型必须知晓中间过程手的位置与动作。

这三项能力，正是手部动捕领域多年求而不得的关键——一个13亿参数的视频大模型在海量互联网视频上自然涌现的“世界先验”。

因此，ACE-ViDiHand 的核心思路是：不从零教AI认手，而是将手部姿态估计重新定义为——从视频世界模型中“读取”表征。

打个比方：一位画了十年画的人，闭眼亦知手部姿态与运动。无需再教其认手，只需递上画笔，让其将脑中形象直接呈现。

ACE-ViDiHand 所做的，正是递上这支“笔”。

如何实现？两步走

具体流程分为两个阶段：先教模型“画手”，再从模型内部“读手”。

第一步：教模型“盯手”

在原始视频的每一帧上叠加半透明手部渲染层——包括手部完全遮挡的帧。

为实现叠加连贯且不穿帮，模型必须在内部持续维护每只手的3D状态，即便画面中不可见。

这迫使模型在遮挡状态下持续“追踪”手部，而非简单补全可见像素。

训练分两步进行：先在大规模 EgoDex 数据上进行关节骨架叠加打底，再切换至 MANO 网格叠加进行精细对齐。全程不损失基座模型对场景和物体的理解能力。

第二步：读取“手”

从 DiT 第15层（共30层的中点）、去噪至约70%时的特征中，利用双分支解码器直接提取手部姿态。

为何选择这一层？消融实验结果符合直觉：太浅层仍在关注像素，太深层已开始思考如何“绘制”，L15、τ≈0.7 恰好处于“理解最深”的甜蜜点。

两条分支各司其职：

• 全局分支：整合手部全局信息，输出关节姿态。因手指弯曲牵一发而动全身，需全局视角。
• 局部分支：逐关节定位，输出2D坐标。因“手指在画面何处”属局部问题。

两条分支交换信息后，深度通过回归计算，平面位移通过闭式求解，一步得出结果。

整条管线直接输入全帧视频——无需检测器、无需裁剪、无需运动补全、无需测试时优化，单次前向传播即可同时输出双手4D轨迹。

性能表现有多强劲？

三大基准测试恰好覆盖手部动捕最典型的三类极端场景：

1. ARCTIC：重度遮挡双手操作

双手操作铰接物体，手指、手掌与物体交织缠绕。

• 关节误差 PA-MPJPE-p：降至 9.8mm，优于8个基线中最好的11.9mm；
• 2D端点误差 EPE-p：仅 12.4像素，最佳基线为50.5像素——降幅达4倍；
• 手部召回率与F1：均达 99.9%，帧级准确率 99.7%，帧级错误率较最强基线下降超 96%——即使在严重遮挡下也几乎不丢失手部；
• 抖动：3.18，此前最平滑方法为12.8——低近4倍。且后者依赖外挂运动补全模块和SLAM优化硬磨，ACE-ViDiHand 天生稳定，零后处理。

2. HOT3D：鱼眼畸变 + 高动态光照

广角鱼眼镜头、忽明忽暗的光线、快速甩头甩手，每一项均为检测器的噩梦。

• F1（综合检测得分）：达到 0.983，全面第一；
• 3D关节误差 PA-MPJPE-p：较此前最佳结果降低 43%。

3. HOI4D：训练时完全未见的数据集

纯泛化测试，所有对比方法同样未在此数据集上训练，确保双向公平。

• 9项指标中拿下8项第一；
• 抖动：4.0，第二名 17.4——约为其四分之一；
• EPE-p：从第二名的 41.6像素降至 24.5像素。

这表明 ACE-ViDiHand 的优势并非来自“刷题”，而是底层表征足够强大，换场景依然能打。

总体而言，三个数据集上的轨迹抖动较此前最佳方法降低约 4.0至4.8倍。

这证明，视频世界模型从大规模视频中习得的时序一致性、遮挡推理能力、空间几何与手物交互的结构化知识，能为手部运动重建提供强大的表征支撑。

范式转移

从“专用补丁”到“继承世界模型”

机器人操作的最佳教材是海量第一视角人类视频，手部轨迹是最核心的监督信号。

但真实操作视频中，几乎每一帧的手都被遮挡——人类灵巧操作天然伴随遮挡。

业界甚至有人专门雇佣人员将设备绑于额头，按小时计费采集手部数据，以凑齐高质量标注。

ACE-ViDiHand 提供了一条全新路径：直接从视频中读取手部4D轨迹，不依赖检测器，无惧遮挡——大规模人手视频的自动标注，首次拥有可靠的技术底座。

当你能从百万小时互联网视频中稳定提取手部运动，将“野生视频”转化为可学习、可扩展的具身数据资产时，具身智能的数据飞轮，才算真正开始转动。

论文作者明确指出：这是4D手部重建的范式转移。

过去是补丁摞补丁——检测器不行换更好的，抖动大了加平滑模块，遮挡扛不住加运动补全。工程量越来越大，天花板却越来越低。

ACE-ViDiHand 反其道而行之：直接继承视频大模型已掌握的时序一致性、遮挡推理与空间几何能力。与其从零造轮子，不如站在巨人肩膀上。

从“看见手”到“理解手”，从“识别动作”到“读取运动”——当视频生成模型的内部表征从生成工具转变为可读取的感知基座，具身AI才真正拿到了可规模化的数据入口。

大晓开发者社群，开门了！

我们的开悟世界模型，不复刻世界，只锚定动作。

如果你也关注 Physical AI / 具身智能 / 世界模型，是时候，一起开悟了。