随着人工智能技术的快速发展，让机器理解并执行复杂的空间任务成为一个重要研究方向。
在复杂的 3D 结构组装中，理解和执行说明书是一个多层次的挑战：从高层的任务规划，到中层的视觉对应，再到底层的动作执行，每一步都需要精确的空间理解能力。
斯坦福 Vision Lab 最新推出的 IKEA Video Manuals 数据集，首次实现了组装指令在真实场景中的 4D 对齐，为研究这一复杂问题提供了重要基准。
论文地址：https://arxiv.org/pdf/2411.11409
项目主页：https://yunongliu1.github.io/ikea-video-manual/
开源代码：https://github.com/yunongLiu1/IKEA-Manuals-at-Work
合作者指出了这项工作在空间智能研究中的重要地位：「这项工作将组装规划从 2D 推进到 3D 空间，通过理解底层视觉细节（如部件如何连接），解决了空间智能研究中的一个主要瓶颈。这是首个全面评估模型在真实场景中对精细 3D 细节理解能力的基准。」
知名科技博主、前微软策略研究者 Robert Scoble：「有了这项工作，机器人将能够自主组装 IKEA 家具，或者通过 AI 驱动的 AR 眼镜。」
突破性的多模态对齐
组装一件 IKEA 家具需要理解多种形式的指令：说明书提供了任务的整体分解和关键步骤；视频展示了详细的组装过程；而 3D 模型则定义了部件之间的精确空间关系。
IKEA Video Manuals 首次将这三种模态进行了细粒度的对齐：
137 个手册步骤被根据安装视频细分为 1120 个具体子步骤，捕捉了完整的组装过程；
通过 6D Pose 追踪，精确记录每个部件的空间轨迹；
在视频帧、家具组装说明书和 3D 模型之间建立密集对应关系。
丰富的家具类型与场景
数据集涵盖了 6 大类 36 种 IKEA 家具，从简单的凳子到复杂的柜子，呈现了不同难度的组装任务。每种家具都包含完整的 3D 模型、组装说明书和实际组装视频。
这些视频来自 90 多个不同的环境，包括室内外场景、不同光照条件，真实反映了家具组装的多样性。
真实世界的复杂性
与在实验室环境下采集的数据相比，来自互联网的真实视频呈现了更丰富的挑战：
部件经常被手或其他物体遮挡
相似部件识别（想象一下四条一模一样的桌子腿！）
摄像机频繁移动、变焦，带来参数估计的困难
室内外场景、不同光照条件下的多样性
这些真实场景下的复杂性，让数据集更能反映实际应用中的难点。
有趣的是，研究团队发现 25% 的家具存在多种有效的组装顺序。比如 Laiva 架子就有 8 种不同的组装方式！这种多样性真实地反映了现实世界中组装任务的灵活性。
系统的标注流程
为了获得高质量的标注，应对真实视频带来的挑战，研究团队建立了一套可靠的标注系统：
识别并标注相机参数变化的关键帧，确保片段内的一致性
结合 2D-3D 对应点和 RANSAC 算法进行相机参数估计
通过多视角验证和时序约束保证标注质量
核心任务实验评估
基于 IKEA Video Manuals 数据集，团队设计了多个核心任务来评估当前 AI 系统在理解和执行家具组装，以及空间推理 (spatial reasoning) 方面的能力：
1. 在基于 3D 模型的分割（Segmentation）与姿态估计 (Pose Estimation)
输入 3D 模型和视频帧，要求 AI 完成两个任务：准确分割出特定部件区域，并估计其在视频中的 6 自由度姿态。实验测试了最新的分割模型 (CNOS, SAM-6D) 和姿态估计模型 (MegaPose)。
基于 3D 模型的分割
基于 3D 模型的姿态估计
分析发现它们在以下场景表现不佳：
– 遮挡问题：手部遮挡、近距离拍摄导致部分可见、遮挡引起的深度估计误差
– 特征缺失：缺乏纹理的部件难以分割、对称部件的方向难以判断
– 特殊拍摄角度（如俯视）导致的尺度误判
2. 视频目标分割 Mask Trackin
评估了 SAM2 和 Cutie 两个最新的视频追踪模型。与其他基准数据集相比，它们在 IKEA Video Manuals 数据集上表现显著下降：
SAM2: 从其他数据集的 85-90% 降至 73.6%
Cutie: 从 85-87% 降至 54.7%
主要挑战包括：
– 相机运动导致目标丢失
– 难以区分外观相似的部件（如多个相同的桌腿）
– 长时间追踪的准确度难以保持
3. 基于视频的形状组装
团队提出了一个创新的组装系统，包含关键帧检测、部件识别、姿态估计和迭代组装四个步骤。实验采用两种设置：
使用 GPT-4V 自动检测关键帧：结果不理想，Chamfer Distance 达 0.55，且 1/3 的测试视频未能完成组装，反映 GPT-4V 对组装关键时刻的识别能力有限；
使用人工标注的关键帧：即便如此，由于姿态估计模型的局限性，最终 Chamfer Distance 仍达 0.33
这些实验结果揭示了当前 AI 模型的两个关键局限：
1、视频理解能力不足：当前的视频模型对时序信息的分析仍然较弱，往往停留在单帧图像分析的层面
2、空间推理受限：在真实场景的复杂条件下（如光照变化、视角改变、部件遮挡等），现有模型的空间推理能力仍显不足
未来展望
IKEA Video Manuals 的推出，通过研究如何将组装指令对齐到真实场景，为空间智能研究提供了一个重要的评估基准。
想象一下，未来你戴上 AR 眼镜，就能看到 IKEA 家具的每个组装步骤被清晰地投影在眼前，系统还能实时提醒你是否安装正确；或者，机器人能够像人类一样，仅通过观看视频就学会组装复杂的家具。IKEA Video Manuals 的推出让这些设想离现实更近了一步。
通过提供真实场景下的多模态数据，这个数据集为空间智能研究提供了重要的评估基准。我们期待看到更多突破性的进展，让 AI 系统真正理解和执行复杂的空间任务。
作者介绍
第一作者刘雨浓，斯坦福大学计算机科学硕士生，隶属于斯坦福 SVL 实验室（Vision and Learning Lab），由吴佳俊教授指导。本科毕业于爱丁堡大学电子与计算机科学专业（荣誉学位）。曾在得克萨斯大学奥斯汀分校从事研究实习。目前正在寻找 2025 年秋季入学的博士机会。
吴佳俊，斯坦福大学助理教授，隶属于 SVL 和 SAIL 实验室。麻省理工博士，清华姚班本科。作为项目指导教授。
Juan Carlos Niebles，Salesforce AI Research 研究主任，斯坦福大学计算机科学系兼职教授，斯坦福视觉与学习实验室（SVL）联合主任。在计算机视觉和机器学习领域有杰出贡献，曾获多项重要奖项
刘蔚宇，斯坦福大学博士后研究员，在 CogAI 组和 SVL 实验室从事研究。专注于机器人感知、建模和交互领域，致力于开发能通过简单语言命令完成长期任务的机器人系统。作为项目共同指导。
李曼玲，西北大学计算机科学系助理教授，曾为斯坦福大学博士后，现为斯坦福访问学者。研究兴趣集中在语言、视觉、机器人及其社会影响等交叉领域，致力于开发可信且真实的多模态系统。
参考资料：
https://yunongliu1.github.io/ikea-video-manual/
本文来自微信公众号：微信公众号（ID：null），作者：新智元