来自清华大学交叉信息研究院的研究者提出了「ViLa」（全称 Robotic Vision-Language Planning）算法，其能在非常复杂的情况中控制机器人，为机器人提供工作方案。
【关注机器之心视频号，第一时间看到有趣的AI内容】
GPT-4V 已经能帮我们设计网站代码，控制浏览器，这些应用集中在虚拟数字全国中。假如我们把 GPT-4V 带入现实全国，让它作为控制机器人的大脑，会有什么有趣的结果呢？
最近，来自清华大学交叉信息研究院的研究者提出「ViLa」算法，实现了让 GPT-4V 走进物理全国中，为机器人操作日常生活物品提供工作方案。
ViLa 全称是 Robotic Vision-Language Planning，它利用 GPT-4V 在视觉和说话两个模态上做联合推理的能力，把抽象的说话指令分解为一系列可实行的步骤。ViLa 最让人惊喜的是它展现出对物理全国中知识的懂得，而这是很多之前基于大说话模型（LLM）的机器人工作方案算法所欠缺的。
比如在下面这个视频中，研究人员让机器人拿出搁板上的漫威模型（钢铁侠）。ViLa 能懂得这个场景中物体的复杂空间位置关系，即纸杯和可乐罐挡住了钢铁侠，要拿出钢铁侠，则必须先拿走纸杯和可乐罐。
又比如在下面这个视频中，研究人员让机器人为上美术课的孩子们整理出一个桌面区域。ViLa 能根据这个场景中的剪纸，推断出现在上课所需的工具是剪刀，把其它危险物品，比如螺丝刀和水果刀放入收纳盒中。
可以看出，ViLa 具有像人类一样的知识，能在非常复杂的情况中控制机器人，为机器人提供工作方案。
论文地址：https://arxiv.org/pdf/2311.17842.pdf
论文主页：https://robot-vila.github.io/
论文视频：https://www.youtube.com/watch?v=t8pPZ46xtuc
接下来，该研究详细介绍了 ViLa 这项研究成果。
法子介绍
ViLa 使用了视觉说话大模型 (VLM) 来做机器人的工作方案。如今的 VLM 在图象和说话两个模态上都展现出前所未有的懂得和推理能力。将 VLM 应用到机器人工作中，它能基于当前情况的视觉观测，结合自己丰富的全国知识进行推理。作家团队提出了 ViLa 算法，主张直接使用视觉说话大模型（如 GPT-4V），将高级抽象指令分解为一系列低级可实行技能。
给定一条说话指令和当前的视觉观测图象，ViLa 利用 GPT-4V 通过链式思维推理来懂得情况场景，随后生成多步的计划。接着，这个计划的第一步由一个基本策略来实行。最后，已经实行的步骤被添加到已完成的计划中，使得在动态情况中实现闭环方案法子。
GPT-4V 由于经过大规模互联网数据的训练，展现出了卓越的多样性和极强的泛化能力。这些特性使得它特别擅长处理论文中提出的开放全国场景。此外，作家团队发现，即使是在零样本（Zero-Shot）学习模式下运行，由 GPT-4V 驱动的 ViLa 也能够解决多种具有挑战性的方案问题。这显著减少了之前法子中所需的提示工程。
尝试
ViLa 在现实全国和模拟情况中都展示了以零样本方式解决各种日常操作工作的能力，有效处理各种开放集指令和物体对象。作家团队通过大量尝试证明了 ViLa 的优势：1. ViLa 能深刻懂得视觉全国中的知识，2. ViLa 支持灵活的多模态方向指定法子，3. ViLa 自然地支持视觉反应和闭环控制。
A. ViLa 能深刻懂得视觉全国中的知识
说话和图象作为不同的信号类型，各具独特性质：说话由人类生成，富含语义，但在表达全面信息方面有限；相比之下，图象作为自然信号，包含细致的低层次特征，一张图象便能够捕捉场景的全部信息。在难以用说话简单概括的复杂场景下，这种差异尤为突出。通过将视觉图片直接结合到推理过程中，ViLa 可以懂得视觉全国的知识知识，擅长处理需要全面了解空间布局或物体属性的复杂工作。
空间布局
用简单的说话描述复杂的空间布局，尤其是物体定位、位置关系和情况限制，是非常困难的。通过直接将视觉融入推理过程，ViLa 可以精确地识别物体在场景中的位置，以及它们之间的关系。
在 “拿可乐罐” 工作中，ViLa 发现可乐罐不在视线中，于是聪明地打开了冰箱并找到了它。而基线法子则会在可乐罐不在视线中的情况下给出” 拿起可乐罐 “的错误指令。
在 “拿空盘子” 工作中，ViLa 知道在拿起蓝色盘子之前，需要先把它上面的苹果和香蕉移走。而基线法子则忽视了盘子上的物体，直接给出” 拿起蓝色盘子 “的错误指令。
物体属性
物体的定义涵盖多个属性，包括形状、颜色、材质、功能等。然而，自然说话的表达能力有限，因此在全面传达这些属性方面显得笨拙。此外，物体的属性与特定工作密切相关。以上原因使得过去的算法难以处理需要深入懂得复杂物体属性的场景。然而，得益于对视觉和说话的联合推理，ViLa 对于物体在特定场景中的属性有深入的懂得。
在 “准备美术课” 工作中，ViLa 认为螺丝刀和水果刀是危险物品，于是移走了它们；考虑到桌上的剪纸，ViLa 认为剪刀对美术课是必要的物品，于是留下了它。而基线法子则忽视了桌上的剪纸和美术课这一特定场景，认为剪刀也是危险物品，选择将其移走。
在 “挑选新鲜水果” 工作中，ViLa 可以精确地挑选出新鲜且完整的水果。而基线法子认为剥了一半的橘子和腐烂的香蕉都是完整且新鲜的水果。
作家团队在 8 个相关工作上进行了充分的定量尝试。如表一所示，ViLa 在懂得空间布局和物体属性工作上显著超过了基线法子。
B. 多模态方向指定
ViLa 支持灵活的多模态方向指定法子。ViLa 不仅能够利用说话指令，还能够利用多种形式的图象作为方向，甚至利用说话和图象的混合形式来定义方向。
视频中的四个工作分别表明：
ViLa 可以将真实图片作为方向。
ViLa 可以将抽象图片（如小孩的画，草稿等）作为方向。
ViLa 可以将说话和图象的混合形式作为方向。
ViLa 可以发现图片中手指指着的位置，并将其作为实际工作中的方向位置。
作家团队在这四个工作上进行了定量尝试。如表二所示，ViLa 在所有工作中均表现出了强大的识别多模态方向的能力。
C. 视觉反应
ViLa 以直观、自然的方式有效利用视觉反应，在动态情况中实现鲁棒的闭环方案。
在 “堆木块” 工作中，ViLa 检测出了实行基本技能时的失败，于是重新实行了一遍基本技能。
在 “放薯片” 工作中，ViLa 意识到了实行过程中人的干扰。
在 “找猫粮” 工作中，ViLa 可以不断地打开抽屉 / 柜子来寻找猫粮，直到找到。
此外，ViLa 可以完成需要人机交互的工作，等待人握住可乐罐之后才松开夹爪。
作家团队在这四个工作上进行了定量尝试。如表三中所示，通过自然地结合视觉反应，闭环控制的 ViLa 的表现显著强于开环控制。
D. 模拟情况尝试
在模拟情况中，ViLa 可以按照高级说话指令的指示，将桌子上的物体重新组织成特定的排列。
如表四中所示，ViLa 在模拟情况中的表现也显著超过了基线法子。
了解更多内容，请参考原论文。