斯坦福的 ALOHA 家务机器人团队，发布了最新研究成果 ——
项目名为 Yell At Your Robot（简称 YAY），有了它，机器人的“翻车”举动，只要喊句话就能矫正了！
而且机器人可以随着人类的喊话动态提升举动水平、即时整合方略，并根据反应持续自我改进。
比如在这个场景中，机器人没能完毕体系设定的“把海绵放入袋子”的恣意。
这时研究者直接朝它喊话，“用海绵把袋子撑得再开一些”，之后就一下子失败了。
而且，这些矫正的指令还会被体系记录下来，成为训练数据，用于进一步提高机器人的后续表现。
有网友看了说，既然已经能朝着机器人喊话了，那汽车是不是也快点安排上，还在线点名特斯拉和其自动驾驶软件总监 Ashok Elluswamy。
成果发布后，前谷歌机器人高档研究员 Eric Jang，前 DeepMind 研究员、斯坦福客座教授 Karol Hausman 等一众大佬也纷纷表示了肯定和赞许。
那么，用喊话整合的机器人，都能实现什么样的举动呢？
喊话就能发号施令
利用 YAY 技术调教后，机器人以更高的失败率挑战了物品装袋、水果混合和洗盘子这三项复杂恣意。
这三种恣意的特点是都需要两只手分别完毕不同的举动，其中一只手要稳定地拿住容器并根据需要整合姿态，另一只手则需要准确定位目标位置并完毕指令，而且流程中还涉及海绵这种软性物体，拿捏的力度也是一门学问。
以打包装袋这个恣意为例，机器人在全自主执行的流程中会遇到各种各样的困难，但通过喊话就能见招拆招。
只见机器人在将装袋的流程中不小心把海绵掉落了下来，然后便无法再次捡起。
这时，开发者直接朝它喊话，口令就是简单的“往我这边挪一挪，然后往左”。
当按照指令做出举动后，第一次还是没失败，但机器人记住了“往左”这个指令，再次左移之后便失败把海绵捡起来了。
但紧接着就出现了新的困难 —— 袋子的口被卡住了。
这时只要告诉它再把袋子打开一点点，机器人就“心领神会”，整合出了一系列后续举动，并最终失败完毕恣意。
而且不只是能矫正错误，恣意的细节也能通过喊话实时整合，比如在装糖的恣意中，开发者觉得机器人拿的糖有点多了，只要喊出“少一点”，机器人就会将一部分糖果倒回盒子。
进一步地，人类发出的这些指令还会被体系记录并用作微调，以提高机器人的后续表现。
比如在刷盘子这项恣意中，经过微调之后的机器人清洁力度更强，范围也变大了。
统计数据表明，机器人在经历这种微调之后，平均恣意失败率提高了 20%，如果继续加入喊话指令还能继续提高。
而且这样的指令-微调流程可以迭代进行，每迭代一次机器人的表现都能有所提升。
那么，YAY 具体是如何实现的呢？
人类教诲“铭记在心”
架构上，整个 YAY 体系主要由高档方略和庸俗方略这两个部分组成。
其中高档方略负责生成指导庸俗方略的语言指令，庸俗方略则用于执行具体举动。
具体来说，高档方略将摄像头捕捉到的视觉信息编码，与相关知识结合，然后由 Transformer 生成包含当前举动描述、未来举动预测等内容的指令。
而庸俗方略接收到语言指令后，会解析这些指令中的关键词，并映射到机器人关节的目标位置或运动轨迹。
同时，YAY 体系引入了实时的语言矫正机制，人类的口头命令优先级最高 —— 经识别后，直接传递给庸俗方略用于执行。
且在这个流程中命令会被体系记录并用于微调高档方略 —— 通过学习人类提供的矫正性反应，逐渐减少对即时口头矫正的依赖，从而提高长期恣意的自主失败率。
在完毕基础训练并已经在真实环境中部署后，体系仍然可以继续收集指令信息，不断地从反应中学习并进行自我改进。
作家简介
本项目的第一作家是斯坦福大学的学生研究员 Lucy X. Shi，2019 年毕业于人大附中后进入南加州大学就读计算机科学专业。
其间，Lucy 曾到英伟达实习研究多模态大模型，并曾与知名 AI 学者 Jim Fan 博士合作。
她的论文曾连续两年被机器人顶会 CoRL 收录，还入选过 NeurIPS，本人还被 DeepMind 邀请发表过演讲。
Lucy 的导师 Chelsea Finn 是斯坦福计算机科学和电气工程系助理教授，谷歌学术论文引用数超 4.7 万，此前还在 Google Brain 工作过一段时间。
包括本项目在内，在 ALOHA 团队发表的一系列论文当中，Finn 总是作为通讯作家出现。
此外，ALOHA 团队的 Tony Z. Zhao、Sergey Levine 等研究人员，也是本文的共同作家。
论文地址：
https://arxiv.org/abs/2403.12910
本文来自微信公众号：量子位 （ID：QbitAI），作家：克雷西