斯坦福开源的机器人厨子,今天又接手了所有家务

机器人忙碌的一天。这年头,机器人真的要成精了,带回家后是个做家务的小能手。烹饪几道美食手到拈来,一会儿功夫速成大餐:滑蛋虾仁、蚝油生菜、干贝烧鸡,不知道的还以为是真人厨师做成的:备菜环节也是做的有模有样,只见它熟练的拿出一颗生菜切掉根部,然后轻轻的敲打鸡蛋放入碗中:打蛋环节还知道要把蛋壳丢到一边,看样子是个讲究的机器人,再也不怕吃煎蛋时意外吃到蛋壳的惊吓了:煎炒环节机器人进行不停地翻炒,以免糊锅:还不忘给蚝油生菜注入灵魂蒜末。这次咱不用菜刀拍蒜,普通的水果刀也能切出蒜泥来,可见刀功了得:最后将做好的酱汁淋到生菜上,

机器人忙碌的一天。

这年头,机器人真的要成精了,带回家后是个做家务的小能手。

烹饪几道美食手到拈来,一会儿功夫速成大餐:滑蛋虾仁、蚝油生菜、干贝烧鸡,不知道的还以为是真人厨师做成的:

斯坦福开源的机器人厨子,今天又接手了所有家务

备菜环节也是做的有模有样,只见它熟练的拿出一颗生菜切掉根部,然后轻轻的敲打鸡蛋放入碗中:

图片

打蛋环节还知道要把蛋壳丢到一边,看样子是个讲究的机器人,再也不怕吃煎蛋时意外吃到蛋壳的惊吓了:

图片

煎炒环节机器人进行不停地翻炒,以免糊锅:

图片

还不忘给蚝油生菜注入灵魂蒜末。这次咱不用菜刀拍蒜,普通的水果刀也能切出蒜泥来,可见刀功了得:

图片

最后将做好的酱汁淋到生菜上,一道色香味俱全的家常菜就完美出盘:

图片

你以为机器人会做美食就已经是它的极限了,你不知道的是,它打扫起房间来也是一把好手。

早晨起来给阳台的绿植浇浇水,即使出差在外,也不怕花花草草们「渴死」:

图片

眼里时刻有活儿,地板脏了就拖拖地:

图片

用胶囊咖啡机冲泡一杯咖啡,让你用百分百精力开始今天的工作:

图片

帮男生刮胡子,如果力道拿捏不准,这活还真不敢交给机器人:

图片

猫主子也不再孤单,家里又多一位「铲屎官」陪它玩耍:

图片

衣服脏了,还会帮你洗衣服,打开、拧好洗衣液盖子都是凭自己的本事完成的:

图片

就连套枕套这样的技术活,也难不倒它:

图片

将洗好的衣服进行悬挂,机器人能精准地找到拉链,把拉链扣扣在一起,帮你拉好衣服,然后悬挂起来:

图片

当众给大家表演一个如何开瓶盖:

图片

睡觉时间帮你掖好被子,熄灯晚安。机器人的一天总算是结束了。

图片

Mobile ALOHA 会的还很多,没看够?点击下方视频,观看更多它的神操作。斯坦福开源的机器人厨子,今天又接手了所有家务斯坦福开源的机器人厨子,今天又接手了所有家务

看到这,真的不敢相信这是机器人可以做到的,妥妥一个全职管家。

这款机器人的名字叫 Mobile ALOHA,研究团队来自斯坦福,由三个人共同打造完成。

图片

其中,Zipeng Fu 为项目共同负责人,他是斯坦福大学 AI 实验室的计算机科学博士生,师从 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大学的计算机科学博士生,导师也是 Chelsea Finn。他们三个人共同完成了这项研究。

根据机器人的材料清单来看,这款机器人的总成本约为 32000 美元,折合人民币约 22 万,软件和硬件全部开源。

图片

材料清单

研究介绍

在机器人技术领域,从人类示范中进行的模仿学习已经取得了令人瞩目的成绩。然而,大多数成果都集中在桌面操作上,缺乏完成一般任务的移动性和灵活性。那这位价值 32000 美元(约 22 万元)的私人管家兼「御用」大厨是怎么完成这些灵活且细致的工作的呢?我们一起看看隐藏在它背后的技术细节。

在这项工作中,研究者开发了一套系统,用于模仿需要全身控制的双臂移动操作任务。用于数据收集的全身远程操纵系统是移动 ALOHA。它通过一个移动底座和一个全身远程操作界面增强了 ALOHA 系统。利用 Mobile ALOHA 收集的数据,该研究进行了有监督的行为克隆,并发现与现有静态 ALOHA 数据集进行联合训练可提高移动操作任务的性能。

图片

通过对每个任务进行 50 次演示,联合训练可将成功率提高 90%,从而使 Mobile ALOHA 能够自主完成复杂的移动操作任务,例如炒虾、打开双门壁柜存放沉重的烹饪锅、呼叫并进入电梯以及使用厨房水龙头轻轻冲洗用过的平底锅。

图片

论文地址:https://mobile-aloha.github.io/resources/mobile-aloha.pdf

项目地址:https://mobile-aloha.github.io/

技术文档:https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

Mobile ALOHA 硬件

Mobile ALOHA 是一种低成本的移动机械手,可以执行各种家庭任务。Mobile ALOHA 继承了原始 ALOHA 系统的优点,即低成本、灵巧、可维修的双臂远程操作装置,同时将其功能扩展到桌面操作之外。研究者在研究过程中重点考虑了四个关键因素

1. 移动性:移动速度与人类行走速度相当,约为 1.42 米 / 秒。

2. 稳定性:在操作重型家用物品时它能保持稳定,如锅和橱柜。

3. 全身遥控操作:所有自由度均可同时进行遥控操作,包括双臂和移动底座。

4. 无绳:具有机载电源和计算设备

图片

图 2(左)展示了研究者发现将操作员的腰部与移动底座系在一起的设计是最简单直接的解决方案。

图 2(中)中的数据表明,机械手相对于地面的垂直高度为 65 厘米至 200 厘米,可伸出底座 100 厘米,可举起 1.5 千克重的物体,并可在 1.5 米高处施加 100 牛的拉力。这样的设计让 Mobile ALOHA 可以完成很多任务,包括实物烹饪、家务管理、人机互动等。

图 2(右)中列出了 Mobile ALOHA 的更多技术规格。除了现成的机器人外,研究者还开源了所有的软件和硬件部件,并提供了详细的教程,包括三维打印、组装和软件安装。我们可以在项目页面找到这些信息。

图片

利用静态 ALOHA 数据进行联合训练 

研究者在这项工作中使用联合训练 pipeline,利用现有的静态 ALOHA 数据集来提高移动操作的模仿学习性能,尤其是双臂动作。静态 ALOHA 数据集总共有 825 个示范动作,任务包括密封密封袋、拿起叉子、包装糖果、撕纸巾、打开带盖塑料瓶、玩乒乓球、分发胶带、使用咖啡机、交接铅笔和操作螺丝刀等。

需要注意的是,静态 ALOHA 数据都是在黑色桌面上收集的,两只手臂固定朝向对方。这种设置与移动 ALOHA 不同,移动 ALOHA 的背景会随着移动底座的变化而变化,两臂平行朝前放置。在联合训练中,研究者没有对静态 ALOHA 数据中的 RGB 观察结果或双臂动作使用任何特殊的数据处理技术。

任务

研究者选择了 7 个任务,它们涵盖了现实应用中可能出现的各种功能、对象和交互。图 3 举例说明了这些任务,它们分别是擦拭葡萄酒、煮虾、冲洗锅、使用橱柜、呼叫电梯、推椅子和击掌。

图片实验

实验的目的是回答两个核心问题:

(1)Mobile ALOHA 能否通过协同训练和少量的移动操控数据获得复杂的移动操控技能?

(2)Mobile ALOHA 是否可以与不同类型的模仿学习一起使用,包括 ACT、Diffusion Policy 和基于检索的 VINN 。

表 1 为协同训练提高 ACT 的结果。在协同训练的帮助下,机器人擦酒成功率 95%、呼叫电梯成功率 95%、冲洗盘子成功率为 80% 等。

图片

协同训练提高了机器人在 7 项任务中 5 项的性能提升,分别提高了 45%、20%、80%、95% 和 80%。对于其余两项任务,协同训练和不进行协同训练的成功率相当。该研究发现协同训练对于精确操作是瓶颈的子任务更有帮助,例如按下按钮、翻转虾和打开水龙头。

图片

在表 2 报告了 Mobile ALOHA 在 2 个现实任务(擦酒和推椅)上的协同训练和无协同训练的成功率。

更多详细技术细节,请参阅原文。

相关资讯

翻车,才是斯坦福炒菜机器人学习人类的常态

Mobile ALOHA 也有翻车时刻。电视剧中角色的惊艳亮相不一定能打动你的心,但斯坦福全职管家兼御用大厨一定能拿下你对机器人的期待。你还记得斯坦福 Mobile ALOHA 的神操作吗?备菜、翻炒、出锅,洗衣、逗猫、浇花它是样样精通。不过它也并非一直如此优秀。人有失足,马有失蹄,ALOHA 也有翻车时刻。我们一起品鉴一下 ALOHA 的「报错」操作。原本是为了擦酒杯下的酒渍,或许是怕观众老爷看不出,只能多洒出来一点来引起注意。每个物品都是独立的个体,锅、油、虾、碟都将有属于自己的归宿。抓走物品旁边的空气,四舍五

斯坦福最强家务机器人ALOHA 2来了,成本不到20万,联手谷歌DeepMind,完全开源

可以想象,不断进化的双臂机器人未来将最大程度地「解放」人的双手。2023 年,斯坦福大学等机构推出了一个用于双机械手远程操作的低成本开源硬件系统 ALOHA,它可以远程操作并完成组装链条、托举乒乓球等复杂、丰富的任务。今年 1 月,谷歌 DeepMind 与斯坦福又联合推出了 Mobile ALOHA,同样可以进行远程操作并模仿双手操作,通过移动底座在大的空间范围内实现远程操作。这样一来,备菜、翻炒、出锅,洗衣、逗猫、浇花它是样样精通,名副其实的家务机器人火出了圈。今天,谷歌 DeepMind 联合斯坦福推出了 A

从ALOHA迈向Humanplus,斯坦福开源人形机器人,「高配版人类」上线

人形机器人的「Hello World」。说起前段时间斯坦福开源的 Mobile ALOHA 全能家务机器人,大家肯定印象深刻,ALOHA 做起家务活来那是有模有样:滑蛋虾仁、蚝油生菜、干贝烧鸡,一会儿功夫速成大餐:研究团队来自斯坦福,由三个人共同打造完成。Zipeng Fu 为项目共同负责人,他是斯坦福大学 AI 实验室的计算机科学博士生,师从 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大学的计算机科学博士生,导师也是 Chelsea Finn。现在,继 ALOHA 之后,Zipeng F