机器之能报道
编辑:Sia
三个技巧关键词:大语言模型、 Sim2Real 和 NeRF 技巧,然后“零打碎敲”。
视频链接:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
“潜水”两年后,以色列人形机器人公司 Meetee Robotics 发布了首款双足人形机器人 MenteeBot 原型视频。MenteeBot 身高 1.7 米,体重约 70 公斤,展示了端到端完毕工作的能力——走到厨房将水果放到盒子里,然后将盒子放到指定位置。整个流程,导航、运动、场景明白、物体检测、抓取和自然语言明白,零打碎敲。
视频链接:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
值得注意的是,视频中的 MenteeBot 并不是通过一个命令来完毕该工作的。人类首先告诉它去厨房,等机器人到了厨房后,再向它发出收拾水果的指令。机器人能否一次性完毕同样的工作还有待观察。不过,Mentee Robotics 也指出,这还不是准备部署的最终版本。
Meetee Robotics 是一家颇有来头的初创公司,核心创始人 Amnon Shashua 是耶路撒冷希伯来大学的计算机科学教授 ,也是全球最大高级驾驶辅助系统( ADAS )供应商 Mobileye 的创始人。Mobileye 曾是特斯拉的核心供应商,2017 年被英伟达以 153 亿美元收购。后来,英特尔又以 167 亿美元的价格将其送到纳斯达克。
Amnon Shashua 现在仍是 Mobileye CEO ,也是好几家知名 AI 公司创始人之一。其中,AI21Labs 作为最早将生成式 AI 带给大众的公司之一,也被视为 OpenAI 的强劲对手。
这位教授的头衔可真多啊…….几乎都站在了技巧前沿上
基于这位核心创始人的经历,几乎可以预判 Mentee Robotics 核心技巧至少覆盖两个重要领域。一个是生成 AI,当下最令人兴奋的 AI 研究优势就是大语言模型和机器人的结合,他也创建了一家生成式 AI 公司。另一个肯定与计算机视觉有关(想想自动驾驶),MenteeBot 可能仅使用基于视觉的摄像头来感知周围世界。
事实上,也正如 demo 所展示的,由于集成了大型语言模型,MenteeBot 能明白自然语言命令,执行工作,就像一个可以听懂你的话,完毕工作的小助理。接下来,由于三维重建技巧神经辐射场( neural radiance fields,NeRF )已成为自动驾驶必不可少的关键技巧之一,MenteeBot 也毫无悬念地采用了这一技巧。有了 NeRF ,机器人就像获得了 “3D 视觉” 能力,在接收到人类命令后,接着像人一样实时感知和明白周围环境,并定位自身,同时规划动态路径以避开障碍物。最后,机器人使用模拟器到现实 ( Sim2Real ) 机器学习方法,将模拟环境下规划的运动通过步态和手部运动应用到现实世界中,走向目的地、完毕抓取工作。
Amnon Shashua 表示,机器人的每个层面都集成了 AI。将这些技巧无缝集成,MenteeBot 就能够执行完整的工作流程——从明白人类的指令,到感知和分析环境,再到规划和执行工作,零打碎敲。
从官方公布的另外两个视频来看,你会发现,心灵手巧是 MenteeBot 另一个特点(如下)。据说,工程团队还开发了专有电机来增加机器人的灵活性。视频中,机器人可以握住并将不同家用物品递给人而不损坏它们,可见手部非常灵活,动作也精准,适合做一些精细的家务活儿。
视频链接:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
在下面这个搬运重物的视频中,Mentee Robotics 展示了类似人类的平衡能力和控制力,在搬运重物时会自动调整步态保持平衡,比如侧身行走或者弯曲关节部分。
视频链接:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
两年前,Amnon Shashua 等人创立了 Mentee Robotics。公司在新闻稿中称,“我们正处于计算机视觉、自然语言明白、强大而详细的模拟器,以及从模拟到现实世界方法走向融合的风口浪尖。” 这种融合也构成了打造通用双足机器人的起点,它可以自由在人类环境中行动,做家务,从模仿中快速学习。
除了 Shashua,创始团队还包括 CEO Lior Wolf (也是前 Facebook AI 研究总监)以及 CTO Shai Shalev-Shwartz,他也是以色列耶路撒冷希伯来大学教授、现任 Mobileye CTO。到目前为止,该团队已经帮助该公司筹集了 1700 万美元。
Mentee Robotics 联合创始人,包括 CEO Lior Wolf(左);董事长 Amnon Shashua(中)以及首席科学家 Shai Shalev-Shwartz(右)
Mentee Robotics 也在下一盘很大的棋,他们的人形机器人产品将分为两个版本。一个准备进入千家万户,操持家务,能透过自然语言和视觉能力,快速学习新技能。另一个仍然面向工业场景,比如物流仓库。MenteeBot 最多可承载 50 斤左右重的负荷,一次充电可运行长达 5 小时。Mentee Robotics 计划在 2025 年第一季度推出一款可量产的原型。虽然价格成谜,但据说还是“负担得起”。
参考链接
https://www.menteebot.com/