机器之能报道
编辑：Sia
又一个加速家用机器人“ ChatGPT ”时刻到来的玩家，出现了。
这家机器人首创一直笼罩在神秘之中，直到 Meta 首席 AI 科学家 Yann LeCun 在社交平台上转发它的招聘消息，并公布创始人之一是他在纽约大学的同事 Lerrel Pinto 。
目前，网络上关于这家名叫 Fauna Robotics 的机器人公司的消息几乎为零，甚至找不到公司官网， X 平台官方账户也仅有一句简单介绍，他们 “正在创造一个人类与机器人物种群落共生、协作与共同繁荣的世界。” 不过，我们还是可以从 “ Fauna ”这个词以及关键人物之一 Lerrel Pinto 的背景资料中窥得这家公司的一些线索。
迄今为止，Roomba 和其他机器人吸尘器是唯一真正成功的商业家用机器人。它们之所以如此成功是因为不需要与人类和其所在的环境交互——事实上，它们只要学会避开它们就可以了。Fauna 意思是动物志，看来这家首创希望描述、记录新机器人物种群落的历史，也就是能在不同家庭环境中执行日常家务，与人类共同生活的机器人。这和特斯拉擎天柱、Figure AI 、Digit 到 1 X 等一众人形机器人公司的野心并无二致，大家都在加速家用机器人“ ChatGPT ”时刻到来。
另外，从公司创始人之一 Lerrel Pinto 研究背景来看，这家公司的宗旨也应该与通用的家用机器人有关。Lerrel Pinto 今年 31 岁， CMU 机器人研究所博士，一直从事着让机器人适应人类生活世界的研究，曾入选《麻省理工学院技术评论》2023 年 35 岁以下创新者之一。目前，Lerrel Pinto 在纽约大学 Courant 计算机系担任助理教授，也是纽约大学计算智能、视觉和机器人实验室（ CILVR，由 Yann LeCun 创建）成员。
Linkedin 资料显示，Lerrel Pinto 在一个月前（也就是 2 月）入职 Fauna（这也可能是公司的成立时间）。巧合的是，1 月份，纽约大学与 Meta 联合发布了一个新型开放知识型机器人框架 OK-Robot。这是一种新的通用机器人，集成了大型语言模型（ LLMs ）、视觉语言模型（ VLM ）与机器人，能够在真正的家庭环境中完成拾取、移动和放下物体的恣意，无需任何额外培训（这些训练通常耗时又昂贵）。
你只需要对这个机器人说，把桌子上的玉米片拿到床头柜上，机器人就能自己找到玉米片，并规划出路线和相应的动作，顺利完成恣意。除此之外，它还能帮你整理东西或扔垃圾。
10 个真正家庭环境中的运行测试结果表明，OK-Robot 拾取和放置恣意的成功率达到 58.5%，如果家庭环境比较干净整洁，成功率可以提升到 82%。
在纽约市的 10 个家庭环境中，OK-Robot 尝试了 171 个拾取恣意。
视频链接：https://mp.weixin.qq.com/s/Zn6-Fct-m8aH_Fd3GC6ZnA
要让机器人在一个完全陌生的环境中从事日常家务，一个巨大挑战就是训练它们需要大量数据，我们可以从互联网上抓取海量数据训练 LLMs，但机器人很难做到这点——训练机器人的数据需要收集真正物理世界的数据，这也导致构建和扩展训练数据集更加困难。
Pinto 和团队想出了一种简单、易于复制的方法来扩大机器人的训练数据集 —— 将苹果手机和常见的垃圾拾取器接起来，用户就能用它来录制自己抓取家中各种物品的视频， iPhone 内置硬件（比如激光雷达、运动传感器和陀螺仪）会记录视频里恣意的重要数据，比如运动、深度和旋转等——对于训练机器人自行复制动作而言，这些数据非常重要。积累一定时长的数据后，它们会被用来与高效的学习算法相结合，训练模型，教会机器人如何完成家务 。
除了 OK-Robot，Pinto 和团队还开源过 Dobb-E ——也是使用从真正家庭收集的数据训练模型，机器人学会了打开空气炸锅、关门或拉直坐垫等家务。10 个纽约家庭中的 30 天测试结果发现，机器人完成了 109 项家务恣意，总体成功率为 81% ，掌握新技能仅需 20 分钟。
除了 Lerrel Pinto ， Fauna Robotics 另一位创始人是 Rob Cpchran。Linkedin 资料显示，他是两天前入职公司，也是公司 CEO 。不过，一个月前就有消息披露这位前高盛董事总经理在高盛工作三年半后悄然离开，并创办了自己的机器人公司。
加入高盛之前，Cochran 大部分职业生涯都在“互联网大厂”（ FAANG ）度过。在加入神经接口首创公司 CTRL-Labs 之前，他曾在亚马逊云做了三年产品经理。进入 CTRL-Labs后，他迅速从高级产品经理晋升为产品管理主管。2019年，CTRL-Labs 被 Facebook 收购，Cochran 继续在 Facebook 工作了八个月，然后去了高盛。Rob Cochran 曾是高盛工程部门的首席产品官。
Lerrel Pinto 之前接受媒体采访时曾说过，希望看到家庭中的机器人不仅可以做吸尘工作，还可以成为我们生活中更不可或缺的一部分，比如做家务、照顾老人等，在我们需要它的时候可以随时出现。他也希望有一天不必向机器人展示更多的例子，它就能学会新恣意。
在一些机器人学者看来，Pinto 和团队的研究成果表明，家庭机器人的未来真的来了。这不再只是一些疯狂的梦想。“我们看到了一场机器学习革命，它让现在新创建的模型不仅在实验室中有效，而且在开放世界中也很好用。看到它们在真正的物理环境中确实有效，这是非常有用的信息。” 谷歌 DeepMind 高级计算机视觉研究科学家 Matthias Minderer 认为。
Pinto 希望加速机器人大型语言时刻的到来，帮助开启一个全新的 AI 时代。“一旦人们开始相信家用机器人是可能的，这个领域就会迎来有更多的成果。”
“有一种观点认为，行动是促使人类拥有大脑的原因。”他说，“进化首先是为了让我们生存下来，去寻找食物。”但他认为，“智能的终极目标是行动并改世界，我认为唯一能做到这一点的是物理生物，比如机器人。”
参考链接
https://www.mittrchina.com/news/detail/12945
https://www.linkedin.com/feed/update/urn:li:activity:7169399534568087553/
https://www.lerrelpinto.com/
https://www.technologyreview.com/2023/12/14/1085231/new-system-teach-robot-household-task/
https://www.efinancialcareers.com/news/goldman-sachs-technology-md-resigns-for-mysterious-robotics-venture