Meta 公布机器人触觉感知能力研究成果:利用手指传感器结合“AI 大脑”理解 / 操作外界物体

Meta 发布新闻稿,介绍了旗下 FAIR(基础人工智能研究)团队对于机器人触觉感知能力的研究情况,这项研究旨在让机器人通过触觉方式进一步理解和操作外界物体。 Meta 表示,打造相应 AI 机器人的核心在于让机器人的传感器感知理解物理世界,同时利用“AI 大脑”精确控制机器人对物理世界进行反应,而团队目前开发的机器人触觉感知能力主要就是为了让机器人检测其交互的物体的材质与触感,以便于让 AI 判断机器人应当如何操作这些设备(例如拿起鸡蛋等场景)。 ▲ 图源 Meta (下同)AI在线参考 Meta 公布的文献获悉,Meta 目前一共公布了 Meta Sparsh、Digit 360 和 Meta Digit Plexus 等多项研究成果,其中 Meta Sparsh 是一种基于 AI 的触觉编码器,主要利用 AI 的自我监督学习能力实现跨场景的触觉感知,让机器人的 AI 大脑在学习对于某种物体的“触感”后,即可在各种场景灵活“感知”相关物品的特性。

Meta 发布新闻稿,介绍了旗下 FAIR(基础人工智能研究)团队对于机器人触觉感知能力的研究情况,这项研究旨在让机器人通过触觉方式进一步理解和操作外界物体

Meta 表示,打造相应 AI 机器人的核心在于让机器人的传感器感知理解物理世界,同时利用“AI 大脑”精确控制机器人对物理世界进行反应,而团队目前开发的机器人触觉感知能力主要就是为了让机器人检测其交互的物体的材质与触感,以便于让 AI 判断机器人应当如何操作这些设备(例如拿起鸡蛋等场景)。

Meta 公布机器人触觉感知能力研究成果:利用手指传感器结合“AI 大脑”理解 / 操作外界物体

▲ 图源 Meta (下同)

AI在线参考 Meta 公布的文献获悉,Meta 目前一共公布了 Meta Sparsh、Digit 360 和 Meta Digit Plexus 等多项研究成果,其中 Meta Sparsh 是一种基于 AI 的触觉编码器,主要利用 AI 的自我监督学习能力实现跨场景的触觉感知,让机器人的 AI 大脑在学习对于某种物体的“触感”后,即可在各种场景灵活“感知”相关物品的特性。

而 Digit 360 则是一种高精度传感器,该传感器主要部署在机器人手指上,号称具备多模态感知能力,能够捕捉细微的触觉变化。Meta 声称,该传感器可以模拟人类的触觉,支持振动、温度等多重感知能力。

Meta 公布机器人触觉感知能力研究成果:利用手指传感器结合“AI 大脑”理解 / 操作外界物体

Meta 公布机器人触觉感知能力研究成果:利用手指传感器结合“AI 大脑”理解 / 操作外界物体

Meta Digit Plexus 则是一个开放性的平台,号称能够整合多种传感器,使机器人能够更全面地通过传感器感知周围环境,并通过统一标准实时对接 AI 大脑进行反应。

此外, Meta 还开发了 PARTNR 基准,这是一项用于评估人机协作能力的测试框架,旨在测试机器人 AI 系统在实际生活场景中的计划和推理能力,该测试框架内置 10 万个自然语言任务,能够模拟居家环境中的各种情境,帮助开发者测试机器人对于自然语言的理解能力及执行能力。

Meta 现已对外公开这些技术和数据供研究者使用,包括论文、开源代码和模型等,鼓励更多研究社区参与触觉技术的创新研究,AI在线附相关项目地址如下(点此访问)。

相关资讯

型号齐全,智元发布全系列灵巧手,挑战高自由度

8月18日智元年度新品发布会上,智元机器人发布了19自由度(12主动)视触觉灵巧手,至此智元机器人已经形成全系列灵巧手产品,包含12自由度五指灵巧手、6自由度五指灵巧手、二指夹爪、OmniPicker。下面我们来回顾一下这一系列产品。1. 视触觉五指灵巧手,挑战高自由度高自由度五指灵巧手始终是学术界和工业界的关注焦点,结构和功能上与人手相仿,为通用任务而生。智元机器人此次发布的视触觉灵巧手包含19个自由度,其中主动自由度12个,集成基于MEMS原理的触觉感知和视触觉感知技术,升级后的灵巧手在物体操作和感知上都展现出

将执行器「缝」进衣袖,斯坦福无接触设备,远程传递触摸信息

通过这个特制的「袖子」,我们可以进行隔空社交接触,传达喜怒哀乐。

帕西尼发布第二代多维触觉人形机器人 TORA-ONE:双手集成近 2000 个自研 ITPU 传感单元

2024 世界机器人大会于 8 月 21 日在北京开幕,帕西尼感知科技发布了第二代人形机器人 TORA-ONE。第二代多维触觉人形机器人 TORA-ONE 双手集成近 2000 个自研的 ITPU 多维触觉传感单元,能捕捉并解析接触面上细微形变与多维度触感信息;本体自由度提升至 47 个,搭配 26 自由度的仿生灵巧手,支持自研的 VTLA-Model 视触觉多模态感知模型与 AI 视觉系统。▲ 第二代多维触觉人形机器人 TORA-ONEAI在线注意到,TORA-ONE 采用了高度模块化的设计理念,支持 1.46