「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

近期开源的 Deepseek V3,让国产 MoE 大模型在全球圈粉无数,一跃成为中国 AI 圈的顶流担当。 而作为中国具身智能的领军企业,智元也在2024年底放了个大招,携手上海人工智能实验室等单位重磅开源了AgiBot World,具身智能领域也迎来了「ImageNet」时刻! AgiBot World(智元世界)—— 一个汇集百万真实机器人数据的开源数据集。

近期开源的 Deepseek V3,让国产 MoE 大模型在全球圈粉无数,一跃成为中国 AI 圈的顶流担当。

而作为中国具身智能的领军企业,智元也在2024年底放了个大招,携手上海人工智能实验室等单位重磅开源了AgiBot World,具身智能领域也迎来了「ImageNet」时刻!

AgiBot World(智元世界)—— 一个汇集百万真实机器人数据的开源数据集。在这个具身数据的世界里,机器人不再只是进行简单的桌面任务,而是全方位融入我们的日常生活。机器人和人类和谐相处世界的大幕,正在徐徐拉开。

2024,哪个场景最符合你对未来机器人的想象?

作你的「家务管家」,洗衣、做饭都交给它?

还是化身「打工人」在超市拣货、收银、整理货架?

亦或是工厂里的「永动机」,搬运、打包,不断电不下班?

这些「科幻片」里的场景已经在路上了!

欢迎来到 AgiBot World,一个汇集百万真实机器人数据的开源数据集。具身应用,数据先行,作为具身领域的 ImageNet,智元世界有望成为引领我们进入具身智能新时代的「通关密码」,让机器人的世界更加真实,从此告别「NPC」人生!

  • 项目开源地址

HuggingFace:https://huggingface.co/agibot-world

Github:https://github.com/OpenDriveLab/agibot-world

  • 项目主页:https://agibot-world.com/

是的,你没看错,加持了 AgiBot World 的百万真机数据,机器人的控制已经如此精细。现在就能在你家客厅优雅地插花了。

整套动作行云流水,用金属制的机械手抓取,娇嫩的花材也完好无损。

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

刷马桶这事,等到机器人「出师」后也能放心交给他,再也不用全家抽签确定谁去刷了。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

具身智能领域的 ImageNet 何时到来?

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

                              Open X-Embodiment, ICRA 2024

谷歌 DeepMind 通过整合来自 22 种不同本体机器人的数据构建了 Open X-Embodiment数据集,但大部分数据缺乏统一标准化的采集流程且许多机器人构型已经过时数据质量格式参差不齐,在机器人策略学习的过程中甚至会带来副作用。

为实现规范化的数据采集,来自斯坦福、伯克利、谷歌等构建了 DROID 数据集,尽管涵盖了相对丰富的场景与技能,然而作者团队在后续研究中指出 DROID 存在大量低质量数据,从而给机器人的学习过程造成「困惑」。

一些具身大模型初创公司基于自采集的大规模高质量双臂机器人数据训练的模型展现出了整理、分拣、洗衣等执行复杂动作的能力,这进一步印证了高质量数据在当前具身智能领域研究阶段的重要性,但相关数据集目前仅在公司内部使用,并未开源。

AgiBot World

让高质量机器人数据触手可及

为了进一步推动通用具身智能领域研究进展,让高质量机器人数据触手可及,作为上海模塑申城语料普惠计划中的一份子,智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思,重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。

这一里程碑式的开源项目,旨在构建国际领先的开源技术底座,标志着具身智能领域 「ImageNet 时刻」已到来。

通过汇聚顶尖资源与技术力量,各方将共同推动具身智能发展新范式,加速人类迈向通用人工智能的新时代,在全球范围内奠定中国在这一前沿领域的领导地位。

AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。

相比于 Google 开源的 Open X-Embodiment 数据集,AgiBot World 的长程数据规模高出 10 倍,场景范围覆盖面扩大 100 倍,数据质量从实验室级上升到工业级标准。

多样任务,十八般武艺样样精通

  • 插内存条的过程需要毫米级精细控制,稍有不慎可能导致设备损坏,如神经纤维般灵敏的末端触觉传感器助力机器人精准对接。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

  • 饭后勺筷碗盘层层堆叠在洗碗池中,在这条数据中,机器人将杂乱的餐具一一准确无误地整理至洗碗机相应卡槽中,整理洗碗机的操作流程长、动作繁琐。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

  • 熨衣服是个「精细活儿」,只见机器人双手协作,一只手稳稳抓住衬衫的一角,另一只手精准控制挂烫机与衣物的距离,细致地熨烫每一道褶皱,让衣物焕发平整光泽。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

  • 对于大件物体搬运,单机器人难以完成。两个机器人分工协作,可以分担重量,也能实时调整位置与角度,以确保物体搬运过程中稳定安全。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

AgiBot World 数据集收录了八十余种日常生活中的多样化技能,从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互,几乎涵盖了日常生活所需的绝大多数动作需求。

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

全域场景,上得厅堂下得厨房

AgiBot World 诞生于智元自建的大规模数据采集工厂与应用实验基地,空间总面积超过 4000 平方米,包含 3000 多种真实物品,真实复刻了家居、餐饮、工业、商超和办公五大核心场景。

全面覆盖了机器人在生产、生活中的典型应用需求,为机器人提供了一个高度真实的生产生活环境。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

通过多场景的高度还原与任务设计,AgiBot World 为机器人研发和测试构建了实现具身智能的必要条件。

  • 家居场景再现真实住宅布局,包括卧室、客厅、厨房、卫生间等核心空间,可以实现家务清洁、物品整理和厨房任务等

  • 超市场景高度还原超市货架布局与收银区设计,包含生鲜、日用、冷冻等多个品类区域,可以模拟物品上架、货物盘点、顾客引导、无人结算等

  • 餐厅场景实现智能服务体验,模拟前厅、后厨与用餐区域,包括点餐台、备餐区、餐桌等,可以实现餐厅服务(点餐、上菜、清理餐桌)、食材传递、后厨协作等

  • 工业场景模拟分拣与物流自动化,复刻工业仓库与生产线,包括分拣系统、打包设备、传输带等,可以实现物料分拣、包装打包、物流搬运等

客厅、书房、餐厅、卫生间、厨房和工厂等都是机器人大显身手的舞台。

在客厅,它可以使用工具工具给地面来个全面大扫除,碎屑、灰尘和液体都「无处可逃」。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

电视机表面容易积灰,交给机器人吧!它可以精确控制掸子掸灰,或者用软布来清理桌面的污垢,同时避免划伤表面。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

厨房也可以交给机器人承包了。给它食材和配方,分分钟就能给你变出一盘精致沙拉,切菜、拌料、装盘全都会,也可以控制清洁工具对瓶内外进行刷洗。

瓶子脏了?碗要洗?躺平吧,这些都交给它们!「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

在超市,机器人可以精准控制扫码抢扫描、结算货物,还附赠装袋一条龙服务。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

在工厂,机器人在流水线上利用机械臂精准控制将物品放入指定的包装盒中,实现物品自动打包。「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

AgiBot World 包含超过 100 种真实场景,按家居(40%)、餐饮(20%)、工业(20%)、商超(10%)和办公(10%)进行分布。

此外,80% 的任务为长程任务,时长集中在 60s-150s 之间,且涵盖多个原子技能,是 DROID 和 OpenX-Embodiment 工作的 5 倍。该数据集包含了 3000 多种物品,基本涵盖了这五大场景,并且仍在不断扩展和丰富中。

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!                                场景和任务分布

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

                                各个场景物品分类

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

                               数据集时长分布

全能硬件,没有金刚钻难揽瓷器活「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

  • 360° 感知:8 个摄像头环绕式布局,能够实时全方位感知周围环境的动态变化。

  • 灵巧操作:可配备具有 6 个主动自由度的灵巧手,保障动作精准且灵活,能够完成熨衣服等多种复杂操作。

  • 末端精细感知:标配末端六维力传感器,并可配备高精度视触觉传感器,能够感知力的微小变化,做到「拿捏有度」,从容完成各种精细操作。

  • 高自由度:全身最高 32 个自由度,灵活应对洗衣、做饭、分拣、搬运等复杂任务。

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

质量把控,严师出高徒

AgiBot World 对数据质量要求极高,通过专业培训、多级质量把控、全程人工在环,在做到超大规模真实数据采集的前提下,严格精细化控制数据质量。

  • 任务设计:从设计初稿和设计迭代流程中,邀请了学术界、工业界、消费者多视角进行任务把关。这样设计出的任务更加贴近真实的工作和生活场景。

  • 数据采集:从采集员培训到采集质量把控,由完善的管理体系和专业的管理团队进行全程保障。

  • 审核标注:对于采集的数据,首先会经过端云两侧的严格筛选,自动剔除不符合要求的数据。此外,专业的审核员会对全量数据进行逐帧审核,确保每一个动作都符合任务标准,并对关键帧和数据特性进行多维度标注。

  • 算法验证:通过人工审核的数据还会进一步通过算法进行验证。对于未能通过验证的数据,会重新设计任务进行数据补采,确保数据可用性。

「源神」稚晖君又双叒叕开源,这一次机器人直接进入人类生活!

据智元透露,他们还为即将到来的 2025 年攒了一波「大招」,小小地剧透一下:

1. 百万真机全量数据将陆续开源

2. 千万仿真数据同步推送,支持更泛化和更通用的大模型训练

3. 发布具身基座大模型,支持模型微调,赋能千行百业

4. 发布全套工具链,实现采集、训练和评测完美闭环

5. 举办一系列 AgiBot World Challenge

……

那我们先一把期待住了,且看明年,智元又会带来哪些惊喜?

相关资讯

全世界机器人共用一个大脑,谷歌DeepMind已经完成了第一步

具身智能,首先就是要共用 AI。过去一年,生成式人工智能发展的核心关键词,就是「大」。人们逐渐接受了强化学习先驱 Rich Sutton 充分利用算力「大力出奇迹」的思潮,庞大的数据量是 AI 模型展现出惊人智慧的核心原因。数据规模越大、质量越高、标注越细,模型就能了解到更全面的世界知识,从而拟合出更加智能的结果。那么,为什么人工智能的进展还没有转化成科幻片中那种全能管家机器人呢?能清理桌子、叠衣服、做早餐的机器人在哪里?一个重要的原因是机器人领域很难「大力出奇迹」,生成式 AI 的文字或图片训练数据在网络上就能轻

一句指令就能冲咖啡、倒红酒、锤钉子,清华具身智能CoPa「动」手了

近期,具身智能方向取得了诸多进展。从谷歌的 RT-H 到 OpenAI、Figure 联合打造的 Figure 01,机器人的交互性、通用性越来越强。如果未来机器人成为人们日常生活的助手,你期待它们能够完成哪些任务?泡一杯热气腾腾的手冲咖啡,整理桌面,甚至帮你精心安排一场浪漫的约会,这些任务,只需一句指令,清华的具身智能新框架「CoPa」都能完成。CoPa(Robotic Manipulation through Spatial Constraints of Parts)是清华叉院高阳教授机器人研究团队最新提出的具

叠衣服、擦案板、冲果汁,能做家务的国产机器人终于要来了

将家务全部交给机器人的那一天,或许会比想象中更快到来。还记得会炒菜的斯坦福 ALOHA 机器人吗?现在,中国的初创公司自变量机器人(X Square)展示了同样令人惊艳的能力,甚至更进一步。在该公司最新展示的 Demo 中,完全基于大模型自主推理的双臂机器人,利用低成本硬件即实现对不规则物体的精细操作(如抓握、拾取、切割等),以及折叠衣服、冲泡饮料等复杂任务,展现出相当程度的泛化性能。折叠衣物(3 倍速播放):对柔性物体的操作长久以来都是困扰整个 manipulation 领域的难题,需要高度灵活的操作和精细的动作