稚晖君后宇树也来玩开源了:机器人操作数据集,采用抱抱脸LeRobot训练测试,网友:泰裤辣!

继稚晖君之后,国内又一家头部机器人公司玩起了开源! 宇树科技,开源Unitree G1机器人操作数据集,包括数据采集、学习算法、数据集和模型,并表示将持续更新。 更令网友意外的是,宇树基于抱抱脸LeRobot开源框架训练并测试。

继稚晖君之后,国内又一家头部机器人公司玩起了开源!

宇树科技,开源Unitree G1机器人操作数据集,包括数据采集、学习算法、数据集和模型,并表示将持续更新。

图片

更令网友意外的是,宇树基于抱抱脸LeRobot开源框架训练并测试。

图片

抱抱脸联合创始人兼CEO紧忙码住转发:

泰裤辣,LeRobot、huggingface和开源技术在机器人领域日益突出。

图片

此套开源数据集目前包括拧瓶盖倒水:

图片

叠三色积木等5种操作:

图片

网友对于宇树这波开源纷纷竖起了大拇哥:

好哇好哇,希望更多公司能为机器人研究开源数据集。

图片

具体都开源了啥?

具体来看,数据采集方面,目前使用苹果Vision Pro对G1进行遥操作控制的仓库,已超400star:

图片

其中包含遥操作控制的代码教程:

图片

以及硬件配置图、物料清单和安装说明:

图片图片

训练方法如前所述,基于lerobot:

图片

还有将前面遥操作采集的JSON格式数据转为lerobot所需格式的教程。

最后就是数据集和模型,目前模型还显示“尚未公开”,数据集使用配备有三指灵巧手的宇树G1人形机器人收集,每张图分辨率为640x480,每个手臂和灵巧手的状态和动作维度为7。

包含五大操作数据集:

图片

除了开头所展示的拧瓶盖倒水、堆叠红、黄、绿三色木块,还有将摄像头放入相应包装盒、收集物品并存储、双臂抓取红色木块并将其放入一个黑色长方形容器中:

图片图片

宇树G1 9.9万元起,已量产

最后再来简单介绍一下宇树G1,量子位此前也有持续关注。

今年5月份首次亮相,当时官方首先展示的就是它的手部以及操作能力。

也是采用3指力控灵巧手,通过力位混合控制,能拧瓶盖、砸核桃,还能做焊接。

图片

在视觉传感器方面,搭载了Intel RealSense D435和LIVOX-MID360 3D激光雷达,能够实现360°的探测感知。

图片

8月份,宇树更是宣布G1可大规模量产了。

基于端到端深度强化学习和仿真训练的技术路线,G1可快速升级迭代。

G1量产版性能更强,能单腿跳跃:

图片

还能原地起跳360度转身:

图片

而且发售价9.9万起,让一众同行坐不住。

如今伴随G1数据集开源,距离让机器人替我上班是不是又前进了一丢丢。

相关资讯

世界最大开源 AI 社区 Hugging Face 涉足开源机器人领域,前特斯拉科学家领衔

据外媒 VentureBeat 报道,AI 创企 Hugging Face 设立开源机器人项目,前特斯拉科学家 Remi Cadene 领衔。Remi Cadene 的 X 平台动态显示,这位前特斯拉人形机器人 Optimus 团队成员加入 Hugging Face 并启动了一个开源机器人项目,招募愿在巴黎建造“真正的机器人”的工程师。参考IT之家以往报道,Hugging Face 目前主营业务均为软件形态,包括开源 AI 模型库和 AI 助手 Hugging Chat Assistants。此次组建开源机器人团队

华为云入局人形机器人,与创企乐聚机器人签署合作协议

感谢综合科创板日报、“乐聚机器人”官方公众号消息,3 月 15 日,华为云与人形机器人创业企业乐聚机器人签署合作协议,共同探索“华为盘古大模型 夸父人形机器人”应用场景,这是华为云合作的首个人形机器人企业。双方还将打造通用具身智能解决方案,建设“人形机器人 ”开放生态平台。官方表示,华为云推出的盘古大模型具备强大的语义理解、动态规划、多模态信号理解等能力,将为人形机器人大模型的开发提供智能化决策基础。IT之家查询相关资料发现,乐聚机器人去年 12 月推出了人形机器人“夸父”,号称国内首个可跳跃、可适应多地形行

消息称国内首款鸿蒙人形机器人正在蔚来、亨通等工厂检测验证

据《科创板日报》报道,国内首款搭载鸿蒙操作系统的人形机器人夸父正在蔚来、江苏亨通集团等工厂检测验证。据悉,“盘古大模型 夸父人形机器人”将在工业和家庭两大场景同步推进应用。IT之家注意到,去年 12 月,乐聚机器人宣布推出机器人新品夸父,号称是“国内首款可跳跃、可适应多地形行走的开源鸿蒙人形机器人”。该机器人搭载深开鸿基于开源鸿蒙研发的 KaihongOS,采用全栈开源设计,运动控制器全面开源,可接入轨迹规划、反馈控制、状态估计等模块。今年 3 月,海尔机器人、乐聚机器人在 2024 年中国家电及消费电子博览会