上海交大卢策吾:具身智能与他的首个刮胡子机器人 | 智者访谈

查阅历史资料后表明,上海交通大学的卢策吾教授是世界上第一个被机器人用刀片刮胡子的人。视频展示了上海交通大学卢策吾教授亲自体验其团队研发成果的过程——在一个具身智能大模型操控下,机械臂完成了刮胡子的动作。机器人给人刮胡子,看似简单,实则蕴含巨大挑战,除了行为泛化性,更重要的是需要极致鲁棒性。可以看到,当卢教授的头部移动时,这个嵌入了高精度力反馈模块的具身智能大模型能够瞬时决策压力和切向力的变化,既把胡须刮干净,又不会伤到他。如果大模型仅通过视觉判定轨迹输出,将难以完成任务。这也无法通过遥操作实现。在大模型风靡的 20

查阅历史资料后表明,上海交通大学的卢策吾教授是世界上第一个被机器人用刀片刮胡子的人。

上海交大卢策吾:具身智能与他的首个刮胡子机器人 | 智者访谈

视频展示了上海交通大学卢策吾教授亲自体验其团队研发成果的过程——在一个具身智能大模型操控下,机械臂完成了刮胡子的动作。

机器人给人刮胡子,看似简单,实则蕴含巨大挑战,除了行为泛化性,更重要的是需要极致鲁棒性。

可以看到,当卢教授的头部移动时,这个嵌入了高精度力反馈模块的具身智能大模型能够瞬时决策压力和切向力的变化,既把胡须刮干净,又不会伤到他。如果大模型仅通过视觉判定轨迹输出,将难以完成任务。这也无法通过遥操作实现。

在大模型风靡的 2024 年,如果说 AI 领域还有哪些热点,「具身智能」必定位列其中。

与被动接收信息不同,具身智能(Embodied AI)强调智能体主动与物理环境进行交互。这种交互并非毫无代价,每一次行动都可能改变环境状态,带来新的挑战,需要智能体不断调整自身策略。

探索具身智能,为理解智能的本质提供了一个独特视角,基于身体发展智能,也是一种与既有 AI 研究完全不同的范式。

人工智能的卓越发展,源于对技术和产业本质的思考。

机器之心推出全新视频栏目「智者访谈」,邀请领域专家,洞悉 AI 核心技术与行业趋势。为从业者量身打造,旨在深化行业认知,激发创新思考。在本期节目中,上海交通大学的卢策吾教授深度剖析具身智能,带来从原理到落地的全方位思考。

图片

上海交大卢策吾:关于具身智能、Scaling Law 以及大模型上海交大卢策吾:具身智能与他的首个刮胡子机器人 | 智者访谈

时间戳

00:00    嘉宾介绍

01:00    具身智能的内涵与特性

03:09    具身智能「身体」与「智能」的标准?

06:42    99.X%:除了通用性,还需要鲁棒性

13:09    不同技术路径及分析

15:20    Sora 能理解物理世界吗?

20:18    具身智能大模型:两级火箭架构

25:11    Scaling Law 在具身智能领域会如何体现?

32:03    「数据即科研」

38:20    具身智能评估:成本与有效性难兼顾

46:53    具身智能创业:只有正确的技术路径,才能达到 99.X%

55:16    具身智能人才:顶级人才将一直稀缺

嘉宾简介

卢策吾,上海交通大学教授,博士生导师,科学探索奖获得者(获奖原因:具身智能贡献),2018 年被《麻省理工科技评论》评为 35 位 35 岁以下中国科技精英(MIT TR35),2019 年获求是杰出青年学者,2020 年获上海市科技进步特等奖,吴文俊自然科学一等奖,2022 年获教育部青年科学奖,2021/2022 获中国高被引学者,2022 年获国际机器人顶会 IROS 最佳论文之一(6/3579),RSS 最佳系统论文提名,以通讯作者或第一作者在《自然》,《自然-机器智能》,TPAMI,T-RO,IJRR 等高水平期刊和会议发表论文 100 多篇;担任 Science 正刊,Nature 子刊,Cell 子刊等期刊审稿人,NeurIPS,CVPR,ICCV ,ECCV,IROS ,ICRA 领域主席。研究兴趣包括具身智能,机器人学习,计算机视觉。作为联合创始人,首席科学家,创立具身智能公司穹彻智能。

精彩片段上海交大卢策吾:具身智能与他的首个刮胡子机器人 | 智者访谈

关注机器之心视频号及 B 站账号

更多精彩内容等你来看!

相关资讯

北大王立威:理论视角看大模型,为什么AI既聪明又愚蠢 | 智者访谈

人工智能的卓越发展源于对技术与产业本质的洞察AI在线全新视频栏目「智者访谈」邀请领域专家,洞悉 AI 核心技术与行业趋势为从业者量身打造深化行业认知,激发创新思考与智者同行,共创 AI 未来以英伟达为代表,近期美股科技巨头市值蒸发超过万亿,引发了市场对 AI 泡沫破裂的担忧,特别引发焦虑的是大模型领域,甚至有人将其与互联网泡沫相提并论。我们惊叹于当前 AI 的成果,但若深究其过程则往往感到失落。在生成式 AI 盛行的当下,这种矛盾心理尤为突出。大语言模型(LLM)的通用能力是一个意外的收获,为了改进机器翻译序列处理

上海交大团队利用深度学习进行运动评估,促进脑瘫早期筛查

编辑 | 白菜叶Prechtl 全身运动评估 (GMA) 因其在评估神经系统发育完整性和预测运动功能障碍方面的作用而日益得到认可,特别是在脑瘫 (CP) 等疾病中。然而,对训练有素的专业人员的需求,阻碍了一些国家采用 GMA 作为早期筛查工具。在最新的研究中,上海交通大学的研究人员提出了一种基于深度学习的运动评估模型(MAM),该模型结合了婴儿视频和基本特征,旨在在烦躁运动(FM)阶段实现 GMA 自动化。MAM 表现出强大的性能,在外部验证期间实现了 0.967 的曲线下面积 (AUC)。重要的是,它严格遵循 G

大模型也有小偷?为保护你的参数,上交大给大模型制作「人类可读指纹」

将不同的基模型象征为不同品种的狗,其中相同的「狗形指纹」表明它们源自同一个基模型。大模型的预训练需要耗费巨量的计算资源和数据,因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而,不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用,对预训练模型参数盗用的判断存在以下两方面的新问题:1) 预训练模型的参数,尤其是千亿级别模型的参数,通常不会开源。2) 更重要的是,预训练模型的输出和参数都会随着 SFT、RLHF、continue pretraining 等下游处理步骤而变化。这使得无