杭州六小龙开源新模型SpatialLM,助力机器人瞬间理解 3D 世界!

最近,杭州的科技公司群核科技再次引起了行业关注,因其开源的空间理解模型 SpatialLM 被谷歌在一篇论文中点名感谢。 这个模型的创新之处在于,它能让机器人通过一段普通的视频理解物理世界的几何关系,标志着机器人训练领域的一次重大突破。 SpatialLM 的核心功能是将手机拍摄的视频转化为三维空间布局信息。

最近,杭州的科技公司群核科技再次引起了行业关注,因其开源的空间理解模型 SpatialLM 被谷歌在一篇论文中点名感谢。这个模型的创新之处在于,它能让机器人通过一段普通的视频理解物理世界的几何关系,标志着机器人训练领域的一次重大突破。

SpatialLM 的核心功能是将手机拍摄的视频转化为三维空间布局信息。用户只需用手机录制家中的布局,SpatialLM 便能生成一个详细的3D 场景,包括房间的结构、家具的位置和通道的宽度。这一过程大大降低了机器人训练的成本,提高了训练的效率。

image.png

在 GTC2025大会上,群核科技同时展示了他们的虚拟训练平台 SpatialVerse。这个平台结合了 SpatialLM 生成的数据,允许机器人在模拟环境中进行避障、抓取等训练,从而形成从认知到行动的完整闭环。简而言之,机器人通过这个系统不仅能 “看” 到空间布局,还能理解如何在这些环境中进行操作。

SpatialLM 的工作原理并不复杂。它利用 MASt3R-SLAM 技术将视频拆解为无数帧,提取出沙发、桌子等物体的细节并构建成点云模型。随后,模型将这些数据转化为结构化的3D 布局,记录下每个物体的关键信息,如尺寸和位置。与传统的训练方法相比,SpatialLM 不仅节省了时间和资源,还提升了机器人的空间认知能力。

这项技术的独特之处在于,它使机器人可以像人类一样理解和处理复杂的环境变化。无论是家庭生活中的日常物品还是工作场所的工具,SpatialLM 都能帮助机器人快速适应并执行任务。这种能力对于提升机器人在真实环境中的表现至关重要,尤其是在当前的具身智能领域,许多技术依然面临落地难题。

群核科技通过开源 SpatialLM 和 SpatialVerse,正在重塑机器人训练的未来,使其能够在真实世界中灵活应对各种挑战。

项目地址:https://top.aibase.com/tool/spatiallm

相关资讯

1段视频=亿万虚拟场景,当真实世界秒变机器人训练场

3月19日,群核科技在GTC2025全球大会上宣布开源空间理解模型SpatialLM,这是一个基于大语言模型的3D场景语义生成框架。 它突破了传统大语言模型对物理世界几何与空间关系的理解局限,赋予机器类似人类的空间认知和解析能力。 这相当于为具身智能领域提供了一个基础的空间理解训练框架,企业可以针对特定场景对SpatialLM模型微调,降低具身智能训练门槛。

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。

降低门槛,全平台应用,昇腾还会手把手地教你如何用AI

机器之心报道作者:泽南如何才能做到 AI 应用一次开发,全场景部署?昇腾给出了答案。如今的大多数 AI 应用程序都需要跑在多种类型的处理器上,覆盖数十个版本的操作系统,运行在从端侧到云计算集群的各种设备上。这样复杂的环境,对软件的适应性和模型的可裁剪、可伸缩性提出了极高要求。AI 开源框架也在顺应这股潮流,昇腾发布的 CANN、MindSpore、MindX 等工具,可以让开发者实现「统一端边云,全端自动部署」,开启了机器学习开发的新时代,一直被人们寄予厚望。昇腾的 AI 全栈软件平台。其中,基础架构作为连接硬件与