昆仑万维发布Matrix-Zero世界模型 支持3D场景、可交互视频生成

2025年2月14日,昆仑万维集团正式推出Matrix-Zero世界模型,标志着中国在空间智能领域迈出了重要一步。 Matrix-Zero包含两款子模型:3D场景生成大模型和可交互视频生成大模型,旨在通过AI技术重塑数字内容创作模式,推动影视制作、游戏开发、具身智能等行业的创新发展。 Matrix-Zero的3D场景生成大模型能够将用户输入的图片转化为可自由探索的真实3D场景,支持不同风格的图片输入和风格迁移,并具备动态场景生成能力。

2025年2月14日,昆仑万维集团正式推出Matrix-Zero世界模型,标志着中国在空间智能领域迈出了重要一步。Matrix-Zero包含两款子模型:3D场景生成大模型和可交互视频生成大模型,旨在通过AI技术重塑数字内容创作模式,推动影视制作、游戏开发、具身智能等行业的创新发展。

Matrix-Zero的3D场景生成大模型能够将用户输入的图片转化为可自由探索的真实3D场景,支持不同风格的图片输入和风格迁移,并具备动态场景生成能力。该模型通过场景布局生成模块和纹理生成模块,结合可微渲染和扩散模型技术,确保生成的3D场景全局一致、动态合理,为3D游戏建模和具身智能模拟场景搭建提供了高效解决方案。例如,输入一张“城堡的花园一角”图片,模型可生成360度环视后场景保持不变的3D场景,并支持用户进行长距离、大范围的自由探索。

微信截图_20250214101547.png

与此同时,Matrix-Zero的可交互视频生成大模型以用户输入为核心驱动,结合先进的生成式视频模型和自主研发的用户交互模块,实现了视频内容中视角移动的精确控制。用户可以通过键盘或鼠标输入,控制视频中的视角和运动轨迹,实现前后左右移动以及视角变换等操作。该模型包含离散运动控制模块、连续视角控制模块、3D场景位置追踪模块和滑动窗口机制,确保交互体验的流畅性和连贯性。

昆仑万维作为中国AI领域的领军企业,始终致力于实现通用人工智能,并通过自主研发不断推出创新的AI产品。Matrix-Zero的推出不仅是公司在空间智能领域的重大突破,也是其AI业务矩阵的重要补充。过去三年,昆仑万维在视觉多模态、深度学习等关键技术方向取得了显著成果,并构建了包括天工AI搜索、Mureka音乐创作平台、SkyReels短剧平台等在内的完整AI矩阵。

Matrix-Zero预计将于4月份正式上线,届时将为昆仑万维的AI游戏生产、AI短剧制作等业务带来新的赋能,为用户和开发者提供全新的平台和工具。

相关资讯

MATRIX:社会模拟推动大模型价值自对齐,比GPT4更「体贴」

随着大语言模型(LLMs)在近年来取得显著进展,它们的能力日益增强,进而引发了一个关键的问题:如何确保他们与人类价值观对齐,从而避免潜在的社会负面影响?模型如 ChatGPT 依赖于基于人类反馈的强化学习(RLHF),这一方法通过鼓励标注者偏好的回答并惩罚不受欢迎的反馈,提出了一种解决方案。然而,RLHF 面临着成本高昂、难以优化等问题,以及在超人类水平模型面前显得力不从心。为了减少乃至消除对人类监督的依赖,Anthropic 推出了 Constitutional AI,旨在要求语言模型在回答时遵循一系列人类规则。

降低门槛,全平台应用,昇腾还会手把手地教你如何用AI

机器之心报道作者:泽南如何才能做到 AI 应用一次开发,全场景部署?昇腾给出了答案。如今的大多数 AI 应用程序都需要跑在多种类型的处理器上,覆盖数十个版本的操作系统,运行在从端侧到云计算集群的各种设备上。这样复杂的环境,对软件的适应性和模型的可裁剪、可伸缩性提出了极高要求。AI 开源框架也在顺应这股潮流,昇腾发布的 CANN、MindSpore、MindX 等工具,可以让开发者实现「统一端边云,全端自动部署」,开启了机器学习开发的新时代,一直被人们寄予厚望。昇腾的 AI 全栈软件平台。其中,基础架构作为连接硬件与

院士、委员、专家共议“双智建设”:场景驱动、标准协同、以人为本

智能网联汽车和智慧城市基础设施,已经成为日常生活中随处可见的元素。2021年,住建部和工信部将16个城市列为双智试点城市,探索智慧城市基础设施与智能网联汽车协同发展。试点城市提供了哪些思路?双智的未来该走向何处?这些问题成为当前双智行业关注的重点。近日,由腾讯智慧交通、腾讯研究院联合举办了“双智建设专家研讨会“,共同探讨双智建设的新思路、新机遇。中国工程院院士郭仁忠、全国政协委员、交通运输部科学研究院副院长兼总工程师王先进、中国电动汽车百人会秘书长兼首席专家张永伟、中国信息通信研究院副院长王志勤、中国城市规划设计研