华为昇腾携手阶跃星辰推出开源多模态模型,进军 AI 新领域

近日,魔乐社区(Modelers)正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。 这两款模型分别用于视频生成和语音交互,旨在为开发者和企业用户提供更强大的 AI 工具。 Step-Video 模型的全名为 Step-Video-T2V,这是一款参数量高达300亿的全球最大开源视频生成模型。

近日,魔乐社区(Modelers)正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。这两款模型分别用于视频生成和语音交互,旨在为开发者和企业用户提供更强大的 AI 工具。

Step-Video 模型的全名为 Step-Video-T2V,这是一款参数量高达300亿的全球最大开源视频生成模型。该模型能够直接生成204帧、540P 分辨率的高质量视频,并在指令遵循、运动平滑性、物理合理性以及美感等方面,表现超越了市场上现有的顶尖开源视频模型。另一方面,Step-Audio 则是业内首款能够生成多种情感、方言、语言、唱腔和个性化风格的语音的大模型。这一技术的发布,标志着 AI 语音交互领域的一次重要突破。

元宇宙 科幻 赛博朋克 绘画 (4)大模型

图源备注:图片由AI生成,图片授权服务商Midjourney

值得一提的是,这些模型是基于华为昇腾 CANN 异构计算架构和昇腾服务器进行适配的。开发者和企业用户可以在魔乐社区中便捷地下载和体验这些模型。为了进一步降低使用门槛,魔乐社区还提供免费算力支持,让用户可以在线进行模型推理,而无需复杂的环境搭建,快速验证他们的 AI 方案。

此外,阶跃星辰的开源模型受到了多个行业标杆企业的关注,包括天数智芯、阿里云、火山引擎、TCL 等各行各业的厂商已纷纷接入这一开源生态。未来,阶跃星辰计划在3月份推出新的图生视频模型,进一步丰富其产品线。

华为昇腾与阶跃星辰的这一合作不仅拓展了多模态 AI 模型的应用场景,也为开发者提供了更为强大的工具,推动了整个行业的技术进步。

相关资讯

降低门槛,全平台应用,昇腾还会手把手地教你如何用AI

机器之心报道作者:泽南如何才能做到 AI 应用一次开发,全场景部署?昇腾给出了答案。如今的大多数 AI 应用程序都需要跑在多种类型的处理器上,覆盖数十个版本的操作系统,运行在从端侧到云计算集群的各种设备上。这样复杂的环境,对软件的适应性和模型的可裁剪、可伸缩性提出了极高要求。AI 开源框架也在顺应这股潮流,昇腾发布的 CANN、MindSpore、MindX 等工具,可以让开发者实现「统一端边云,全端自动部署」,开启了机器学习开发的新时代,一直被人们寄予厚望。昇腾的 AI 全栈软件平台。其中,基础架构作为连接硬件与

院士、委员、专家共议“双智建设”:场景驱动、标准协同、以人为本

智能网联汽车和智慧城市基础设施,已经成为日常生活中随处可见的元素。2021年,住建部和工信部将16个城市列为双智试点城市,探索智慧城市基础设施与智能网联汽车协同发展。试点城市提供了哪些思路?双智的未来该走向何处?这些问题成为当前双智行业关注的重点。近日,由腾讯智慧交通、腾讯研究院联合举办了“双智建设专家研讨会“,共同探讨双智建设的新思路、新机遇。中国工程院院士郭仁忠、全国政协委员、交通运输部科学研究院副院长兼总工程师王先进、中国电动汽车百人会秘书长兼首席专家张永伟、中国信息通信研究院副院长王志勤、中国城市规划设计研

6年技术迭代,阿里全球化出海&合规的挑战和探索

全球化技术根植于全球化业务,经过五个阶段的演进,逐渐发展成为阿里巴巴集团内相对独立的技术体系。本文会首先重点讲解全球化基础设施层的挑战和技术实践。