华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署

为技术有限公司今日发文宣布,旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1 & V3 和蒸馏系列模型的本地部署与优化。

华为技术有限公司今日发文宣布,旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1 & V3 和蒸馏系列模型的本地部署与优化。

据介绍,华为 ModelEngine 是大模型训练、推理和应用开发的 AI 平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次 ModelEngine 基于昇腾 AI 芯片,通过推理框架优化和 MoE 存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,用户通过 ModelEngine 体验 DeepSeek 的推理能力。特性如下:

灵活部署:ModelEngine 全面支持 DeepSeek 系列模型 R1 & V3 671B 以及蒸馏系列模型,开发者可通过 ModelEngine 实现“一键部署”,省去硬件选型、兼容性验证和环境配置等繁琐步骤,大幅降低企业 AI 应用门槛。此外,ModelEngine 通过其高度的开放性和模块化设计,极大地缩短了 DeepSeek 的本地部署时间。

企业级稳定性:ModelEngine 提供负载均衡、模型安全接入、多用户配额管理等高阶特性,支持大规模生产环境下的稳定运行。某证券公司引入 DCS AI 全栈解决方案后,运维成本降低 42%

另外,华为官方表示,DCS AI 全栈解决方案近期将上线 DeepSeek 体验环境。

AI在线注:ModelEngine 是华为 DCS(Data Center Stack)全栈的 AI 训推全流程工具链,业界首个采用 AI 流式编程框架,提供从数据处理、知识生成,到模型微调和部署,以及 RAG 应用开发、应用部署,为数据处理工程师、模型工程师、应用开发者提供开箱即用的全流程 AI 开发体验。

相关资讯

业界首个、开箱即用,华为 AI 训推全流程工具链 ModelEngine 亮相

8 月 15 日,由开源中国与上海浦东软件园联合举办的全球开源技术峰会(GOTC2024)在上海举行。华为数据存储软件首席专家张群辉分享了 ModelEngine 在垂域大模型领域的应用实践。▲ 华为数据存储软件首席专家张群辉据张群辉介绍,ModelEngine 是华为 DCS(Data Center Stack)全栈的 AI 训推全流程工具链,业界首个采用 AI 流式编程框架,提供从数据处理、知识生成,到模型微调和部署,以及 RAG 应用开发、应用部署,为数据处理工程师、模型工程师、应用开发者提供开箱即用的全流程

北京大学联合华为发布全栈开源 DeepSeek 推理方案

据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案。

硅基流动助力华为小艺接入 DeepSeek-R1 模型

鸿蒙 HarmonyOS NEXT 的小艺 App 在 2 月 5 日正式上架 DeepSeek-R1 Beta 版,支持代码编写、数学计算、逻辑推理等功能。其中,DeepSeek-R1 模型的计算服务依托于昇腾算力,由硅基流动与华为云联合提供推理加速支持。