北京大学联合华为发布全栈开源 DeepSeek 推理方案

据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案。
感谢据华为技术有限公司和北京大学高性能计算校级公共平台消息,2025 年 3 月 9 日,北京大学联合华为发布 DeepSeek 全栈开源推理方案

据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案

全栈开源方案其他闭源方案
模型DeepSeek-R1-w8a8
硬件配置2*Atlas 800I A2
输入长度4096
输出长度1024
系统输出吞吐11981288
用户并发128128

目前,此方案在未名卓越一号集群部署成功。该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。AI在线查询获悉,作为国内首个基于高校自研基础软件的国产智算平台,该集群于 2024 年 11 月 18 日上线运行,首期集成 20 台昇腾 AI 服务器与 10 台鲲鹏通用服务器,AI 算力规模为 30.64PFlops(半精度)。

此次发布的 DeepSeek 推理方案依托全栈开源组件构建,在 openEuler 开源操作系统层面进行了深度优化;通过异构调度负载感知 MoE 冷热专家,从而更细粒度调度任务;通过异构融合来高效管理内存,减小系统内存碎片;利用毕昇编译器进一步优化,减少算子下发耗时,提升推理整体性能。

图片

▲ 算力集群全栈开源推理方案架构图

相关资讯

华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署

为技术有限公司今日发文宣布,旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1 & V3 和蒸馏系列模型的本地部署与优化。

让大模型自主探索开放世界,北大&智源提出训练框架LLaMA-Rider

大语言模型因其强大而通用的语言生成、理解能力,展现出了成为通用智能体的潜力。与此同时,在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此,大语言模型如何适配开放世界是一个重要的研究问题。北京大学和北京智源人工智能研究院的团队针对这个问题提出了 LLaMA-Rider,该方法赋予了大模型在开放世界中探索任务、收集数据、学习策略的能力,助力智能体在《我的世界》(Minecraft)中自主探索获取知识并学习解决各种任务,提升智能体自主能力和通用性。                               

改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果

随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models论文链接: : 1 所示,PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b),只是初始化 Adapter