DeepSeek 系列新模型上线华为昇腾社区:一键获取,开箱即用

据华为官方公众号,2 月 4 日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上线昇腾社区,支持一键获取 DeepSeek 系列模型,支持昇腾硬件平台上开箱即用,推理快速部署。
感谢据华为官方公众号,2 月 4 日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上线昇腾社区,支持一键获取 DeepSeek 系列模型,支持昇腾硬件平台上开箱即用,推理快速部署。

DeepSeek 系列新模型上线华为昇腾社区:一键获取,开箱即用

AI在线附模型调用方式如下:

权重转换

  • GPU:

git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference/
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

图片

  • NPU:

git clone https://modelers.cn/MindIE/deepseekv3.git
cd NPU_inference/
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

图片

加载镜像

在昇腾社区 / 开发资源下载适配 DeepSeek-V3 的镜像包:

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用 docker images 命令确认查找具体镜像名称与标签。

docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下载的镜像名称与标签)

图片

容器启动

提供的 MindIE 镜像预置了 DeepSeek-V3 模型推理脚本,从您信任的来源自行获取权重后,放置在从上述下载的模型代码的主目录下,修改模型文件夹属组为 1001,执行权限为 750,启动容器。

图片

chown -R 1001:1001 /path-to-weights/deepseekv3
chowd -R 750 /path-to-weights/deepseekv3

图片

服务化测试

  • 配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

图片

  • 修改服务化参数

cd /usr/local/Ascend/mindie/latest/mindie-service/
vim conf/config.json

图片图片

  • 拉起服务化

#设置显存比
export NPU_MEMORY_FRACTION=0.95
#拉起服务化
cd /usr/local/Ascend/mindie/latest/mindie-service/ 
./bin/mindieservice_daemon

图片图片

出现“Daemon start success!”,则认为服务成功启动。

相关资讯

华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1

华为技术有限公司今日宣布,MindSpeed 支持 DeepSeek V3 预训练、微调,同时昇腾还适配支持 DeepSeek-R1 复现项目 Open R1。

从DeepSeek-V3发布谈大模型的技术突破与未来机遇

在AI技术日新月异的今天,大型语言模型已成为推动AI发展的重要力量。 2024年12月26日,DeepSeek AI正式发布了其最新的大型语言模型——DeepSeek-V3。 这款开源模型采用了高达6710亿参数的混合专家(MoE)架构,每秒能够处理60个token,比V2快了3倍。

华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署

为技术有限公司今日发文宣布,旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1 & V3 和蒸馏系列模型的本地部署与优化。