国产 GPU 助力,摩尔线程实现对 DeepSeek 蒸馏模型推理服务部署

DeepSeek 开源模型(如 V3、R1 系列)在多语言理解与复杂推理任务中展现了卓越性能。摩尔线程智能科技(北京)有限责任公司今日发文宣布,摩尔线程实现了对 DeepSeek 蒸馏模型推理服务部署。
感谢DeepSeek 开源模型(如 V3、R1 系列)在多语言理解与复杂推理任务中展现了卓越性能。摩尔线程智能科技(北京)有限责任公司今日发文宣布,摩尔线程实现了对 DeepSeek 蒸馏模型推理服务部署

图片

AI在线从摩尔线程官方获悉,通过 DeepSeek 提供的蒸馏模型,能够将大规模模型的能力迁移至更小更高效的版本,在国产 GPU 上实现高性能推理。

  • 开源框架适配:基于 Ollama 开源框架,摩尔线程完成 DeepSeek-R1-Distill-Qwen-7B 蒸馏模型的部署,并在多种中文任务中展现了优异的性能,验证摩尔线程自研全功能 GPU 的通用性与 CUDA 兼容性。

  • 自研引擎加速:通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。这一引擎不仅支持 DeepSeek 蒸馏模型的高效运行,还为未来更多大规模模型的部署提供了技术保障。

另外,用户也可以基于 MTT S80 和 MTT S4000 进行 DeepSeek-R1 蒸馏模型的推理部署,此前已有用户在 MTT S80 上手动完成实践。

相关资讯

OpenAI首席研究官:DeepSeek独立发现了o1的一些核心思路,奥特曼、LeCun纷纷置评

成本打下来了,需求更多才对? 春节这几天,国内外 AI 圈都被 DeepSeek 刷了屏。 英伟达的股市震荡更是让全世界看得目瞪口呆(参见《英伟达市值蒸发近 6000 亿美元,而 DeepSeek 刚刚又开源新模型》)。

AI主战场,万卡是标配:国产GPU万卡万P集群来了!

Scaling Law 持续见效,让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年,META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」然而在国内,全国产化的 GPU 万卡集群,则是屈指可数。有超大规模,同时还具备超强通用性的万卡集群,更是行业空白。当国产 GPU 万卡万 P 集群首次亮相时,自然就引发了行业广泛关注。7 月 3 日,摩尔线程在上海重磅

自有歪果仁为DeepSeek「辩经」:揭穿围绕DeepSeek的谣言

围绕 DeepSeek 的谣言实在太多了。 面对 DeepSeek R1 这个似乎「一夜之间」出现的先进大模型,全世界已经陷入了没日没夜的大讨论。 从它的模型能力是否真的先进,到是不是真的只用了 550W 进行训练,再到神秘的研究团队,每个角度都是话题。