英伟达:DeepSeek-R1 模型现已上线 NIM 微服务平台

英伟达今日宣布,DeepSeek-R1 模型现已在 build.nvidia.com 上作为 NVIDIA NIM 微服务预览版提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 tokens。
感谢英伟达今日宣布,DeepSeek-R1 模型现已在 build.nvidia.com 上作为 NVIDIA NIM 微服务预览版提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 tokens。

英伟达:DeepSeek-R1 模型现已上线 NIM 微服务平台

据介绍,开发人员可以测试和试验应用程序编程接口(API),该接口预计将很快作为可下载的 NIM 微服务提供,这是 NVIDIA AI Enterprise 软件平台的一部分。

DeepSeek-R1 NIM 微服务通过支持行业标准 API 简化了部署。企业可以通过在其首选的加速计算基础设施上运行 NIM 微服务来最大限度地提高安全性和数据隐私。将 NVIDIA AI Foundry 与 NVIDIA NeMo 软件结合使用,企业还将能够为专用 AI 代理创建自定义的 DeepSeek-R1 NIM 微服务。

AI在线注意到,为方便各种规模的企业部署 AI 服务,英伟达于 2024 年 3 月 3 月推出了 NIM(Nvidia Inference Microservices)云原生微服务。

NIM 是一套经过优化的云原生微服务,旨在缩短上市时间,并简化生成式 AI 模型在云、数据中心和 GPU 加速工作站的任何位置的部署。它使用行业标准 API,抽象化 AI 模型开发和生产包装的复杂性,从而扩展开发者池。

相关资讯

OpenAI首席研究官:DeepSeek独立发现了o1的一些核心思路,奥特曼、LeCun纷纷置评

成本打下来了,需求更多才对? 春节这几天,国内外 AI 圈都被 DeepSeek 刷了屏。 英伟达的股市震荡更是让全世界看得目瞪口呆(参见《英伟达市值蒸发近 6000 亿美元,而 DeepSeek 刚刚又开源新模型》)。

英伟达市值蒸发近6000亿美元,而DeepSeek刚刚又开源新模型

机器之心报道,编辑:亚鹂、Panda。

一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo

开源大模型领域,又迎来一位强有力的竞争者。近日,探索通用人工智能(AGI)本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE) 语言模型 DeepSeek-V2,主打训练成本更低、推理更加高效。项目地址::DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language ModelDeepSeek-V2 参数量达 236B,其中每个 token 激活 21B 参数,支持 128K token 的上下文长度。与