“端侧 ChatGPT 时刻到来”，面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型

作者：故渊

2024-09-06 08:20

面壁智能官方公众号昨日（9 月 5 日）发布博文，宣布推出开源 MiniCPM3-4B AI 模型，声称“端侧 ChatGPT 时刻到来”。AI在线附上 MiniCPM 3.0 开源地址：是 MiniCPM 系列的第三代产品，整体性能超过了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125，媲美多款 70 亿~90 亿参数的 AI 模型。相比 MiniCPM1.0 / MiniCPM2.0，MiniCPM3-4B 拥有更强大、更多用途的技能集，可用于更广泛的用途。MiniCPM

面壁智能官方公众号昨日（9 月 5 日）发布博文，宣布推出开源 MiniCPM3-4B AI 模型，声称“端侧 ChatGPT 时刻到来”。

AI在线附上 MiniCPM 3.0 开源地址：

https://github.com/OpenBMB/MiniCPM

https://huggingface.co/openbmb/MiniCPM3-4B

MiniCPM3-4B 是 MiniCPM 系列的第三代产品，整体性能超过了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125，媲美多款 70 亿~90 亿参数的 AI 模型。

“端侧 ChatGPT 时刻到来”，面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型

相比 MiniCPM1.0 / MiniCPM2.0，MiniCPM3-4B 拥有更强大、更多用途的技能集，可用于更广泛的用途。MiniCPM3-4B 支持函数调用和代码解释器。

“端侧 ChatGPT 时刻到来”，面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型

下面是 3 个版本的模型结构（1->2->3）的区别：

词表大小：123K->73K->73K

模型层数：40->52->62

隐藏层节点：2304->1536->2560

最大长度：4k->4K->32k

系统提示词：不支持-> 不支持-> 支持

工具调用和代码解释器：不支持-> 不支持-> 支持

MiniCPM3-4B 有一个 32k 上下文窗口。MiniCPM3-4B 借助 LLMxMapReduce，不需要占用太高的内存，可以处理理论上的无限上下文。

“端侧 ChatGPT 时刻到来”，面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型

面壁智能还发布了 RAG 套件 MiniCPM-Embedding 模型和 MiniCPM-Reranker 模型，针对 RAG 场景还发布了微调版 MiniCPM3-RAG-LoRA 模型。

“端侧 ChatGPT 时刻到来”，面壁智能推出小钢炮开源 MiniCPM3-4B AI 模型

相关标签：

AI 模型 MiniCPM 4B MiniCPM3

相关资讯

英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型：专为角色扮演设计，9216 MLP、上下文长度 4096 词元

英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型：专为角色扮演设计，9216 MLP、上下文长度 4096 词元

科技媒体 marktechpost 昨日（9 月 14 日）发布博文，报道称英伟达开源了 Nemotron-Mini-4B-Instruct AI 模型，标志着该公司在 AI 领域创新又一新篇章。小语言模型的大潜力Nemotron-Mini-4B-Instruct AI 模型专为角色扮演、检索增强生成（RAG）及函数调用等任务设计，是一个小语言模型（SLM），通过蒸馏（distilled）和优化更大的 Nemotron-4 15B 获得。英伟达使用剪枝（pruning）、量化（quantization）和蒸馏（di

小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型

小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型

英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。图源：英伟达Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来，英伟达在深度和宽度方向上使用了结构化剪枝技术。AI在线注：剪枝是一种删除网络中不那么重要的层或神经元的技术，保留其性能的情况下，目的是减小模型的大小和复杂度。英伟达通过从模型中删除 16 层来

英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强

英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强

小模型崛起了。上个月，Meta 发布了 Llama 3.1 系列模型，其中包括 Meta 迄今为止最大的 405B 模型，以及两个较小的模型，参数量分别为 700 亿和 80 亿。Llama 3.1 被认为是引领了开源新时代。然而，新一代的模型虽然性能强大，但部署时仍需要大量计算资源。因此，业界出现了另一种趋势，即开发小型语言模型 (SLM)，这种模型在许多语言任务中表现足够出色，部署起来也非常便宜。最近，英伟达研究表明，结构化权重剪枝与知识蒸馏相结合，可以从初始较大的模型中逐步获得较小的语言模型。

资讯热榜

罗永浩 Jarvis 初创项目“J1 Assistant AI 助理”上线，利用语音与大模型互动突破非视距条件依赖！大规模区域、低成本的UWB-LiDAR标定与单次定位框架 SK 海力士宣布参展 CES 2025，将展示 122TB 企业级固态硬盘等产品类 Mac Mini 大小的个人 AI 超算：英伟达 Project Digits 发布，起价 3000 美元斯坦福AI科研神器开源，一键成文GPT-4o mini加持！科研写作彻底解放双手从DeepSeek-V3发布谈大模型的技术突破与未来机遇别再将LLM当成数据库了 3 到 5 秒即可同声传译 40 余种语言，时空壶推出 W4 Pro 实时翻译耳机

标签云