开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

科技媒体 marktechpost 昨日(1 月 31 日)发布博文,报道称 Mistral AI 发布了 Small 3(全称为 Mistral-Small-24B-Instruct-2501)模型,共有 240 亿参数,实现了先进的推理能力、多语言支持和便捷的应用集成,并在多个基准测试中取得了令人瞩目的成绩。

科技媒体 marktechpost 昨日(1 月 31 日)发布博文,报道称 Mistral AI 发布了 Small 3(全称为 Mistral-Small-24B-Instruct-2501)模型,共有 240 亿参数,实现了先进的推理能力、多语言支持和便捷的应用集成,并在多个基准测试中取得了令人瞩目的成绩。

该模型基于 Apache 2.0 许可证发布,允许开发者自由修改、部署和集成到各种应用程序中,对标 Meta 的 Llama 3.3 70B 和阿里巴巴的 Qwen 32B 等更大模型,官方声称在相同硬件上,提供超过三倍的性能。

Small 3 模型针对本地部署进行高效优化,在 RTX 4090 GPU 或配备 32GB RAM 的笔记本电脑上也能通过量化技术流畅运行。

模型在多样化的指令型任务上进行了微调,实现了高级推理、多语言能力和无缝应用集成,凭借 32k 的上下文窗口,它擅长处理长篇输入,同时保持高响应速度。

该模型还包含 JSON 格式输出和原生函数调用等功能,使其非常适合对话和特定任务的实现。

Mistral-Small 模型在多个基准测试中表现出色,在特定任务中甚至可以媲美或超越 Llama 3.3-70B 和 GPT-4o-mini 等更大规模的模型。

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

它在推理、多语言处理和代码基准测试中都达到了很高的准确率,例如在 HumanEval 上达到 84.8%,在数学任务上达到 70.6%,在 MMLU 基准测试中准确率超过 81%,每秒可处理高达 150 个 token。AI在线附上性能相关图片如下:

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

开源新秀 Mistral Small 3:低延迟、高性能、Apache 2.0 许可,赋能 AI 应用

Mistral Small 3 针对以下应用进行了优化:

  • 对话式 AI:需要快速响应时间的虚拟助手。

  • 低延迟自动化:工作流程或机器人技术中的功能执行。

  • 特定领域专业知识:针对医疗诊断或法律咨询等专业领域进行微调。

  • 本地推理:为处理敏感数据的组织提供安全部署。

相关资讯

单个4090就能跑,Mistral开源多模态小模型,开发者:用来构建推理模型足够香

小模型正在变得越来越好,而且越来越便宜。 刚刚,法国 AI 创企 Mistral AI 开源了一个 24B 的多模态小模型,该模型在多个基准上击败了 Gemma 3 和 GPT-4o Mini 等同类模型,而且推理速度达到了 150 个 token / 秒,称得上是又好又快。 重要的是,它只需要一个 RTX 4090 或 32GB RAM 的 Mac 就能运行,而且开源协议是 Apache 2.0,因此既能用于研究,也能商用。

击败OpenAI,权重、数据、代码全开源,能完美复现的嵌入模型Nomic Embed来了

模型参数量只有 137M,5 天就能训练好。一周前,OpenAI 给广大用户发放福利,在下场修复 GPT-4 变懒的问题后,还顺道上新了 5 个新模型,其中就包括更小且高效的 text-embedding-3-small 嵌入模型。我们知道,嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使得机器学习模型和其他算法更容易理解内容之间的关联,也更容易执行聚类或检索等任务。可见,嵌入在 NLP 领域是非常重要的。不过,OpenAI 的嵌入模型并不是免费给大家使用的,比如 text-embedding-3-small

欧洲“DeepSeek”发布了全世界最好的 OCR,网友:蹲蹲中国的免费开源版

就在刚刚,那个曾经开源了首个 MoE 模型的欧洲初创公司 Mistral AI 在沉寂一段时间之后又出新活。 Mistral 团队发布了一个号称“全世界最好的 OCR”的产品 —— Mistral OCR,旨在将一些 AI 难以直接识别的粗糙且复杂的文件进行整理,便于 AI 操作识别。 帖子一经发出,评论区瞬间充满了各种夸夸言论,但在一众赞美声中,也不乏一些真正用过产品的网友的理智发言。