端侧 AI 崛起:Mistral 发布 Ministral 3B / 8B,“全球最好的边缘模型”

Mistral 公司最新推出了 Ministral 3B 和 Ministral 8B 两款 AI 模型,并不需要连接云服务器,重点提高笔记本电脑和智能手机等设备的本地化 AI 体验,官方声称是“世界上最好的边缘模型”。Mistral 公司表示越来越多的企业希望能够在个人设备上运行 AI 模型,一方面确保安全的数据处理,另一方面也提高响应速度。上述两个模型可在没有互联网接入的情况下,执行翻译服务、本地分析和机器人等多项服务。

Mistral 公司最新推出了 Ministral 3B 和 Ministral 8B 两款 AI 模型,并不需要连接云服务器,重点提高笔记本电脑和智能手机等设备的本地化 AI 体验,官方声称是“世界上最好的边缘模型”。

Mistral 公司表示越来越多的企业希望能够在个人设备上运行 AI 模型,一方面确保安全的数据处理,另一方面也提高响应速度。

上述两个模型可在没有互联网接入的情况下,执行翻译服务、本地分析和机器人等多项服务。

这两个 AI 模型的上下文窗口均为 128K,相当于一次可以处理 50 页文档。

Ministral 8B 的价格为每百万个 tokens 售价 0.1 美元,而 3B 版本则为 0.04 美元,适合小规模操作或初创开发者。Ministral 8B 采用了特殊的交错滑动窗口注意力机制,这种设计可以在推理时更快且节省内存。AI在线附上相关性能图表如下:

端侧 AI 崛起:Mistral 发布 Ministral 3B / 8B,“全球最好的边缘模型”

端侧 AI 崛起:Mistral 发布 Ministral 3B / 8B,“全球最好的边缘模型”

端侧 AI 崛起:Mistral 发布 Ministral 3B / 8B,“全球最好的边缘模型”

端侧 AI 崛起:Mistral 发布 Ministral 3B / 8B,“全球最好的边缘模型”

给TA打赏
共{{data.count}}人
人已打赏
应用

.ai 域名卖爆,小岛安圭拉 2023 年意外躺赚 3200 万美元

2024-10-17 12:45:24

应用

支付宝发布“湾事助手”支小宝智能体:AI 带你看广交会

2024-10-17 14:15:35

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索