iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

微软研究院近日发布技术报告,公布了 Phi-3 系列 AI 模型,共有 mini(38 亿参数)、small(70 亿参数)和 medium(140 亿参数)三个版本。微软表示拥有 38 亿参数的 phi-3-mini 通过 3.3 万亿个 tokens 上训练,其基准跑分功能超出 Mixtral 8x7B 和 GPT-3.5。微软表示 phi-3-mini 模型可以部署在手机等设备上,在 27 亿参数的 Phi-2 模型上,进一步整合了严格过滤的网络数据和合成数据。微软也坦言 phi-3-mini 模型虽然通过优

微软研究院近日发布技术报告,公布了 Phi-3 系列 AI 模型,共有 mini(38 亿参数)、small(70 亿参数)和 medium(140 亿参数)三个版本。

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

iPhone 上本地每秒生成 12 个 tokens,微软发布 phi-3-mini 模型:38 亿参数

微软表示拥有 38 亿参数的 phi-3-mini 通过 3.3 万亿个 tokens 上训练,其基准跑分功能超出 Mixtral 8x7B 和 GPT-3.5。

微软表示 phi-3-mini 模型可以部署在手机等设备上,在 27 亿参数的 Phi-2 模型上,进一步整合了严格过滤的网络数据和合成数据。

微软也坦言 phi-3-mini 模型虽然通过优质数据在语言理解和推理能力上媲美更大参数的 AI 模型,但在 TriviaQA 等某些任务上依然受到模型规模的限制。

微软还表示 phi-3-small 和 phi-3-medium 两个模型在 MMLU 上的得分分别为 75.3 和 78.2。

IT之家附上参考

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

相关阅读:

《微软发文:27 亿参数的 Phi-2 AI 模型功能优于谷歌 32 亿参数的 Gemini Nano-2》

《27 亿参数,微软发布 Phi-2 模型:某些功能指标优于 Llama-2-7B》

给TA打赏
共{{data.count}}人
人已打赏
AI

全国首例 AI 声响侵权案一审宣判,原告配音师获赔 25 万元

2024-4-23 11:50:10

AI

消息称软银计划到 2025 年投资 1500 亿日元,加速 AI 大模型开发

2024-4-23 15:01:54

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索