无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

无问芯穹今日宣布,开源无问芯穹端侧解决方案中的全模态理解小模型 Megrez-3B-Omni 和它的纯语言模型版本 Megrez-3B-Instruct。

无问芯穹今日宣布,开源无问芯穹端侧解决方案中的全模态理解小模型 Megrez-3B-Omni 和它的纯语言模型版本 Megrez-3B-Instruct。

无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

官方表示,Megrez-3B-Omni 是一个为端而生的全模态理解模型,同时具备图片、音频、文本三种模态数据的处理能力:

  • 图像理解方面,Megrez-3B-Omni 是目前 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像理解模型之一。

无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

  • 文本理解方面,Megrez-3B-Omni 在 C-EVAL、MMLU / MMLU Pro、AlignBench 等多个权威测试集上取得端上模型最优精度。

无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

  • 语音理解方面,Megrez-3B-Omni 支持中文和英文的语音输入,还能够处理复杂的多轮对话场景,也能支持对输入图片或文字的语音提问,实现不同模态间的自由切换。

无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

官方宣称,与上一代及其他端侧大语言模型相比,单模态版本的 Megrez-3B-Instruct 在推理速度上取得了显著提升,最大推理速度可以领先同精度模型 300%

无问芯穹开源全球首款端侧全模态理解模型 Megrez-3B-Omni,支持图像、音频、文本理解

AI在线附相关链接如下:

  • Github:https://github.com/infinigence/Infini-Megrez

  • HuggingFace:https://huggingface.co/Infinigence/Megrez-3B-Omni

  • Infini-AI 异构云:https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr

  • Modelers:https://modelers.cn/models/INFINIGENCE-AI/Megrez-3B-Omni

  • ModelScope:https://www.modelscope.cn/models/InfiniAI/Megrez-3B-Omni

相关资讯

GPU推理提速4倍,256K上下文全球最长:无问芯穹刷新大模型优化记录

想用大模型赚钱?这个实力强劲的新面孔决定先把推理成本打下来。大模型业务到底多烧钱?前段时间,华尔街日报的一则报道给出了参考答案。报道显示,微软的 GitHub Copilot 业务(背后由 OpenAI 的 GPT 大模型支撑)虽然每月收费 10 美元,但平均还是要为每个用户倒贴 20 美元。可见当前 AI 服务提供商们正面临着严峻的经济账挑战 —— 这些服务不仅构建成本高昂,运营成本也非常高。有人比喻说:「使用 AI 总结电子邮件,就像是让兰博基尼送披萨外卖。」对此,OpenAI 算过一笔更详细的账:当上下文长度

无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示,全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上,除了抢购和囤积英伟达,更多的方案正在浮出水面。清华系创业公司无问芯穹,是这个赛道上的一个答题者。不久前,机器之心介绍了来自无问芯穹(Infinigence AI)、清华大学和上海交通大学的联合团队所提出的一种新方法 FlashDecoding 。这项工作不仅能将 GPU 推理提速 2-4 倍,还能同时支持 NVIDIA 和 AMD 的 GPU

全球首个支持单任务千卡规模异构芯片混合训练平台,来自无问芯穹

“打开水龙头前,我们不需要知道水是从哪条河里来的。同理,未来我们用各种 AI 应用时,也不会知道它调用了哪些基座模型,用到了哪种加速卡的算力——这就是最好的 AI Native 基础设施。”7月4日,在2024年世界人工智能大会AI基础设施论坛上,无问芯穹联合创始人兼CEO夏立雪发布了无问芯穹大规模模型的异构分布式混合训练系统,千卡异构混合训练集群算力利用率最高达到了97.6%。同时,夏立雪宣布无问芯穹Infini-AI云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台,具备万