苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言

感谢苹果公司旗下研究团队近日在 ArXiv 中公布了一篇名为《MM1:Methods, Analysis & Insights from Multimodal LLM Pre-training》的论文,其中介绍了一款 “MM1”多模态大模型,该模型提供 30 亿、70 亿、300 亿三种参数规模,拥有图像识别和自然语言推理能力。IT之家注意到,苹果研究团队相关论文主要是利用 MM1 模型做实验,通过控制各种变量,找出影响模型效果的关键因素。研究表明,图像分辨率和图像标记数量对模型性能影响较大,视觉语言连接器对模型的
感谢苹果公司旗下研究团队近日在 ArXiv 中公布了一篇名为《MM1:Methods, Analysis & Insights from Multimodal LLM Pre-training》的论文,其中介绍了一款 “MM1”多模态大模型,该模型提供 30 亿、70 亿、300 亿三种参数规模,拥有图像识别和自然语言推理能力。

苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言

IT之家注意到,苹果研究团队相关论文主要是利用 MM1 模型做实验,通过控制各种变量,找出影响模型效果的关键因素。

研究表明,图像分辨率和图像标记数量对模型性能影响较大,视觉语言连接器对模型的影响较小,不同类型的预训练数据对模型的性能有不同的影响。

苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言

苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言

据介绍,研究团队首先在模型架构决策和预训练数据上进行小规模消融实验。之后利用混合专家(Mixture of Experts)架构及一种名为 Top-2 Gating 的方法构建了 MM1 模型,号称不仅在预训练指标中实现了最好的性能表现,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。

研究人员对“MM1”模型进行了测试,号称 MM1-3B-Chat 和 MM1-7B-Chat 优于市面上绝大多数相同规模的模型。MM1-3B-Chat 和 MM1-7B-Chat 在 VQAv2、TextVQA、ScienceQA、MMBench、MMMU 和 MathVista 中表现尤为突出,但是整体表现不如谷歌的 Gemini 和 OpenAI 的 GPT-4V。

苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言

相关资讯

首批中文版Llama3模型来了,解释成语、答弱智吧问题

中文问题,中文回答。最近,Meta 推出了 Llama 3,为开源大模型树立了新的标杆。和以往的原始 Llama 模型一样,Llama 3 对中文的支持效果欠佳,经常会出现你用中文提问,它用英文或中文 英文回复的现象。因此,要想让国内用户用上该模型,开发者还需对其进行微调。最近,在 Github 以及 HuggingFace 平台上,我们已经陆陆续续地看到了一些这样的项目,比如 llama3-Chinese-chat 和 Llama3-8B-Chinese-Chat。这篇文章将逐一介绍。llama3-Chinese

苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人

苹果也在搞自己的大型多模态基础模型,未来会不会基于该模型推出相应的文生图产品呢?我们拭目以待。今年以来,苹果显然已经加大了对生成式人工智能(GenAI)的重视和投入。此前在 2024 苹果股东大会上,苹果 CEO 蒂姆・库克表示,今年将在 GenAI 领域实现重大进展。此外,苹果宣布放弃 10 年之久的造车项目之后,一部分造车团队成员也开始转向 GenAI。如此种种,苹果向外界传达了加注 GenAI 的决心。目前多模态领域的 GenAI 技术和产品非常火爆,尤以 OpenAI 的 Sora 为代表,苹果当然也想要在

报名通道开启!CVPR 2021 NAS国际竞赛邀全球开发者迎接挑战

CVPR作为计算机视觉领域和模式识别领域的世界级学术顶会,不仅是展示前沿科技成果的学术会议,也是探索学术应用的一大平台。今年,百度联合澳大利亚悉尼科技大学和美国北卡罗来纳大学举办CVPR 2021 NAS workshop,同时于3月1日正式启动CVPR 2021 NAS国际竞赛,面向全球开发者开放报名通道。人脸识别、语音识别、机器翻译……每一项人工智能应用的背后都离不开AI技术算法模型,而神经网络结构对最终模型的效果起着至关重要的作用。为降低传统神经网络结构对人工经验和背景知识的依赖,近年来神经网络结构搜索(NA