MoE-Tuning

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。基于此，来自北京大学、中山大学等机构的研究者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀疏模型，并有效解决通常与多模态学习和模型稀疏性相关的性能下降问题。该研究还提出了一种基于 MoE 的新型稀疏 LVLM 架构 ——MoE-LLaVA 框架。该框架独特地在部署过程中通过路

1/31/2024 3:01:00 PM

机器之心

资讯热榜

早鸟票倒计时3天｜第四届全国大模型智能生成大会（LMG 2025）美国女子使用ChatGPT生成号码购彩中奖10万美元：概率事件而非AI预测能力 OpenAI 紧急暂停 Sora生成马丁・路德・金形象，AI 视频生成引发热议！全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成 AI智能体的未来要等十年？Karpathy直言目前的技术还很 “菜”！ LLM的“记忆”与“推理”该分家了吗？一种全新的训练范式，彻底厘清思考流程密歇根州女子靠 ChatGPT 生成号码，赢得10万美元强力球大奖

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片腾讯 Stable Diffusion AI for Science 苹果 Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成大语言模型百度 RAG Sora 具身智能工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉预测 Transformer 编程生成式AI 伟达 AI模型特斯拉 Copilot