MoE-LLaVA 框架

对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型机能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。基于此，来自北京大学、中山大学等机构的钻研者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀薄模型，并有效解决通常与多模态学习和模型稀薄性相关的机能下降问题。…