将多模态大模型稀薄化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B
对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型机能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。基于此，来自北京大学、中山大学等机构的钻研者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning。MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀薄模型，并有效解决通常与多模态学习和模型稀薄性相关的机能下降问题。…- 7
- 0
稀薄模型
扫码打开当前页
- ￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×