Mirasol3B - AI在线

规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。最近，来自 Google DeepMind 的研究团队将多模态模型解耦成多个独立的、专门的自回归模型，根据各种模态的特征来处理输入。具体来说，该研究提出了多模态模型 Mirasol3B。Mirasol3B 由时间同步模态（音频和视频）自回归组件，以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对