4M-21

当前的多模态和多恣意基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受分歧输入和施行分歧恣意的开箱即用能力，受到它们接受训练的模态和恣意的数量（通常很少）的限制。基于此，来自洛桑联邦理工学院（EPFL）和苹果的研讨者联合开发了一个恣意到恣意模态单一模型，该模型在数十种高度多样化的模态上进行训练，并对大规模多模态数据集和文本语料库进行协同训练。训练过程中一个关键步骤是对各…