研究者表示，CoDi-2 标志着在开发全面的多模态基础模型领域取得了重大突破。
今年 5 月，北卡罗来纳大学教堂山分校、微软提出一种可组合聚集（Composable Diffusion，简称 CoDi）模型，让一种模型统一多种模态成为可能。CoDi 不仅支持从单模态到单模态的生成，还能接收多个条件输入以及多模态联合生成。
近日，UC 伯克利、微软 Azure AI、Zoom、北卡罗来纳大学教堂山分校等多个机构的研究者将 CoDi 升级到了 CoDi-2。
论文地址：https://arxiv.org/pdf/2311.18775.pdf
项目地址：https://codi-2.github.io/
项目 demo
论文一作 Zineng Tang 表示，「CoDi-2 遵循复杂的多模态交织上下文指令，以零样本或少样本交互的方式生成任何模态（文本、视觉和音频）。」
图源：https://twitter.com/ZinengTang/status/1730658941414371820
可以说，作为一种多功能、交互式的多模态大语言模型（MLLM），CoDi-2 能够以 any-to-any 输入-输入模态范式进行上下文进修、推理、聊天、编辑等义务。通过对齐编码与生成时的模态与语言，CoDi-2 使 LLM 不仅可以理解复杂的模态交织指令和上下文示例， 还能在连续的特色空间内自回归地生成合理和连贯的多模态输入。
而为了训练 CoDi-2，研究者构建了一个大规模生成数据集，包含了跨文本、视觉和音频的上下文多模态指令。CoDi-2 揭示了一系列多模态生成的零样本能力，比如上下文进修、推理以及通过多轮交互对话实现的 any-to-any 模态生成组合。其中在主题驱动图象生成、视觉转换和音频编辑等义务上超越了以往领域特定的模型。
人类与 CoDi-2 的多轮对话为图象编辑供给了上下文多模态指令。
模型架构
CoDi-2 在设计时旨在处理上下文中的文本、图象和音频等多模态输入，利用特定指令促进上下文进修并生成相应的文本、图象和音频输入。CoDi-2 模型架构图如下所示。
将多模态大语言模型作为基础引擎
这种 any-to-any 基础模型可以消化交织式模态输入，理解和推理复杂指令（如多轮对话、上下文示例），并与多模态聚集器交互，实现这一切的前提是需要一个强大的基础引擎。研究者提出将 MLLM 作为这个引擎，它的构建需要为仅文本的 LLM 供给多模态感知。
利用对齐的多模态编码器映照，研究者可以无缝地使 LLM 感知到模态交织的输入序列。具体地，在处理多模态输入序列时，他们首先使用多模态编码器将多模态数据映照到特色序列，然后特殊 token 被添加到特色序列的前后，比如「〈audio〉 〈/audio〉」。
基于 MLLM 的多模态生成
研究者提出将聚集模型（DM）集成到 MLLM 中，从而生成多模态输入，这里遵循细致入微的多模态交织指令和提醒。聚集模型的训练目标如下所示：
接着他们提出训练 MLLM 以生成条件式特色 c = C_y (y)，该特色被馈入到聚集模型中以合成目标输入 x。这样一来，聚集模型的生成损失被用来训练 MLLM。
义务类型
本文提出的模型在以下示例义务类型中显示出强大的能力，它供给了一种独特的办法来提醒模型生成或转换上下文中的多模态实质，包括本文、图象、音频、视频及其组合。
1. 零样本提醒。零样本提醒义务要求模型在没有任何先前示例的情况下进行推理并生成新实质。
2. 一次/少量样本提醒。一次或少量样本提醒为模型供给了一个或几个示例，以便在执行类似义务之前从中进修。这种办法在以下义务中很明显：模型将进修到的概念从一个图象应用到另一个图象，或者通过理解所供给示例中描述的风格来创建一个新的艺术品。
（1）范例进修在要求模型将此进修应用于新实例之前，向模型显式显示期望输入的示例。
（2）概念进修涉及模型从这些给定示例的共享概念/属性中进修，例如艺术风格或模式，然后创建揭示类似概念/属性的新实质。
（3）主题驱动的进修侧重于根据一组供给的图象生成新的实质。
实验及结果
模型设置
本文模型的实现基于 Llama2，特别是 Llama-2-7b-chat-hf。研究者使用 ImageBind ，它具有对齐的图象、视频、音频、文本、深度、thermal 和 IMU 模式编码器。研究者使用 ImageBind 对图象和音频特色进行编码，并通过多层感知器（MLP）将其投射到 LLM（Llama-2-7b-chat-hf）的输入维度。MLP 由线性映照、激活、归一化和另一个线性映照组成。当 LLM 生成图象或音频特色时，他们通过另一个 MLP 将其投射回 ImageBind 特色维度。本文图象聚集模型基于 StableDiffusion2.1 （stabilityai/stable-diffusion-2-1-unclip）、AudioLDM2 和 zeroscope v2。
对于需要更高保真原始输入的图象或音频，研究者还将原始图象或音频输入到聚集模型中，同时通过连接聚集噪声生成特色。这种办法在保留输入实质的最大感知特色方面尤为有效，添加新实质或改变风格等指令编辑也是如此。
图象生成评估
下图揭示了 Dreambench 上主题驱动图象生成的评估结果和 MSCOCO 上的 FID 分数。本文办法实现了极具竞争力的零样本性能，显示了其对未知新义务的泛化能力。
音频生成评估
表 5 揭示了音频处理义务的评估结果，即添加、删除和替换音轨中的元素。从表中可以明显看出，与之前的办法相比，本文办法表现出了卓越的性能。值得注意的是，在所有三个编辑义务中，它在所有指标 — 对数谱距离（LSD）、Kullback-Leibler（KL）发散和 Fréchet Dis- tance（FD）上都取得了最低得分。
阅读原文，了解更多技术细节。