多模态言语模型

最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。现实世界本质上是多模态的，生物体通过不同的渠道感知和交换信息，包括视觉、言语、声音和触觉。开发多模态系统的一个有望方向是增强 LLM 的多模态感知能力，主要涉及多模态编码器与言语模型的集成，从而使其不妨跨各种模态处理信息，并利用 LLM 的文本处理能力来产生连贯的响应。然而，该策略仅限于文本生…