多模态大模型（Multimodal Large Language Models，MLLM）是一种结合了大型语言模型（LLM）和大型视觉模型（LVM）的深度学习模型，它们能够处理和理解多种类型的数据，如文本、图像和音频，从而在跨模态任务中展现出卓越的性能。
核心特点
对于多模态输入-文本输出的典型 MLLM，其架构一般包括编码器、连接器以及 LLM。如要支持更多模态的输出(如图片、音频、视频)，一般需要额外接入生成器，如下图所示:
MLLM 架构图
模态编码器负责将原始的信息(如图片)编码成特征，连接器则进一步将特征处理成LLM 易于理解的形式，即视觉 Token。LLM 则作为“大脑”综合这些信息进行理解和推理，生成回答。目前，三者的参数量并不等同，以 Qwen-VL[1]为例，LLM 作为“大脑”参数量为 7.7B，约占总参数量的 80.2%，视觉编码器次之(1.9B，约占 19.7%)，而连接器参数量仅有 0.08B。
对于视觉编码器而言，增大输入图片的分辨率是提升性能的有效方法。一种方式是直接提升分辨率，这种情况下需要放开视觉编码器进行训练以适应更高的分辨率，如 Qwen-VL[1]等。另一种方式是将大分辨率图片切分成多个子图，每个子图以低分辨率送入视觉编码器中，这样可以间接提升输入的分辨率，如 Monkey[2]等工作。
对于预训练的 LLM，常用的包括 LLaMA[3]系列、Qwen[4]系列和 InternLM[5]系列等，前者主要支持英文，而后两者中英双语支持得更好。就性能影响而言，加大 LLM 的参数量可以带来显著的性能增益，如 LLaVA-NeXT[6]等工作在 7B/13B/34B 的 LLM 上进行实验，发现提升LLM 大小可以带来各 benchmark 上的显著提升，在 34B 的模型上更涌现出 zero-shot 的中文能力。除了直接增大 LLM 参数量，近期火热的 MoE 架构则提供了更高效实现的可能性，即通过稀疏计算的方式，在不增大实际计算参数量的前提下提高总的模型参数量。
相对前两者来说，连接器的重要性略低。例如，MM1[7]通过实验发现，连接器的类型不如视觉 token 数量(决定之后 LLM 可用的视觉信息)及图片的分辨率(决定视觉编码器的输入信息量)重要。
数据与训练
MLLM 的训练大致可以划分为预训练阶段、指令微调阶段和对齐微调阶段。预训练阶段主要通过大量配对数据将图片信息对齐到 LLM 的表征空间，即让 LLM 读懂视觉 Token。指令微调阶段则通过多样化的各种类型的任务数据提升模型在下游任务上的性能，以及模型理解和服从指令的能力。对齐微调阶段一般使用强化学习技术使模型对齐人类价值观或某些特定需求(如更少幻觉)。
影响对齐的效果。后来的工作则探索使用更干净、文本内容更丰富的数据做对齐。由于数据规模受限，其包含的世界知识也是有限的，比如是否能够识别出图像中的建筑为广州塔。此类世界知识通常储备于大规模的粗粒度图文对中。
第二阶段的微调数据一方面可以来源于各种任务的数据，如 VQA 数据、OCR 数据等，也可以来源于 GPT-4V 生成的数据，如问答对。虽然后者一般能够生成更复杂、更多样化的指令数据，但这种方式也显著地增加了成本。值得一提的是，第二阶段的训练中一般还会混合部分纯文本的对话数据，这类数据可以视为正则化的手段，保留 LLM 原有的能力与内嵌知识。
第三阶段的数据主要是针对于回答的偏好数据。这类数据通常由人工标注收集，因而成本较高。近期出现一些工作使用自动化的方法对来自不同模型的回复进行偏好排序，如 Silkie[9]通过调用 GPT-4V 来收集偏好数据。
1. 模态融合：MLLM通过融合不同模态的数据，如图像和文本，增强了模型对信息的理解和处理能力。2. 跨模态表示学习：MLLM学习跨模态数据之间的关联，实现更深层次的语义理解。3. 端到端训练：MLLM通过模态对齐技术，实现了不同模态间的有效整合。
技术方向
多模态幻觉的研究主要关注模型生成的回答与图片内容不符的问题。视觉和文本本质上是异构的信息，完全对齐两者本身就具有相当大的挑战。增大图像分辨率和提升训练数据质量是降低多模态幻觉的两种最直观的方式，此外我们仍然需要在原理上探索多模态幻觉的成因和解法。例如，当前的视觉信息的 Token 化方法、多模态对齐的范式、多模态数据和 LLM 存储知识的冲突等对多模态幻觉的影响仍需深入研究。
多模态上下文学习技术为少样本学习方法，旨在使用少量的问答样例提示模型，提升模型的few-shot 性能。提升性能的关键在于让模型有效地关注上下文，并将内在的问题模式泛化到新的问题上。以 Flamingo[10]为代表的工作通过在图文交错的数据上训练来提升模型关注上下文的能力。目前对于多模态上下文学习的研究还比较初步，有待进一步探索。
多模态思维链的基本思想是通过将复杂的问题分解为较简单的子问题，然后分别解决并汇总。相较于纯文本的推理，多模态的推理涉及更多的信息来源和更复杂的逻辑关系，因此要复杂得多。当前该方面的工作也比较少。
LLM 辅助的视觉推理方法探索如何利用 LLM 强大的内嵌知识与能力，并借助其他工具，设计各种视觉推理系统，解决各种现实问题。相比于通过端到端训练获得单一模型，这类方法一般关注如何通过免训练的方式扩展和加强 LLM 的能力，从而构建一个综合性的系统。
应用场景
多模态大模型作为人工智能领域的重要研究方向之一，通过模态融合和跨模态表示学习技术，能够更好地处理和理解跨模态数据，为人工智能领域的发展带来新的机遇和挑战。随着技术的不断成熟和应用场景的不断拓展，多模态大模型将在各个领域发挥越来越重要的作用。
1.多模态情感分析：结合文本、图像、音频等多种模态的数据进行情感分析，例如识别社交媒体上用户的情绪状态。
2.多模态问答系统：利用文本、图像等多种数据模态来回答用户提出的问题，例如结合图像和文本来回答关于特定场景的问题。
3.跨模态推荐系统：结合用户的文本描述、点击行为、图像偏好等多种数据模态来进行个性化推荐，提高推荐系统的准确性和用户体验。
4.多模态翻译：结合文本和图像等多种数据模态进行跨语言翻译，例如将图像中的文字翻译成其他语言。
5.智能辅助：多模态大模型还可以用于智能辅助领域，例如辅助盲人识别周围环境的图像信息、识别声音中的指令等。
6.办公自动化：在办公领域，多模态大模型可以应用于智能文档处理、会议记录、语音助手等，通过自然语言理解和生成技术，辅助用户完成复杂的办公任务。、
7.电子商务：在电商领域，多模态大模型可用于商品推荐、智能客服、虚拟试衣等场景，通过分析用户的购物历史和偏好，为用户提供个性化的购物体验。
8.娱乐产业：多模态大模型在娱乐产业中的应用包括游戏设计、虚拟偶像、电影制作等，通过生成高质量的图像和视频内容，为娱乐产业带来全新的创作方式和商业模式。
9.教育领域：在教育领域，多模态大模型可用于智能辅导、在线课堂、虚拟实验室等场景，提供个性化的学习资源和互动体验，帮助学生更好地掌握知识和技能。
10.医疗健康：在医疗健康领域，多模态大模型可用于医疗影像分析、疾病诊断、药物研发等场景，通过处理和分析大量的医疗数据，为医生提供更准确的诊断建议和治疗方案。
挑战和未来方向
针对 MLLM 的研究现状，我们进行了深入思考，将挑战与可能的未来发展方向总结如下:
- 现有 MLLM 处理多模态长上下文的能力有限，导致模型在长视频理解、图文交错内容理解等任务中面临巨大挑战。以 Gemini 1.5 Pro 为代表的 MLLM 正在掀起长视频理解的浪潮，而多模态图文交错阅读理解（即长文档中既有图像也有文本）则相对空白，很可能会成为接下来的研究热点。
- MLLM 服从复杂指令的能力不足。例如，GPT-4V 可以理解复杂的指令来生成问答对甚至包含推理信息，但其他模型这方面的能力则明显不足，仍有较大的提升空间。
- MLLM 的上下文学习和思维链研究依然处于初步阶段，相关的能力也较弱，亟需相关底层机制以及能力提升的研究探索。
- 开发基于 MLLM 的智能体是一个研究热点。要实现这类应用，需要全面提升模型的感知、推理和规划能力。
- 安全问题。MLLM 容易受设计的恶意攻击影响，生成有偏的或不良的回答。该方面的相关研究也仍然欠缺。
- 目前 MLLM 在训练时通常都会解冻 LLM，虽然在训练过程中也会加入部分单模态的文本训练数据，但大规模的多模态和单模态数据共同训练时究竟对彼此互有增益还是互相损害仍然缺乏系统深入的研究。