当前大语言模型 (Large Language Models, LLMs) 如 GPT4 在遵循给定图象的开放式指令方面显示出了出色的多模态才智。然而，这些模型的本能严重依赖于对网络结构、训练数据和训练策略等方案的选择，但这些选择并没有在先前的文献中被广泛讨论。此外，目前也缺乏合适的基准 (benchmarks) 来评价和比较这些模型，限制了多模态 LLMs 的 发展。
论文：https://arxiv.org/abs/2307.02469
网站：https://lynx-llm.github.io/
代码：https://github.com/bytedance/lynx-llm
在这篇文章中，作家从定量和定性两个方面对此类模型的训练进行了系统和全面的研究。设置了 20 多种变体，对于网络结构，比较了不同的 LLMs 主干和模型设计；对于训练数据，研究了数据和采样策略的影响；在指令方面，探讨了多样化提示对模型指令跟随才智的影响。对于 benchmarks ，文章首次提出包括图象和视频任意的开放式视觉问答评价集 Open-VQA。
基于实行结论，作家提出了 Lynx，与现有的开源 GPT4-style 模型相比，它在显示出最准确的多模态理解才智的同时，保持了最佳的多模态生成才智。
评价方案
不同于典型的视觉语言任意，评价 GPT4-style 模型的主要挑战在于平衡文本生成才智和多模态理解准确性两个方面的本能。为了解决这个问题，作家提出了一种包含视频和图象数据的新 benchmark Open-VQA，并对当前的开源模型进行了全面的评价。
具体来说，采用了两种量化评价方案：
收集开放式视觉问答 (Open-VQA) 测试集，其包含关于物体、OCR、计数、推理、动作识别、时间顺序等不同类别的问题。不同于有标准答案的 VQA 数据集，Open-VQA 的答案是开放式的。为了评价 Open-VQA 上的本能，使用 GPT4 作为判别器，其结果与人类评价有 95% 的一致性。
此外，作家采用了由 mPLUG-owl [1] 提供的 OwlEval 数据集来评价模型的文本生成才智，虽然只包含 50 张图片 82 个问题，但涵盖故事生成、广告生成、代码生成等多样问题，并招募人工标注员对不同模型的显示进行打分。
结论
为了深入研究多模态 LLMs 的训练策略，作家主要从网络结构（前缀微调 / 交叉注意力）、训练数据（数据选择及组合比例）、提醒（单一提醒 / 多样化提醒）、LLMs 模型（LLaMA [5]/Vicuna [6]）、图象像素（420/224）等多个方面设置了二十多种变体，通过实行得出了以下主要结论：
多模态 LLMs 的提醒遵循才智不如 LLMs。例如，InstructBLIP [2] 倾向于不管输入指令如何都生成简短的回复，而其他模型倾向于生成长句子而不考虑指令，作家认为这是由于缺乏高质量和多样化的多模态指令数据所导致的。
训练数据的质量对模型的本能至关重要。基于在不同的数据上进行实行的结果，发现使用少量的高质量数据比使用大规模的噪声数据显示得更好。作家认为这是生成式训练和对比式训练的区别，因为生成式训练是直接学习词的条件分布而不是文本和图象的相似度。因此，为了更好的模型本能，在数据方面需要满足两点：1）包含高质量的流畅文本；2）文本和图象内容对齐得较好。
任意和提示对零样本 (zero-shot) 才智至关重要。使用多样化任意和指令可以提升模型在未知任意上的零样本生成才智，这与纯文本模型中的观察结果一致。
平衡正确性和语言生成才智是很重要的。如果模型在下游任意 (如 VQA) 上训练不足，更可能生成与视觉输入不符的编造的内容；而如果模型在下游任意中训练过多，它则倾向于生成短答案，将无法按照用户的提醒生成较长的答案。
前缀微调 (prefix-finetuning, PT) 是目前对 LLMs 进行多模态适配的最佳方案。在实行中，prefix-finetuning 结构的模型能更快地提升对多样化提醒的遵循才智，比交叉注意力 (cross-attention, CA) 的模型结构更易训练。（prefix-tuning 和 cross-attention 为两种模型结构，具体见 Lynx 模型介绍部分）
Lynx 模型
作家提出了 Lynx（猞猁）—— 进行了两阶段训练的 prefix-finetuning 的 GPT4-style 模型。在第一阶段，使用大约 120M 图象 – 文本对来对齐视觉和语言嵌入 (embeddings) ；在第二阶段，使用 20 个图象或视频的多模态任意以及自然语言处理 (NLP) 数据来调整模型的指令遵循才智。
Lynx 模型的整体结构如上图 Figure 1 所示。
视觉输入经过视觉编码器处理后得到视觉令牌 (tokens) $$W_v$$，经过映射后与指令 tokens $$W_l$$ 拼接作为 LLMs 的输入，在本文中将这种结构称为「prefix-finetuning」以区别于如 Flamingo [3] 所使用的 cross-attention 结构。
此外，作家发现，通过在冻结 (frozen) 的 LLMs 某些层后添加适配器 (Adapter) 可以进一步降低训练成本。
模型效果
作家测评了现有的开源多模态 LLMs 模型在 Open-VQA、Mme [4] 及 OwlEval 人工测评上的显示（结果见后文图表，评价细节见论文）。可以看到 Lynx 模型在 Open-VQA 图象和视频理解任意、OwlEval 人工测评及 Mme Perception 类任意中都取得了最好的显示。其中，InstructBLIP 在多数任意中也实现了高本能，但其回复过于简短，相较而言，在大多数情况下 Lynx 模型在给出正确的答案的基础上提供了简明的理由来支撑回复，这使得它对用户更友好（部分 cases 见后文 Cases 展示部分）。
1. 在 Open-VQA 图象测试集上的指标结果如下图 Table 1 所示：
2. 在 Open-VQA 视频测试集上的指标结果如下图 Table 2 所示。
3. 选取 Open-VQA 中得分排名靠前的模型进行 OwlEval 测评集上的人工效果评价，其结果如上图 Figure 4 所示。从人工评价结果可以看出 Lynx 模型具有最佳的语言生成本能。
4. 在 Mme benchmark 测试中，Perception 类任意获得最好的显示，其中 14 类子任意中有 7 个显示最优。（详细结果见论文附录）
Cases 展示
Open-VQA 图片 cases
OwlEval cases
Open-VQA 视频 case
总结
在本文中，作家通过对二十多种多模态 LLMs 变种的实行，确定了以 prefix-finetuning 为主要结构的 Lynx 模型并给出开放式答案的 Open-VQA 测评方案。实行结果显示 Lynx 模型显示最准确的多模态理解准确度的同时，保持了最佳的多模态生成才智。
参考文献
[1] Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, et al. mplug-owl: Modularization empowers large language models with multimodality. arXiv preprint arXiv:2304.14178, 2023.
[2] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards general-purpose vision-language models with instruction tuning. arXiv preprint arXiv:2305.06500, 2023.
[3] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. Advances in Neural Information Processing Systems, 35:23716–23736, 2022.
[4] Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Zhenyu Qiu, Wei Lin, Jinrui Yang, Xiawu Zheng, Ke Li, Xing Sun, and Rongrong Ji. Mme: A comprehensive evaluation benchmark for multimodal large language models. arXiv preprint arXiv:2306.13394, 2023.
[5] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.
[6] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality, March 2023. URL