近期，随着多模态大模型（LMM） 的才能不断进步，评价 LMM 性能的需求也日益增长。与此同时，在华文环境下评价 LMM 的高级常识和推理才能的重要性更加突出。
在这一背景下，M-A-P 开源社区、港科大、滑铁卢大学、零一万物等联合推出了面向华文大规模多学科多模态了解和推理基准 CMMMU（Chinese Massive Multi-discipline Multimodal Understanding and Reasoning），用于评价基本模型在华文各种任务中的专家级多模式了解才能。
CMMMU 涵盖 6 个大类学科，包括艺术、商业、健康和医学、科学、人文与社会科学、技术与工程，跨越 30 多个细分领域学科。下图给出了每个细分领域学科的一个标题示例。CMMMU 是第一个在华文背景下的多模态基准，也是现有少数的考察 LMM 复杂了解和推理才能的多模态基准之一。
数据集构建
数据采集
数据采集分为三个阶段，第一阶段由研究者们为每一个科目收集满足版权许可要求的标题来源（网页或者书籍），同时避免题源重复，然后第二阶段，研究者们将题源转发给众包标注者以进行进一步的标注。所有的标注者都是本科生或更高的学位，以确保他们可以验证标注的课题和相关的解释。在标注过程中，研究者要求标注者严格遵循标注原则，比如过滤掉不用图片就能回覆的课题、尽可能地过滤掉使用相同图象的课题与不需要专家常识来回覆的课题等。最后第三阶段，研究者为了平衡数据集中每一科目标题数量，对课题收集较少的科目专门进行补充。
数据集清洗
为了进一步提高 CMMMU 的数据质量，研究者们遵循严格的数据质量控制协议。首先，每个课题都由至少一位论文作者手工验证。其次，考虑到数据污染课题，他们也过滤掉了在不借助 OCR 的情况下，几个 LLM 也可以回覆出的课题。
数据集概览
CMMMU 由 12K 个标题组成，分为少样本开发集、验证集和尝试集。少样本开发集包括每个学科 5 个左右的标题，验证集抽样出 900 个标题，尝试集包括 11K 标题。标题中的图片包括病理图、乐谱图、电路图、化学结构图等等，共 39 种类型。他们根据逻辑难度而不是智力难度将数据分为简单 (30%)、中等 (58%) 和困难 (12%) 三种难度。更多标题统计信息在表 2 和表 3 中展示。
实验
团队尝试了多种主流的中英文双语 LMM 以及几个 LLM 在 CMMMU 上的表现。其中包含了闭源和开源模型。评价过程使用 zero-shot 设置，而不是微调或者 few-shot 设置，以检查模型的原始才能。LLM 还加入了图片 OCR 结果 + text 作为输入的实验。所有的实验都是在 NVIDIA A100 图形处理器上进行的。
主要结果
表 4 展示了实验结果：
一些重要发现包括：
– CMMMU 比 MMMU 更具挑战性，且这是在 MMMU 已经非常具有挑战性的前提下。
GPT-4V 在华文语境下的准确率仅为 41.7% ，而在英语语境下的准确率为 55.7% 。这表明，现有的跨语言泛化方法甚至对于最先进的闭源 LMM 都不够好。
– 与 MMMU 相比，国内具有代表性的开源模型与 GPT-4V 之间的差距相对较小。
Qwen-VL-Chat 和 GPT-4V 在 MMMU 上的差异为 13.3% ，而 BLIP2-FLAN-T5-XXL 和 GPT-4V 在 MMMU 上的差异为 21.9% 。令人惊讶的是，Yi-VL-34B 甚至将 CMMMU 上开源双语 LMM 和 GPT-4V 之间的差距缩小到了 7.5% ，这意味着在华文环境下，开源双语 LMM 与 GPT-4V 相当，这在开源社区中是一个有希望的进步。
– 在开源社区中，追求华文专家多模态人工通用智能 (AGI) 的游戏才刚刚开始。
团队指出，除了最近发布的 Qwen-VL-Chat、 Yi-VL-6B 和 Yi-VL-34B 外，所有来自开源社区的双语 LMM 只能达到与 CMMMU 的frequent choice 相当的精度。
对不同标题难度和题型的分析
– 不同标题类型
Yi-VL 系列、 Qwen-VL-Plus 和 GPT-4V 之间的差异主要还是因为它们回覆选择题的才能不同。
不同标题类型的结果如表 5 所示：
– 不同标题难度
结果中值得注意的是，最好的开源 LMM (即 Yi-VL-34B) 和 GPT-4V 在面对中等和困难的课题时存在较大的差距。这进一步有力地证明，开源 LMM 和 GPT-4V 之间的关键差异在于在复杂条件下的计算和推理才能。
不同标题难度的结果如表 6 所示：
故障分析
研究者们仔细分析了 GPT-4V 的故障答案。如下图所示，故障的主要类型有感知故障、缺乏常识、推理故障、拒绝回覆和注释故障。分析这些故障类型是了解当前 LMM 的才能和局限性的关键，也可以指导未来设计和培训模型的改进。
– 感知故障 (26%) : 感知故障是 GPT-4V 产生故障示例的主要原因之一。一方面，当模型无法了解图象时，会引入对图象基本感知的偏差，从而导致不正确的响应。另一方面，当模型遇到特定领域常识、隐含意义或不明确的公式中的歧义时，它往往表现出特定领域的知觉故障。在这种情况下，GPT-4V 倾向于更多地依赖基于文本信息的回覆 (即课题和选项) ，优先考虑文本信息而不是视觉输入，从而导致了解多模态数据的偏差。
– 推理故障 (26%) : 推理故障是 GPT-4V 产生故障例子的另一个主要因素。在模型正确地感知到图象和文本所传达的意义的情况下，在解决需要复杂逻辑和数学推理的课题时，推理过程中仍会出现故障。通常，这种故障是由于模型较弱的逻辑和数学推理才能造成的。
– 缺乏常识 (22%) : 缺乏专业常识也是 GPT-4V 故障作答的原因之一。由于 CMMMU 是评价 LMM 专家 AGI 的基准，因此需要不同学科和子领域的专家级常识。因此，将专家级常识注入 LMM 也是可以努力的方向之一。
– 拒绝回覆 (12%) : 模型拒绝回覆也是一种常见的现象。通过分析，他们指出模型拒绝回覆课题的几个原因: (1) 模型未能从图象中感知到信息；(2) 是涉及宗教课题或个人现实生活信息的课题，模型会主动回避；(3) 当课题涉及性别和主观因素时，模型避免直接提供答案。
– 其他故障：其余的故障包括文本了解故障 (7%)、标注故障 (2%) 和答案提取故障 (5%)。这些故障是由于复杂的结构跟踪才能、复杂的文本逻辑了解、响应生成的局限性、数据标注的故障以及答案匹配提取中遇到的课题等多种因素造成的。
结论
CMMMU 基准尝试标志着高级通用人工智能 (AGI) 开发的重大进展。CMMMU 的设计是为了严格评价最新的大型多模态模型 (LMMs) ，并尝试基本的感知技能，复杂的逻辑推理，以及在特定领域的深刻专业常识。该研究通过比较中英双语语境下 LMM 的推理才能，指出其中的差异。这种详尽的评价对于判定模型水平与各个领域经验丰富的专业人员的熟练程度的差距至关重要。