MMMU

最强的GPT-4V都考不过?基于大学考试的测试基准MMMU诞生了

目前最好的大型多模态模型 GPT-4V 与大学生谁更强?我们还不知道,但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索,如下排行榜所示。看起来,GPT-4V 在一些科目上已经强过挂科的大学生了。当然这个数据集的创造目的并不为了击败大学生,而是为了提供一个兼具深度与广度的多模态 AI 测试基准,助力人工智能系统的开发,尤其是通用人工智能(Artificial General Intelligence,AGI)。随着大型语言模型(LLM)快速发展,人们对 AGI 这一颇具争议的概念进行了
  • 1