难度大升级的多义务长视频了解评测基准 MLVU 来了！由智源联合北邮、北大和浙大等多所高校推出。究竟有多难呢？最终排名第一的 GPT-4o 单选正确率还不足 65%。
而且研究发现，大部分模型的机能都会随着视频时长增加昭著下降。
研究进一步证明，提拔上下文窗口，提拔图像了解能力，以及使用更强大的 LLM Backbone 对长视频了解的机能具有昭著的提拔作用。
目前相关论文及数据集已公开，具体细节下面一起看看吧~
MLVU 的构建过程
当前流行的 Video Benchmark 主要针对短视频设计，大部分视频的长度都在 1 分钟以内。
且现有评测基准往往专注在特定领域的视频（例如电影、第一视角）和特定的视频评测义务（例如 Captioning，Temporal Perception，Action Understanding）。
此外，现有部分长视频了解评测义务往往只和局部帧有关，或者针对经典电影从事问答，这导致 MLLMs 可以直接凭借 text prompt 正确回答而无需对视频从事分析。
针对以上不足，新基准 MLVU 从以下 3 个层面从事构建：
时长和来源更丰富
MLVU 的视频时长覆盖了 3 分钟到超过 2 小时，平均视频时长 12 分钟，极大扩展了当前流行的 Video Benchmark 的时长范围。
另外，MLVU 的大部分义务标注过程中从事了片断-成绩对应标注。
例如，Video Summarization 义务分段标注了视频的前 3 分钟，前 6 分钟……
这意味着，MLLMs 可以灵活地在 MLVU 上选择测试不同时长情况下的长视频了解能力。
同时，MLVU 收集了包括电影、电视剧、纪录片、卡通动画片、监控视频、第一视角视频和游戏视频等多个类型的长视频，覆盖了长视频了解的多个领域范围。
义务类别更全面
团队针对长视频了解设计了 9 类不同的义务，并进一步将义务分为三类：全面了解、单细节了解、多细节了解。
全面了解义务：要求 MLLMs 了解和利用视频的全局信息来解决成绩
单细节了解义务：要求 MLLMs 根据成绩定位长视频中的某一细节，并利用该细节来解决成绩
多细节了解义务：要去 MLLMs 定位和了解长视频中的多个相关片断来完成和解决成绩
此外，还包括了单项选择题和开放生成式成绩，全面考察 MLLMs 在不同场景下的长视频了解能力。
以下为 9 大义务的示例：
成绩设置与答案标注更合理
为了突出新旧基准变化，直接以情节问答（Plot Question Answering）义务为例。
假如以电影、电视的角色作为成绩线索来对 MLLMs 从事提问，旧基准的常见成绩有两种。
一是挑“经典”下手，这导致 MLLMs 在没有对视频从事分析的情况下，直接使用了自有知识回答成绩。
另一部分试图避免这个成绩，但由于长视频的复杂性，仅仅利用代词和描述性语句来指代情节细节非常困难。
他们的成绩非常宽泛或者需要在成绩中额外指定具体的时间片断而不是让 MLLMs 自己根据题目寻找对应细节。
MLVU 通过精细的人工标注克服了这些成绩。
在所有的情节问答义务中，MLVU 均使用“具有详细细节的代词”来指代情节中的人物、事件或背景，避免了成绩泄露带来的潜在影响，MLLMs 需要根据成绩提供的线索识别和定位相关片断才能进一步解决成绩。
此外，MLVU 的 Plot QA 成绩具备丰富的多样性，增强了评测的合理性和可靠性。
模型在 MLVU 上的表现
团队在 MLVU 上对 20 个流行的 MLLM 从事了评测，包括开源模型和闭源模型。
实验结果表明，尽管 GPT-4o 在所有义务中均取得了第 1 名，但它的单选平均准确率只有 64.6%。
且所有模型都在需要细粒度了解能力的义务上（单细节、多细节了解义务）表现糟糕。
此外，大部分模型的机能都会随着视频时长增加昭著下降。
另一明显结论是，开源模型和闭源模型之间存在较大的差距。
开源模型中单项选择题机能最强的 InternVL-1.5 单选平均准确度仅有 50.4%；开放生成式题目最强的 LLaMA-Vid 得分仅有 4.22，均远远落后于 GPT-4o 的 64.6% 和 5.80。
不过研究发现，提拔上下文窗口，提拔 MLLM 的图像了解能力，以及使用更强大的 LLM Backbone 对长视频了解的机能具有昭著的提拔作用。
这揭示了未来 MLLMs 在提拔长视频了解能力的重要改进方向。
论文：
https://arxiv.org/abs/2406.04264
项目链接：
https://github.com/JUNJIE99/MLVU
本文来自微信公众号：量子位（ID：QbitAI），作者：关注前沿科技