MLLMs

难度大升级的多义务长视频了解评测基准 MLVU 来了！由智源联合北邮、北大和浙大等多所高校推出。究竟有多难呢？最终排名第一的 GPT-4o 单选正确率还不足 65%。而且研究发现，大部分模型的机能都会随着视频时长增加昭著下降。研究进一步证明，提拔上下文窗口，提拔图像了解能力，以及使用更强大的 LLM Backbone 对长视频了解的机能具有昭著的提拔作用。目前相关论文及数据集已公开，具体细节下面一…

感谢苹果公司近日发布研究论文，展示了 Ferret-UI AI 系统，可以懂得应用程序屏幕上的实质。以 ChatGPT 为代表的 AI 大谈话模型（LLMs），其训练材料通常是文本实质。为了能够让 AI 模型能够懂得图象、视频和音频等非文本实质，多模态大谈话模型（MLLMs）因此孕育而生。只是现阶段 MLLMs 还无法有效懂得移动应用程序，这主要有以下几个原因：1. 手机屏幕的宽高比，和大多数训练…