多模态模型

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。

计算、存储消耗高，机器人使用多模态模型的障碍被解决了！ 来自清华大学的研究者们设计了DeeR-VLA框架，一种适用于VLA的“动态推理”框架，能将LLM部分的相关计算、内存开销平均降低4-6倍。 （VLA：视觉-语言-动作模型，代表一类用于处理多模态输入的模型）简单来说，DeeR-VLA就像人的决策系统：简单任务快速思考，复杂任务仔细思考。

在 GPT-4 发布一年多后，OpenAI 推出 GPT-4o，是有史以来第一个真正实现「多模态输入—多模态输出」的多模态模型。 GPT-4o 的出现所传递的信息是：在底层模型并没有变得更智能的情况下，能够跨多种模态进行推理的模型必然是更加通用的。 因为其不仅具备多种功能，还能以不同模态传递知识。