多模态大模型

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

最近一段时间，生成式 AI 技术兴起，众多造车新势力都在探索视觉语言模型与世界模型的新方法，端到端的智能驾驶新技术似乎成为了共同的研究方向。上个月，理想汽车发布了端到端 VLM 视觉语言模型 世界模型的第三代自动驾驶技术架构。此架构已推送千人内测，将智能驾驶行为拟人化，提高了 AI 的信息处理效率，增强了对复杂路况的理解和应对能力。李想曾在公开的分享中表示，面对大部分算法难以识别和处理的罕见驾驶环…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本工作由清华大学朱军教授领衔的基础理论创新团队发起。长期以来，团队着…

7 月 5 日，2024 世界人工智能大会暨人工智能全球治理高级别会议 —“盘古大模型重塑千行万业” 分论坛于上海世博中心举办。在 “盘古大模型做难事解难题，以‘智’重塑千行万业” 主题演讲中，华为云 Marketing 部部长董理斌向出席会议的百余名人工智能范围顶尖专家、业界领军人物分享了盘古大模型 5.0 的全新才能，以及盘古大模型深入高铁、钢铁、工业设计、建筑设计、气象等范围，重塑千行万业的…

2024 年 7 月 5 日，上海 ——2024 世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2024）战略合作伙伴商汤科技召开 “大爱无疆・向新力” 人工智能论坛，发布国内首个所见即所得模型 “日日新 5o”，交互感受对标 GPT-4o，完成崭新 AI 交互形式。通过整合跨模态信息，基于声音、文本、图像和视频等多种形式，国内首个所见即所得模型 “日日新 5o” 带来一种崭新的 AI …

上周日，亚马逊云科技宣布 Mistral AI 的 Mistral Large 模型在Amazon Bedrock上正式可用。随着知名 AI 初创公司 Mistral AI、Anthropic 的前沿的大语言模型（LLM）陆续登陆 Amazon Bedrock，人们在构建生成式 AI 应用程序时，已经有了一系列先进模型的选择。

OpenAI GPT-4V 和 Google Gemini 都展现了非常强的多模态理解才能，推动了多模态大模型（MLLM）快速发展，MLLM 成为了现在业界最热的研究方向。MLLM 在多种视觉-说话开放恣意中夺得了出色的指令跟随才能。尽管以往多模态学习的研究表明不同模态之间能够相互协同和促进，但是现有的 MLLM 的研究主要关注提升多模态恣意的才能，如何平衡模态协调的收益与模态干扰的影响仍然是一个…

大模型手艺正在引领新一轮产业革命，但将其应用于产业制作，仍面临许多挑战，专业知识的缺乏是关键难点。11月5日，香港中文大学终身教授、思谋科技创始人兼董事长贾佳亚受邀参加第六届中国国际进口博览会暨虹桥国际经济论坛开幕式。虹桥论坛上，贾佳亚在主题演讲中表示，“目前，业界还没有一个能真正办事于高端智能制作的大模型。” 贾佳亚在虹桥国际经济论坛上发表主题演讲亟待人工智能手艺提高、释放出产力的产业制作界盼大…