视觉
阿里开源R1-Omni，DeepSeek同款RLVR首度结合全模态情感识别，网友：可解释性+多模态学习=下一代AI
首次将DeepSeek同款RLVR应用于全模态LLM，含视频的那种！ 眼睛一闭一睁，阿里通义实验室薄列峰团队又开卷了，哦是开源，R1-Omni来了。 同样在杭州，这是在搞什么「开源双feng」（狗头保命）？
武大等发布大视觉模型最新安全综述：全面分类攻击策略、防御机制和评估方法
随着GPT-4o与Qwen-VL等模型的视觉理解和多模态生成能力逐渐打破众人认知，大型视觉语言模型（LVLMs）正以前所未有的速度重塑AI世界，这些能够理解视觉信息并生成自然语言响应的智能系统，已在医疗诊断、自动驾驶、金融风控等关键领域崭露头角。 然而，当研究者仅用几百美元就能突破顶级模型的安全防线、简单的对抗噪声图片就能让模型输出危险内容，我们是否该感到担心？ 近期，武汉大学、中国科学技术大学和南洋理工大学的研究团队发布了一篇综述，系统性总结了LVLMs在安全性上的挑战，并提出了全面而系统的安全分类框架。
华科字节推出 Liquid：重新定义多模态模型的生成与理解
近年来，大语言模型（LLM）在人工智能领域取得了显著进展，尤其是在多模态融合方面。 华中科技大学、字节跳动与香港大学的联合团队最近提出了一种新型的多模态生成框架 ——Liquid，旨在解决当前主流多模态模型在视觉处理上的局限性。 传统的多模态大模型依赖复杂的外部视觉模块，这不仅增加了系统的复杂性，还限制了其扩展性。
阿里通义实验室开源视觉文档RAG系统ViDoRAG，准确率达79.4%
近日，阿里巴巴通义实验室宣布开源其最新研发成果——ViDoRAG，这是一款专为视觉文档理解设计的检索增强生成（RAG）系统。 ViDoRAG在GPT-4o模型上的测试显示，其准确率达到了令人瞩目的79.4%，相较传统RAG系统提升了10%以上。 这一突破标志着视觉文档处理领域迈出了重要一步，为人工智能在复杂文档理解上的应用提供了新的可能性。
Adobe 联合高校推出 METAL 框架：多智能体协作生成精准图表
在当今数据可视化领域，生成准确反映复杂数据的图表仍然是一项微妙的挑战。 图表不仅需要捕捉精确的布局、色彩和文本位置，还需将这些视觉细节转化为代码，以重现预期的设计。 然而，传统方法通常依赖于直接提示视觉 - 语言模型（VLM），如 GPT-4V，这在将复杂视觉元素转化为语法正确的 Python 代码时，常常遇到困难。
识别高分低能，综合性视觉语言理解新基准，五项挑战评估多模态模型的推理能力
多模态模型在学术基准测试中获得高分，到了真实世界应用时却表现不及预期，该如何分辨？ 新的综合性视觉语言理解基准JourneyBench，利用基于diffusion模型提示生成的图像，并采用一种新颖的人机闭环框架，通过五项具有挑战性的任务来评估多模态模型的推理能力：多模态链式数学推理 (Multimodal Chain-of-Thought)多图像视觉问答 (Multi-image VQA)细粒度跨模态检索 (Fine-grained Cross-modal Retrieval)包含幻觉触发的开放式视觉问答 (VQA with Hallucination Triggers)非常见图像的描述 (Unusual Image Captioning)JourneyBench由哥伦比亚大学、弗吉尼亚理工和加州大学洛杉矶分校的团队提出，是Google Deepmind的多模态(Gemini)团队提出的HaloQuest, ECCV 2024的衍生工作。 HaloQuest的第一作者联合哥伦比亚大学、弗吉尼亚理工和加州大学洛杉矶分校构建了一个综合性的视觉语言理解的训练以及评价基准JourneyBench。
港理工OccProphet：纯视觉Occ SOTA！速度提升至2.6倍，内存占用减少60%
本文分享一篇由香港理工大学最近公开的发表于ICLR2025的论文『OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework』。 作者在文中提出了一个轻量级的观察器-预报器-细化器框架OccProphet来实现高效的未来4D占用预测。 OccProphet在nuScenes、 Lyft-Level5和nuScenes-Occupancy等多个数据集上取得最先进的4D占用预测性能，成本减少近80%！
Zero-shot重建物理高斯资产，清华&光轮视觉大模型让机器人理解物理属性｜ICRA 2025
理解物体的物理属性，对机器人执行操作十分重要，但是应该如何实现呢？ 光轮智能与清华AIR、同济大学等机构联合提出了一种基于3D高斯溅射的方法——PUGS（Zero-shot Physical Understandingwith Gaussian Splatting）无需训练、零样本，它就能够从多视角图像中重建物体，并对各种指定的物理属性进行密集重建。 该论文已被ICRA 2025接收。
多模态大模型事实正确性评估：o1最强，模型普遍过于自信，最擅长现代建筑/工程技术/科学
OpenAI o1视觉能力还是最强，模型们普遍“过于自信”！ 这个结果来自首个面向事实知识的中文视觉问答基准ChineseSimpleVQA。 该基准测试包含2200个高质量问题，覆盖了8个主要话题和56个子话题，这些问题涉及从人文到科学和工程等多个领域，由淘天集团未来生活实验室团队推出。
DeepSeek、OpenAI、Kimi视觉推理到底哪家强？港中文MMLab推出推理基准MME-COT
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？ 为此，来自港中文MMLab的研究者们提出了MME-CoT。 这是一个全面且专门用于评估LMMs中视觉推理能力的Benchmark，包括了数学、科学、OCR、逻辑、时空和通用场景。
IC-Portrait：打造逼真个性化肖像的新纪元
在数字内容创作、虚拟形象、游戏和增强现实等领域，肖像生成已成为计算机图形学研究的热点。 尽管近年来肖像生成模型取得了显著进展，能够生成越来越逼真和吸引人的肖像，但仍面临诸多挑战。 今天，给大家介绍一种个性化肖像生成框架IC-Portrait，该框架引入了一种创建逼真肖像图像的创新方法。
全球顶级AI科学家许主洪加盟阿里！IEEE Fellow，五万被引论文数，曾任Salesforce集团副总裁
AI的新进展频频，人才动态也愈加重磅。 新年第一则大牛人事动向，引发业内关注。 许主洪，IEEE Fellow，新加坡管理大学终身教授，被曝加盟阿里。
阿里云通义开源Qwen2.5-VL，视觉理解能力全面超越GPT-4o
1月28日凌晨，阿里云通义千问开源全新的视觉模型Qwen2.5-VL，推出3B、7B和72B三个尺寸版本。 其中，旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军，全面超越GPT-4o与Claude3.5。 新的Qwen2.5-VL能够更准确地解析图像内容，突破性地支持超1小时的视频理解，无需微调就可变身为一个能操控手机和电脑的AI视觉智能体（Visual Agents），实现给指定朋友送祝福、电脑修图、手机订票等多步骤复杂操作。
复盘旷视十三年：高光、谷底与重生
01 年轻人的时代印奇对人工智能的执著，比旷视成立要早几年。 2006 年，这个 88 年出生的安徽小伙在清华自主招生考试与全国高考中均取得十分优秀的成绩。 报考专业时，他特地询问招生办的老师：“我想研究人工智能，应该选什么系？
视觉语言模型安全升级，还不牺牲性能！技术解读一文看懂｜淘天MMLab南大重大出品
模型安全和可靠性、系统整合和互操作性、用户交互和认证……当“多模态”“跨模态”成为不可阻挡的AI趋势时，多模态场景下的安全挑战尤其应当引发产学研各界的注意。 应对挑战，淘天集团未来生活实验室团队联手南京大学、重庆大学、港中文MMLab提出了一种全新的视觉语言模型（VLM）安全对齐方法，PSA-VLM（Progressive Safety Alignment for Vision-Language Models）。 PSA-VLM通过基于概念瓶颈模型（CBM）的架构创新，允许模型在生成答案时干预模型的中间层概念预测，从而优化大模型的最终回复，显著提升VLM在应对视觉安全风险方面的性能。
真正实时地图更新！GS-LIVO：首个可部署在资源受限嵌入式系统上的实时高斯SLAM框架
本文经3D视觉之心公众号授权转载，转载请联系出处。 实时地图更新近年来，随着同步定位与建图（SLAM）技术的发展，出现了多种显式地图表示方法，包括稠密彩色点云、稀疏基于块的结构，以及基于网格或基于曲面元素（surfel）的重建。 这些形式通常与基于特征的方法或直接方法相结合，在无人机和移动机器人等平台上支持高效、实时操作。
会捡垃圾、能干家务，元萝卜“视觉+机械臂”技术扫地机器人应用首秀
在2025开年科技盛宴CES（国际消费电子展）上，AI机器人无疑成为全场焦点，而其中来自中国科技企业展示和发布的仿生多关节机械手技术在扫地机器人产品上的应用，更获得了全球媒体的高度关注。 通过将视觉感知与机械臂技术相结合，能够自主完成拾取垃圾入桶等任务，不仅展示了家用机器人发展的未来形态，也让大众看到了具身智能机器人融入家庭生活的广阔前景。 随着大模型技术和具身智能浪潮汹涌而至，家用机器人正迎来全新发展机遇，中国企业的创新力也愈发凸显。
性能爆拉30%！英伟达DreamDrive：时空一致下的生成重建大一统新方案~
写在前面 & 笔者的个人理解从自车的驾驶轨迹中生成真实的视觉图像是实现自动驾驶模型可扩展训练的关键一步。 基于重建的方法从log中生成3D场景，并通过神经渲染合成几何一致的驾驶视频，但它们对昂贵标注的依赖限制了它们在野外驾驶场景中的泛化能力。 另一方面，生成模型可以以更通用的方式合成动作条件驾驶视频，但往往难以保持3D视觉的一致性。