AI在线 AI在线

视觉

视觉SSL终于追上了CLIP！Yann LeCun、谢赛宁等新作，逆转VQA任务固有认知

视觉SSL终于追上了CLIP！Yann LeCun、谢赛宁等新作，逆转VQA任务固有认知
在视觉问题解答（VQA）等多模态环境中，当前视觉自监督学习（SSL）的表现还比不上语言图像预训练（CLIP）。 这种差距通常归因于语言监督引入的语义，尽管视觉 SSL 模型和 CLIP 模型通常在不同的数据上进行训练。 在最近的一项研究中，Yann LeCun、谢赛宁等研究者探讨了一个基本问题： 语言监督对于多模态建模的视觉表征预训练是否必要？
4/3/2025 11:11:50 AM
机器之心
快手可灵AI全面焕新升级 上新“AI音效”、“资产管理”等新功能

快手可灵AI全面焕新升级 上新“AI音效”、“资产管理”等新功能
快手旗下的可灵AI平台宣布进行全面焕新升级。 此次更新以“可灵AI，灵感成真”为核心理念，从视觉体系到交互体验进行了全方位的优化，旨在为创作者提供更高效、更便捷的创意素材生产与管理工具。 在视觉设计方面，可灵AI采用了极简主义风格，全新的Logo设计简洁而富有现代感，搭配自然的排版和黑白主色调，极大地减少了视觉干扰，让创作者的创意能够更加突出地展现出来。
3/28/2025 8:28:00 AM
AI在线
AI “看图说话” 更懂细节！腾讯开源多模态理解技术HaploVL

AI “看图说话” 更懂细节！腾讯开源多模态理解技术HaploVL
3月27日，腾讯开源团队宣布推出了一项创新的多模态理解技术——HaploVL。 这一技术旨在通过单个Transformer架构实现高效的多模态融合，显著提升AI在视觉和语言交互中的表现，特别是在细粒度视觉理解任务上。 在人工智能领域，多模态大模型（LMMs）近年来迅速崛起，它们能够实现复杂的视觉-语言对话和交互。
3/27/2025 5:36:00 PM
AI在线
Groundlight 开源框架，搞定复杂的视觉推理

Groundlight 开源框架，搞定复杂的视觉推理
一直专注于让AI看懂世界的 Groundlight 研究团队，近日放大招，宣布开源了一套全新的 AI 框架!这套框架旨在攻克视觉领域的一大难题——复杂的视觉推理，让AI不仅能“看图识物”，更能像福尔摩斯一样，从图像中推理出更深层次的信息。  我们都知道，现在的AI在识别猫猫狗狗方面已经炉火纯青，但要让它们理解图片背后的逻辑关系，进行更复杂的推理，就常常“卡壳”。 Groundlight 的研究人员指出，当前的视觉语言模型 （VLM） 在理解图像本身尚且不足的情况下，更难以完成需要深度解读的任务。
3/17/2025 3:00:00 PM
AI在线
CVPR'25跨模态因果对齐，让机器更懂视觉证据

CVPR'25跨模态因果对齐，让机器更懂视觉证据
跨模态因果对齐，让机器更懂视觉证据！ 来自中山大学、新加坡南洋理工大学等团队提出跨模态因果对齐框架（CRA），通过因果干预和跨模态对齐，显著提升时空定位的准确性与可解释性。 相关论文已被CVPR 2025接收，代码已开源。
3/17/2025 10:25:28 AM
CVPR 2025：无需物理引擎，一个模型搞定图像渲染与分解

CVPR 2025：无需物理引擎，一个模型搞定图像渲染与分解
无需物理引擎，单个模型也能实现“渲染 逆渲染”了！ 在计算机图形和视觉领域，渲染是指将3D模型变成逼真的2D图片，逆渲染则是从2D图片分析出3D模型的各种属性（如材质、光照等）。 现在，从材质分解（逆渲染）——材质编辑——物体渲染的整个流程，都被统一到了一个框架中，且在性能方面达到了新SOTA。
3/17/2025 9:20:00 AM
量子位
CVPR2025最新！探索3D场景推理问答新高度：双视觉感知网络

CVPR2025最新！探索3D场景推理问答新高度：双视觉感知网络
0.背景信息在人工智能的前沿领域，3D场景问答（3D QA）正在成为视觉与语言理解的关键挑战。 相比于传统的2D视觉问答（VQA），3D QA需要模型不仅能够感知复杂的三维空间结构，还要理解语言描述与场景之间的关系。 然而，目前的3D QA方法大多依赖于3D点云数据，而忽视了多视角图像提供的丰富局部纹理信息，这使得模型在面对小型、扁平物体时表现受限。
3/14/2025 10:26:58 AM
Jingzhou Luo等
迈向视觉大一统：UnifiedReward，多模态生成与理解的通用奖励模型

迈向视觉大一统：UnifiedReward，多模态生成与理解的通用奖励模型
本篇文章来自公众号粉丝投稿，论文提出了一个视觉领域通用的奖励模型UnifiedReward，能够对图像/视频的生成与理解进行pairwise（成对比较）或 pointwise（单样本打分）评估，可用于视觉各领域的直接偏好优化 (DPO)，提升各类视觉模型的表现。 论文介绍近年来，大模型时代的多模态生成与理解技术取得了飞跃式发展。 然而，如何让AI真正“看懂”世界，并更好地对齐人类偏好，仍是一个核心挑战。
3/13/2025 10:18:42 AM
Yibin Wang
阿里开源R1-Omni，DeepSeek同款RLVR首度结合全模态情感识别，网友：可解释性+多模态学习=下一代AI

阿里开源R1-Omni，DeepSeek同款RLVR首度结合全模态情感识别，网友：可解释性+多模态学习=下一代AI
首次将DeepSeek同款RLVR应用于全模态LLM，含视频的那种！ 眼睛一闭一睁，阿里通义实验室薄列峰团队又开卷了，哦是开源，R1-Omni来了。 同样在杭州，这是在搞什么「开源双feng」（狗头保命）？
3/11/2025 1:47:10 PM
量子位
武大等发布大视觉模型最新安全综述：全面分类攻击策略、防御机制和评估方法

武大等发布大视觉模型最新安全综述：全面分类攻击策略、防御机制和评估方法
随着GPT-4o与Qwen-VL等模型的视觉理解和多模态生成能力逐渐打破众人认知，大型视觉语言模型（LVLMs）正以前所未有的速度重塑AI世界，这些能够理解视觉信息并生成自然语言响应的智能系统，已在医疗诊断、自动驾驶、金融风控等关键领域崭露头角。 然而，当研究者仅用几百美元就能突破顶级模型的安全防线、简单的对抗噪声图片就能让模型输出危险内容，我们是否该感到担心？ 近期，武汉大学、中国科学技术大学和南洋理工大学的研究团队发布了一篇综述，系统性总结了LVLMs在安全性上的挑战，并提出了全面而系统的安全分类框架。
3/11/2025 1:44:24 PM
新智元
华科字节推出 Liquid：重新定义多模态模型的生成与理解

华科字节推出 Liquid：重新定义多模态模型的生成与理解
近年来，大语言模型（LLM）在人工智能领域取得了显著进展，尤其是在多模态融合方面。 华中科技大学、字节跳动与香港大学的联合团队最近提出了一种新型的多模态生成框架 ——Liquid，旨在解决当前主流多模态模型在视觉处理上的局限性。 传统的多模态大模型依赖复杂的外部视觉模块，这不仅增加了系统的复杂性，还限制了其扩展性。
3/4/2025 9:41:00 AM
AI在线
阿里通义实验室开源视觉文档RAG系统ViDoRAG，准确率达79.4%

阿里通义实验室开源视觉文档RAG系统ViDoRAG，准确率达79.4%
近日，阿里巴巴通义实验室宣布开源其最新研发成果——ViDoRAG，这是一款专为视觉文档理解设计的检索增强生成（RAG）系统。 ViDoRAG在GPT-4o模型上的测试显示，其准确率达到了令人瞩目的79.4%，相较传统RAG系统提升了10%以上。 这一突破标志着视觉文档处理领域迈出了重要一步，为人工智能在复杂文档理解上的应用提供了新的可能性。
3/3/2025 4:29:00 PM
AI在线
Adobe 联合高校推出 METAL 框架：多智能体协作生成精准图表

Adobe 联合高校推出 METAL 框架：多智能体协作生成精准图表
在当今数据可视化领域，生成准确反映复杂数据的图表仍然是一项微妙的挑战。 图表不仅需要捕捉精确的布局、色彩和文本位置，还需将这些视觉细节转化为代码，以重现预期的设计。 然而，传统方法通常依赖于直接提示视觉 - 语言模型（VLM），如 GPT-4V，这在将复杂视觉元素转化为语法正确的 Python 代码时，常常遇到困难。
3/3/2025 2:33:00 PM
AI在线
识别高分低能，综合性视觉语言理解新基准，五项挑战评估多模态模型的推理能力

识别高分低能，综合性视觉语言理解新基准，五项挑战评估多模态模型的推理能力
多模态模型在学术基准测试中获得高分，到了真实世界应用时却表现不及预期，该如何分辨？ 新的综合性视觉语言理解基准JourneyBench，利用基于diffusion模型提示生成的图像，并采用一种新颖的人机闭环框架，通过五项具有挑战性的任务来评估多模态模型的推理能力：多模态链式数学推理 (Multimodal Chain-of-Thought)多图像视觉问答 (Multi-image VQA)细粒度跨模态检索 (Fine-grained Cross-modal Retrieval)包含幻觉触发的开放式视觉问答 (VQA with Hallucination Triggers)非常见图像的描述 (Unusual Image Captioning)JourneyBench由哥伦比亚大学、弗吉尼亚理工和加州大学洛杉矶分校的团队提出，是Google Deepmind的多模态(Gemini)团队提出的HaloQuest, ECCV 2024的衍生工作。 HaloQuest的第一作者联合哥伦比亚大学、弗吉尼亚理工和加州大学洛杉矶分校构建了一个综合性的视觉语言理解的训练以及评价基准JourneyBench。
2/27/2025 10:08:19 AM
量子位
港理工OccProphet：纯视觉Occ SOTA！速度提升至2.6倍，内存占用减少60%

港理工OccProphet：纯视觉Occ SOTA！速度提升至2.6倍，内存占用减少60%
本文分享一篇由香港理工大学最近公开的发表于ICLR2025的论文『OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework』。 作者在文中提出了一个轻量级的观察器-预报器-细化器框架OccProphet来实现高效的未来4D占用预测。 OccProphet在nuScenes、 Lyft-Level5和nuScenes-Occupancy等多个数据集上取得最先进的4D占用预测性能，成本减少近80%！
2/26/2025 10:24:47 AM
Junliang Chen等
Zero-shot重建物理高斯资产，清华&光轮视觉大模型让机器人理解物理属性｜ICRA 2025

Zero-shot重建物理高斯资产，清华&光轮视觉大模型让机器人理解物理属性｜ICRA 2025
理解物体的物理属性，对机器人执行操作十分重要，但是应该如何实现呢？ 光轮智能与清华AIR、同济大学等机构联合提出了一种基于3D高斯溅射的方法——PUGS（Zero-shot Physical Understandingwith Gaussian Splatting）无需训练、零样本，它就能够从多视角图像中重建物体，并对各种指定的物理属性进行密集重建。 该论文已被ICRA 2025接收。
2/24/2025 2:22:00 PM
量子位
多模态大模型事实正确性评估：o1最强，模型普遍过于自信，最擅长现代建筑/工程技术/科学

多模态大模型事实正确性评估：o1最强，模型普遍过于自信，最擅长现代建筑/工程技术/科学
OpenAI o1视觉能力还是最强，模型们普遍“过于自信”！ 这个结果来自首个面向事实知识的中文视觉问答基准ChineseSimpleVQA。 该基准测试包含2200个高质量问题，覆盖了8个主要话题和56个子话题，这些问题涉及从人文到科学和工程等多个领域，由淘天集团未来生活实验室团队推出。
2/24/2025 9:12:00 AM
量子位
DeepSeek、OpenAI、Kimi视觉推理到底哪家强？港中文MMLab推出推理基准MME-COT

DeepSeek、OpenAI、Kimi视觉推理到底哪家强？港中文MMLab推出推理基准MME-COT
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？ 为此，来自港中文MMLab的研究者们提出了MME-CoT。 这是一个全面且专门用于评估LMMs中视觉推理能力的Benchmark，包括了数学、科学、OCR、逻辑、时空和通用场景。
2/24/2025 8:30:00 AM
量子位