GPT-4V - AI在线

让「GPT-4V」跑在手机上，这家中国大模型公司做到了

真实世界的视觉信息是流动的，而在处理流动性的视觉信息上，端侧视频理解具有天然优势，手机、PC、AR、机器人、智能座驾等端侧设备自带的摄像头，具有天然的多模态输入能力。与云端相比，端侧离用户更近，链路更短，效率更高，同时具有更强的信息安全优势。今日，面壁正式发布了 MiniCPM-V 2.6，在端侧性能实现全面对标 GPT-4V——据介绍，MiniCPM-V 2.6 首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越GPT-4V，三项能力均取得 20B 以下 SOTA 成绩，单图理解越级比肩 Gemini 1.5 Pro 和 GPT-4o mini 。

国产端侧小模型超越 GPT-4V，「多模态」能力飞升

在刚刚过去的机器人学术顶会 ICRA 2024 上，「具身智能」成为热议，其中围绕具身智能的一个普遍疑问是：若将 AI 大模型应用到消费级机器人领域，首先是模型适配终端，还是终端适配模型？过去一年，由于 6B、7B 等小模型的成果井喷，以及 MoE 训练技术的越发成熟，将模型跑在手机、学习机、平板电脑、机器人甚至汽车等等终端应用上的想象力开始变大，无论算法层还是硬件层都「蠢蠢欲动」。诚然，这已经成为一个明朗的行业方向，但在系统整合上却要面临不同话语体系之间的博弈。

揭秘AI幻觉：GPT-4V存在视觉编码漏洞，清华联合NUS提出LLaVA-UHD

GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先的多模态大模型。然而，近期很多工作发现 GPT-4V 在很多基本能力上却意外的出现短板。例如，在微软一篇长达 166 页的技术报告《The Dawn of LMMs:Preliminary Explorations with GPT-4V (ision)》中，作者发现，对于一个不太复杂的图像中的苹果数量，GPT-4V 竟然怎么数也数不对。然而，学术界和工业界尚不清楚导致这些问题的底

用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上

微软提出使用人手运动视频直接教机器人完成任务的新方法，这种方法使用 GPT-4V 分解视频中的动作，结合大语言模型生成对应的行为表述并作为任务列表，训练机器人只需要动动手就能完成。如何将语言 / 视觉输入转换为机器人动作？训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。这种方法绕过了海量数据的收集和对模型的训练过程，展示出了强大的灵活性，而且对不同机器人硬件更具适应性，并增强了系

GPT-4V医学执照考试成绩超过大部分医学生，AI加入临床还有多远？

人工智能（AI）在医学影像诊断方面的应用已经有了长足的进步。然而，在未经严格测试的情况下，医生往往难以采信人工智能的诊断结果。对于他们来说，理解人工智能根据医学影像给出的判别，需要增加额外的认知成本。为了增强医生对辅助医疗的人工智能之间的信任，让 AI 通过一个医生必须通过的资格考试或许是一个有效的方法。医学执照考试是用来评估医生专业知识和技能的标准化考试，是衡量一个医生是否有能力安全有效地护理患者的基础。在最新的研究中，来自马萨诸塞大学、复旦大学的跨学科研究人员团队利用生成式多模态预训练模型 GPT-4V (is

GPT-4V在自动驾驶上应用前景如何？面向真实场景的全面测评来了

GPT-4V 的发布让许多计算机视觉（CV）应用看到了新的可能。一些研究人员开始探索 GPT-4V 的实际应用潜力。最近，一篇题为《On the Road with GPT-4V (ision): Early Explorations of Visual-Language Model on Autonomous Driving》的论文针对自动驾驶场景对 GPT-4V 的能力进行了难度递增的测试，从情景理解到推理，再到作为真实场景驾驶员的连续判断和决策。论文地址：，论文对 GPT-4V 在自动驾驶领域的探索主要集中在

连葫芦娃都数不明白，解说英雄联盟的GPT-4V面临幻觉挑战

让大模型同时理解图像和文字可能比想象中要难。在被称为「AI 春晚」的 OpenAI 首届开发者大会拉开帷幕后，很多人的朋友圈都被这家公司发布的新产品刷了屏，比如不需要写代码就能定制应用的 GPTs、能解说球赛甚至「英雄联盟」游戏的 GPT-4 视觉 API 等等。不过，在大家纷纷夸赞这些产品有多好用的时候，也有人发现了弱点，指出像 GPT-4V 这样强大的多模态模型其实还存在很大的幻觉，在基本的视觉能力上也还存在缺陷，比如分不清「松糕和吉娃娃」、「泰迪犬和炸鸡」等相似图像。GPT-4V 分不清松糕和吉娃娃。图源：X

通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现

异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入理解 “什么是异常”。要实现更准确且智能的异常检测，我们需要关注以下关键步骤：1. 理解多样数据类型和类别不同领域的数据集包含各种数据类型和类别，如图像、视频、点云、时间序列等。每种数据类型可能需要不同的异常检测方法，每个物体类别可能对应不同的正常标准，因此深入理解

解说梅西球赛、英雄联盟，OpenAI GPT-4视觉API被开发者玩出新花样

用过 OpenAI 视觉 API 的开发者都被惊艳到了。文章开始，我们先来看一段球赛解说视频：是不是感觉听起来不太对劲？你的感觉没错，因为这段解说是用 AI 生成的，这个大喊「梅西！梅西！」的声音居然来自 AI。这是 X 平台（原推特）博主 @Gonzalo Espinoza Graham 发布的一段视频。他表示，在制作过程中，他主要用到了 GPT-4V 和 TTS 两项技术。GPT-4V 是 OpenAI 前段时间发布的一个多模态大模型，既能像原版的 ChatGPT 一样通过文字聊天，也能读懂用户在聊天中给到的图

178页，128个案例，GPT-4V医疗领域全面测评，离临床应用与实际决策尚有距离

上海交大&上海AI Lab发布178页GPT-4V医疗案例测评，首次全面揭秘GPT-4V医疗领域视觉性能。在大型基础模型的推动下，人工智能的发展近来取得了巨大进步，尤其是 OpenAI 的 GPT-4，其在问答、知识方面展现出的强大能力点亮了 AI 领域的尤里卡时刻，引起了公众的普遍关注。GPT-4V (ision) 是 OpenAI 最新的多模态基础模型。相较于 GPT-4，它增加了图像与语音的输入能力。该研究则旨在通过案例分析评估 GPT-4V (ision) 在多模态医疗诊断领域的性能，一共展现并分析共计了

在视觉提示中加入「标记」，微软等让GPT-4V看的更准、分的更细

全新视觉提示方法 SoM（Set-of-Mark），让 OpenAI 多模态大模型 GPT-4V 在视觉内容理解方面有了质的提升。最近一段时间，我们见证了大型语言模型（LLM）的显著进步。特别是，生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4 发布以来，大型多模态模型 (LMM) 引起了研究界越来越多的兴趣，许多工作致力于构建多模态 GPT-4。近日，GPT-4V (ision) 由于出色的多模态感知和推理能力得到了大家格外的关注。然而，尽管 GPT-4V 具