上海交大&上海AI Lab发布178页GPT-4V调理案例测评，首次全面揭秘GPT-4V调理领域视觉性能。
在大型基础模型的推动下，人工智能的发展近来取得了巨大进步，尤其是 OpenAI 的 GPT-4，其在问答、知识方面展现出的强大才能点亮了 AI 领域的尤里卡时刻，引起了公众的普遍关注。
GPT-4V (ision) 是 OpenAI 最新的多模态基础模型。相较于 GPT-4，它增加了图象与语音的输出才能。该研究则旨在通过案例剖析评价 GPT-4V (ision) 在多模态调理诊疗领域的性能，一共展现并剖析共计了 128（92 个放射学评价案例，20 个病理学评价案例以及 16 个定位案例）个案例共计 277 张图象的 GPT-4V 问答实例（注：本文不会涉及案例展示，请参阅原论文查看具体的案例展示与剖析）。
ArXiv 链接：https://arxiv.org/abs/2310.09909
百度云下载地址：https://pan.baidu.com/s/11xV8MkUfmF3emJQH9awtcw?pwd=krk2
Google Drive下载地址：https://drive.google.com/file/d/1HPvPDwhgpOwxi2sYH3_xrcaoXjBGWhK9/view?usp=sharing
总结而言，原作家希望系统地评价 GPT-4V 如下的多种才能：
GPT-4V 是否辨别医学图象的模态和成像位置？辨别各种模态（如 X 射线、CT、核磁共振成像、超声波和病理）并辨别这些图象中的成像位置，是举行更复杂诊疗的基础。
GPT-4V 是否定位医学影像中的不同解剖结构？精确定位图象中的特定解剖结构对辨别非常、确保精确处理潜在问题至关重要。
GPT-4V 是否发现和定位医学图象中的非常？检测非常，如 肿瘤、骨折或感染是医学图象剖析的主要目标。在临床环境中，可靠的人工智能模型不仅需要发现这些非常，还需要准确定位，以便举行有针对性的干预或治疗。
GPT-4V 是否结合多张图象举行诊疗？医学诊疗往往需要综合不同成像模态或视图的信息，举行整体观察。因此探究 GPT-4V 组合和剖析多图信息的才能至关重要。
GPT-4V 是否撰写调理陈说，描绘非常情况和相关的正常结果？对于放射科医生和病理学家来说，撰写陈说是一项耗时的工作。如果 GPT-4V 在这一过程中供应帮助，生成准确且与临床相关的陈说，无疑将提高整个工作流程的效率。
GPT-4V 是否在解读医学影像时整合患者病史？患者的基本信息和既往病史会在很大程度上影响对当前医学影像的解读。在模型预测过程中如果能综合考虑到这些信息去剖析图象将使剖析更加个性化，也更加准确。
GPT-4V 是否在多轮交互中保持一致性和记忆性？在某些调理场景中，单轮剖析能够是不够的。在长时间的对话或剖析过程中，尤其是在复杂的调理环境中，保持对数据认知的连续性至关重要。
原论文的评价涵盖了 17 个医学系统，包括：中枢神经系统、头颈部、心脏、胸部、血液、肝胆、肛肠、泌尿、妇科、产科、乳腺科、肌肉骨骼科、脊柱科、血管科、肿瘤科、创伤科、儿科。
图象来自日常临床使用的 8 种模态，包括：X 光、计算机断层扫描 (CT)、磁共振成像 (MRI)、正电子发射断层扫描 (PET)、数字减影血管造影 (DSA)、 乳房 X 射线照相术、超声波检查和病理学检查。
17 个医学系统以及 8 种成像模态示意图
论文指出，虽然 GPT-4V 在区分医学影像模态和解剖结构方面表现出很强的才能，但在疾病诊疗和生成综合陈说方面却仍面临巨大挑战。这些发现突出表明，虽然大型多模态模型在计算机视觉和自然语言处理方面取得了重大进展，但仍远未达到有效支持真实世界的调理应用和临床决策的要求。
测试案例挑选
原论文的放射学问答来自于 Radiopaedia，图象直接从网页下载，定位案例来自于多个医学公开分割数据集，病理图象则来自于 PathologyOutlines 。在挑选案例时作家们全面的考虑了如下方面：
公布时间：考虑到 GPT-4V 的训练数据极有能够非常庞大，为了避免所选到的测试案例出现在训练集中，作家只选用了 2023 年发布的最新案例。
标注可信度：调理诊疗本身具有争议和模糊性，作家根据 Radiopaedia 供应的案例完成度，尽量选用完成度大于 90% 的案例来保证标注或诊疗的可信程度。
图象模态多样性：在选取案例时，作家尽能够地展示 GPT-4V 对于多种成像模态的响应情况。
在图象处理时作家也做了如下规范化以保证输出图象的质量：
多图选择：考虑到 GPT-4V 支持的最大图象输出上限为 4，但部分案例会有超过 4 张的相关图象，首先作家在选取案例时会尽能够避免这种情况，其次在不可避免地遇到这种案例时，作家会根据 Radiopaedia 供应的案例注释挑选最相关的图象。
截面选择：大量的放射图象数据为 3D（连续多帧二维图象）形式，无法直接输出 GPT-4V，必须挑选一个最有代表性的截面代替完整的 3D 图象输出 GPT-4V。根据 Radiopaedia 的案例上传规范，放射医生在上传 3D 图象时被要求选择一个最相关的截面。作家们利用了这一点，选用了 Radiopaedia 推荐的轴截面替代 3D 数据举行输出。
图象标准化：调理图象的标准化设计窗宽窗位的选择，不同的视窗会突出不同的构造，作家们使用的 Radiopaedio 案例上传时放射专家所选择的窗宽窗位输出图象。对于分割数据集而言，原论文则采用了 [-300,300] 的视窗，并作 0-1 的案例级的归一化。
原论文的测试均使用了 GPT-4V 的网页版，第一轮问答用户会输出图象，然后展开多轮的问答。为了避免上下文的互相影响，对于每次新的案例，都会新建一个问答窗口举行问答。
GPT-4V 问答案例，图中红色代表错误，黄色代表不确定，绿色代表精确，Reference 中的颜色则代表对应判断的依据，未标记颜色的句子需要读者自行判断精确性，更多案例以及案例剖析请参考原论文
在病理评价中，所有图象都会举行两轮对话。第一轮询问是否仅根据输出图象生成陈说。这一轮的目的是评价 GPT-4V 是否在不供应任何相关调理提示的情况下辨别图象模态和构造来源。在第二轮中，用户会供应精确的构造来源，并询问 GPT-4V 是否能根据病理图象及其构造来源信息做出诊疗，希望 GPT-4V 能修改陈说并供应明确的诊疗结果。
病理图象的案例展示，更多案例以及案例剖析请参考原论文
在定位评价中，原论文采取了循序渐进的方式：首先测试 GPT-4V 是否能辨别出所供应图象中目标的存在；然后要求它根据图象左上角为（x，y）=（0，0）和右下角为（x，y）=（w，h）生成目标的边界框坐标，并对每个单一定位任务重复评价多次，以获得至少 4 个预测边界框，计算它们的 IOU 分数，并选出最高的一个来证明其上限性能；然后得出平均边界框，计算 IOU 分数，以证明其平均性能。
定位问答的案例展示，更多案例以及案例剖析请参考原论文
测评中的局限性
当然原作家也提到了一些测评中的不足与限制：
1. 只能举行定性而非定量的评价
鉴于 GPT-4V 只供应在线网页界面，只能手动上传测试用例，导致原评价陈说在可扩展性方面受到限制，因此只能供应定性评价。
2. 样本偏差
所选样本均来自在线网站，能够无法反映日常门诊中的数据分布情况。尤其是大多数评价病例都是非常病例，这能够会给评价带来潜在偏差。
3. 注释或参考答案并不完整
从 Radiopaedia 或者 PathologyOutlines 网站上获得的参考描绘大多没有结构，也没有标准化的放射学 / 病理学陈说格式。特别是，这些陈说中的大部分主要侧重于描绘非常情况，而不是对病例举行全面描绘，并不能直接作为完美的回复简单对比。
4. 只有二维切片输出
在实际临床环境中，包括 CT、MRI 扫描在内的放射图象通常采用 3D DICOM 格式。然而，GPT-4V 最多只能支持四张二维图象的输出，所以原文在测评时只能输出二维关键切片或小片段（用于病理学）。
总之，尽管评价能够并不彻底详尽，但原作家们相信，这一剖析仍旧可以为研究人员和医学专业人员供应了宝贵的见解，它揭示了多模态基础模型的当前才能，并能够激励未来建立医学基础模型的工作。
重要观察结果
原测评陈说根据测评案例，概括了多个观察到的 GPT-4V 的表现特点：
放射案例部分
作家们根据 92 个放射学评价案例和 20 个定位案例得出如下观察结果：
1. GPT-4V 可以辨识出调理图象的模态以及成像位置
对于大多数图象内容的模态辨别、成像部位判定以及图象平面类别判定等任务，GPT4-V 都表现出了良好的处理才能。例如，作家们指出 GPT-4V 能很容易区分核磁共振、CT、X 光等各种模态；判断图象所描绘的人体具体部位；判断出核磁共振图象的轴位、失状位和冠状位等。
2. GPT-4V 几乎无法做出精确的诊疗
作家们发现：一方面，OpenAI 似乎设置了安全机制，严格限制了 GPT-4V 做出直接诊疗；另一方面，除了针对非常明显的诊疗案例，GPT-4V 的剖析才能较差，仅局限于列举出能够存在的一系列疾病，而不能给出较为精确的诊疗。
3. GPT-4V 可以生成出结构化的陈说，但是内容大部分并不精确
GPT-4V 在绝大多数情况下都能生成较为标准的陈说，但作家们认为，相比于整合程度更高且内容更灵活的手写陈说，在针对多模态或多帧图象时，它更倾向于逐图描绘且缺乏综合才能。因此内容大部分参考价值较小且缺乏准确性。
4. GPT-4V 可以辨识出医学图象中的标记以及文本注释，但并不能理解其出现在图象中的意义
GPT-4V 展现出较强的文本辨别、标记辨别等才能，并且会尝试利用这些标记举行剖析。但作家们认为，其局限性在于：其一，GPT-4V 总是会过度利用文本和标记且图象本身成为次要参考对象；其二，它鲁棒性较低，常常会误解图象中的医学注释和引导。
5. GPT-4V 可以辨识出调理植入器械以及它们在图象中的位置
在大多数案例中，GPT4-V 都能精确辨别到植入人体的调理设备，并较为准确地定位它们的位置。并且作家们发现，甚至在一些较为困难的案例中，能够出现诊疗错误，但判断调理设备辨别精确的情况。
6. GPT-4V 面对多图输出时会遇到剖析障碍
作家们发现，在面对同一模态的不同视角下的图象时，GPT-4V 尽管会展现出相比于进输出单张图的更好的剖析才能，但仍然倾向于分别对每张视图举行单独的剖析；而在面对不同模态的图象混合输出时，GPT-4V 更难得出综合了不同模态信息的合理剖析。
7. GPT-4V 的预测极易受到患者疾病史的引导
作家们发现是否供应患者疾病史会对 GPT-4V 的回答产生较大影响。在供应疾病史的情况下，GPT-4V 常常会将其作为关键点，对图中的潜在非常做出推断；而在不供应疾病史的情况下，GPT-4V 则会更倾向于将图象作为正常案例举行剖析。
8. GPT-4V 并不能在医学图象中定位到解剖结构和非常
作家们认为 GPT-4V 定位效果较差主要表现为：其一，GPT-4V 在定位过程中总是会得到远离真实边界的预测框；其二，它在对同一幅图的多轮重复预测中表现出显著的随机性；其三，GPT-4V 显示出了明显的偏置性，例如：脑部 MRI 图象中小脑一定位于底部。
9. GPT-4V 可以根据用户的多轮交互，改变它的既有回答。
GPT-4V 可以在一系列的互动中修改其响应，使之精确。例如，在文中所示的例子中，作家们输出了子宫内膜异位症的 MRI 图象。GPT-4V 最初错误地将盆腔 MRI 分类为膝关节 MRI，从而得到了一个不精确的输出。但用户通过与 GPT-4V 的多轮互动对其举行纠正，最终做出了准确的诊疗。
10. GPT-4V 幻觉问题严重，尤其倾向将患者叙述为正常即使非常信号极为显著。
GPT-4V 总是生成出结构上看上去非常完整详实的陈说，但其中的内容却并不精确，很多时候即使图象非常区域明显它仍旧会认为患者正常。
11. GPT-4V 在医学问答上不够稳定
GPT-4V 在常见图象和罕见图象上的表现差异巨大，在不同的身体系统方面也展现出明显的性能差别。另外，对同一医学图象的剖析能够会因更改 prompt 而产生不一致的结果，例如，如，GPT-4V 在 “ What is the diagnosis for this brain CT?” 的 prompt 下最初判断给定的图象为非常，但后来它生成了一个认为同一图象为正常的陈说。这种不一致性强调了 GPT-4V 在临床诊疗中的性能能够是不稳定和不可靠的。
12. GPT-4V 对调理领域做了严格的安全限制
作家们发现 GPT-4V 已经在医学领域的问答中建立了防止潜在误用的安全防护措施，确保用户能够安全使用。例如，当 GPT-4V 被要求做出诊疗时，"Please provide the diagnosis for this chest X-ray."，它能够会拒绝给出答案，或强调 “我不是专业医学建议的替代品”。在多数情况下，GPT-4V 会倾向于使用包含 “appears to be” 或 “could be” 之类的短语来表示不确定性。
病理案例部分
此外，作家们为了探索 GPT-4V 在病理图象的陈说生成和医学诊疗方面的才能，对来自不同构造的 20 种恶性肿瘤病理图象开展了图象块级别的测试，并得出以下结论：
1. GPT-4V 能够举行准确的模态辨别
在所有测试案例中，GPT-4V 都可以精确地辨别所有病理图象（H&E 染色的构造病理图象）的模态。
2. GPT-4V 能够生成结构化陈说
给定一个没有任何医学提示的病理图象，GPT-4V 可以生成一个结构化且详细的陈说来描绘图象特征。在 20 个案例中，有 7 个案例能够使用如 “构造结构”、“细胞特征”、“基质”、“腺体结构”、“细胞核” 等术语明确地列出了其观察结果，甚至可以精确地从不同构造的病理图象中辨别腺体结构和上皮特征。
3. GPT-4V 在 Prompt 的引导下能够对陈说举行修正
当在第二轮对话的 prompt 中对构造器官举行修正时，GPT-4V 可以很大程度地修改陈说修改其陈说，并为预测正常的案例供应一个确切的诊疗，或为预测非常的案例供应几个能够的选项。
4. GPT-4V 生成的描绘大多基于知识
尽管 GPT-4V 可以为病理图象写一个结构化的陈说，但许多关于细胞和细胞核的详细描绘都是 H&E 染色图象的通用特征，而不是根据图象特有模式生成。此外，GPT-4V 供应的诊疗结果也能够来源于通用医学知识，而不是根据病理图象的形态结构推理得到。
5. GPT-4V 的诊疗性能有限
在 20 个案例中，GPT-4V 将四个肿瘤案例误诊为正常构造，精确诊疗了源于膀胱、中枢神经系统和口腔构造中的 3 类癌症，对其余 13 个恶性肿瘤则给出了模糊的诊疗。尤其是针对肛门和子宫构造上的癌症，GPT-4V 的诊疗结果中既包含正常构造也涵盖恶性肿瘤，这表明 GPT-4V 能够并没有真正从这些病理图象中检测到非常。
总的来说，GPT-4V 在调理领域的表现并不像 GPT-4 在调理问答中那样惊艳，远未达到实际临床要求。
本文只概括性的截取了部分原论文观点，更多剖析细节请参考原文。