本文中，上海交大 & 上海 AI Lab 发布 Radiology Foundation Model (RadFM)，开源 14B 多模态调理基本模型，首次支持 2D/3D 喷射印象输出。
论文链接：https://arxiv.org/abs/2308.02463
代码链接：https://github.com/chaoyi-wu/RadFM
PMC-Inline Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-Inline
PMC-Casereport Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-CaseReport
Huggingface Model: https://huggingface.co/chaoyi-wu/RadFM
钻研背景
GPT4 等一系列大型基本模型的迅猛发展突破了人工智能技术的边界，为众多垂直范畴带来了新的发展机遇和挑战。在医学范畴，建立强大而全面的基本模型，可以为临床调理使命提供更为智能、高效的解决方案，为医护人员和患者创造更为优质的调理体验，开启医学范畴技术创新的新篇章。
然而，当前医学范畴的基本模型的建立往往面临着三个方面的挑战：
缺乏用于训练的多模态数据集：由于医学本身的特殊性，调理使命通常需要处理多模态数据，包括文本信息（电子健康记录，医学报告）、1D 信号（心电图）、2D 印象（超声、X 射线）、3D 印象（CT 或 MRI 扫描）、基因组学等。为了支持医学通用基本模型的训练，大规模多模态数据集的建立十分迫切。
缺乏通用的架构设计：在临床调理诊疗中，常常需要综合考虑多个检查结果来做出全面判断，然而，以往的调理印象分析工作通常只专注于单一模态和单一使命，需要为每个使命设计不同的架构，难以适应临床综合诊疗的需求。医学范畴的基本模型需要一个通用的架构，能够有效融合不同模态的信息，从而应对广泛的临床使命。
缺乏有效的基准来评估模型：对模型的临床知识进行基准测试主要依赖于多种使命的数据集，而这些数据集的测试案例数量有限。目前调理范畴尚未建立一个大规模、复杂的基准，可以用于全面衡量医学基本模型在中调理使命上的本能。
考虑到上述挑战，钻研团队聚焦于建立喷射学范畴的医学通用基本模型。喷射学范畴的图象模态种类丰富，印象与报告配对数据也相对较多，且喷射学在临床场景中的应用也十分广泛，例如疾病诊疗、治疗规划和患者进展监测等等。具体来说，该论文做出了如下技术贡献：
数据上：提供了全新的目前世界上最大规模的调理多模态数据集 MedMD&RadMD，是首个包含 3D 数据的大规模调理多模态数据集，含 15.5M 2D 图象和 180k 的 3D 调理印象。
模型上：开源了 14B 多模态基本模型 RadFM，支持 2D/3D、图象 / 文本混合输出。
测试上：定义了调理基本模型五大基本使命 —— 模态识别、疾病诊疗、调理问答、报告生成和归因分析，并提供了一个全面的基准——RadBench。
临床价值
本文提出的基本模型 RadFM 具有巨大的临床应用意义：
支持三维数据：在实际临床环境中，CT 和 MRI 被广泛使用，大多数疾病的诊疗在很大程度上依赖于它们。RadFM 的模型设计能够处理真实的临床成像数据。
多图象输出：合诊疗通常需要输出来自各种模态的多印象作为输出，有时甚至需要历史喷射图象，因此支持多图象输出 RadFM 能够很好的满足此类临床需求。
交错数据格式：在临床实践中，图象分析通常需要了解患者的病史或背景。交错数据格式允许用户自由输出额外的图象背景信息，确保模型能结合多源信息完成复杂的临床决策使命。
与现有的所有医学基本模型相比，RadFM 是第一个同时满足上述三点要求的模型，对调理基本模型投入实际临床应用具有巨大推动作用。
接下来将从数据、模型、测试三个角度具体介绍原文细节：
多模态数据 MedMD&RadMD
钻研团队建立了一个当前最大规模的调理多模态数据集 MedMD，是目前首个包含 3D 数据的大规模调理多模态数据集，包含 15.5M 2D 图象和 180k 的 3D 调理印象，也并附带文本描述，例如喷射学报告、视觉语言指令或相对应的疾病诊疗标签。
MedMD 涵盖了人体各种喷射学模态和解剖区域，横跨 17 个调理系统，如乳腺、心脏、中枢神经系统、胸部、胃肠道、妇科、血液、头颈部、肝胆、肌肉骨骼、产科、肿瘤、儿科、脊柱、创伤、泌尿和血管，包含超过 5000 种疾病，如下图 1、2、3 所示。此外，钻研团队还基于 MedMD, 给出了一个喷射学多模态数据集 RadMD。
图 1: MedMD 数据样例揭示
图 2: MedMD 各部分数据构成揭示
图 3: RadMD 上模态、2D/3D、Anatomy 分布揭示
模型架构 RadFM
RadFM 是一个多模态的喷射学基本模型，能够将自然语言无缝地与 2D 或 3D 医学扫描相结合，并通过文本输出来解决广泛的医学使命。模型架构如下图 4 所示，钻研团队首先在 MedMD 数据集上对该模型进行了预训练，然后在一个经过筛选的数据集 RadMD 上进行视觉指令微调。RadMD 包含 3M 对喷射学相关的多模态数据，确保了针对特定范畴的微调过程中数据集的高质量和可靠性。
图 4: RadFM 模型架构。RadFM 首先在大规模的数据集 MedMD 上进行 Pre-training 然后在 RadMD 上进行范畴适配。在模型架构上，RadFM 首次支持了 2D 和 3D 自由混合，文本和图象自由混合的输出形式。
测试基准 RadBench
为了更好的评估喷射学基本模型的本能，钻研团队建立了一个全新的、综合性的评估基准，涵盖了五大临床喷射使命 —— 模态识别、疾病诊疗、调理问答、报告生成和诊疗归因。并与最新的开源多模态模型进行了比较，例如 Med-flamingo（斯坦福团队）和 MedVInT（上海交大 & 上海人工智能实验室）。
模型结果
RadBench 上自动评测与人工打分
钻研团队优先考虑了自动的评测目标进行了大规模的比较，另外，考虑到生成使命自动目标不可靠的问题，进一步引入了人工打分。在人工打分上，钻研团队还与 OpenAI 发布的 GPT-4V（ision）进行了比较，平均分数超越 GPT-4V，结果如图 5、6 所示。
图 5：RadFM 在多个使命上与现有多模态调理模型的对比，右下为人工打分（5 分制）比较
图 6 RadFM 与各大多模态基本模型的在五大使命上的对比
图 7 人工打分系统样例揭示
RadFM 结果可视化
图 9-10 揭示了 RadFM 在 Medical VQA 调理视觉问答使命，喷射报告生成使命以及推理诊疗使命上的结果。从图中可以看出，该模型能够准确判断图象对应的解剖部位。然而，在具体的异常判断方面，仍然存在一些改进的空间。当模型能够提供正确的印象学特征的情况下，模型的诊疗结果也会更加准确，证明了推理诊疗的必要性。
图 8: RadFM 在 Medical VQA 使命上的本能揭示
图 9：RadFM 在报告生成上的本能揭示
图 10：RadFM 在诊疗归因上的本能揭示
RadFM 的迁移性
另外在各大公开的不同使命、不同模态（2D/3D）的 benchmark 上， RadFM 也揭示了强大的可迁移性，在多个数据集上超越了现有的 SOTA 模型，结果如图 11：
图 11：RadFM 在各大 benchmark 上与 SOTA 的对比
最后 RadFM 还涌现出了对于未见疾病的诊疗能力，如图 12 所示：
图 12：RadFM 在 PadChest 上对于未见类直接诊疗的结果，其他多模态基本模型都只能取得随机的预测结果（0.5 ACC）
局限性
当前医学基本模型的发展尽管取得了显著进展，却仍存在多方面的局限性，本文作者提出了如下几点方向：
模型绝对本能。虽然 RadFM 大幅超越了旧有基本模型，但多模态基本模型在零样本情况下的文本生成质量仍未能满足临床医生的期望水平。
3D 数据缺乏。比较于 2D 数据易于收集，在真实临床中广泛使用的 3D 数据在目前医学数据库中仍旧只是少数。
评测目标模糊。目前存在一个缺乏令人信服的医学文本质量比对评测目标的问题。传统的翻译目标在调理场景下几乎失去了意义。例如，对于「病人有肺炎」和「病人无肺炎」两句话，在传统目标下可能获得极高的分数，但这种差异在调理场景中是不可接受的。相反，「在肺部见肺炎印象特征」与「病人有肺炎」这两句信息几乎一致的话语，在现有目标下反而可能呈现较低的分数。因此，急需建立更符合医学实际需求的评测标准。
总结
在当前的调理范畴，已经陆续涌现了一些多模态的基本模型，例如微软的 LLaVA-Med 和谷歌的 Med-PaLM M，包括最新的 Med Flamingo。然而，这些模型都还是受限于 2D 的图象输出，且其中只有最新的 Med Flamingo 可以支持交错的图文输出。在调理范畴中，常见的诊疗印象往往是 3D 的图象，同时，诊疗使命通常需要综合多张图象来作出准确判断。
为了解决上述问题，钻研团队决定将重点放在喷射印象范畴，提出模型 RadFM，允许同时处理 2D 和 3D 多模态的调理数据，例如 CT、MRI 等。而且，该模型能够综合处理多张相关印象，提供更全面和准确的信息，有望在诊疗和治疗等方面取得更好的效果。同时，针对模型的评估，钻研团队综合了多个挑战性的使命提出了一个新的 benchmark 以及更科学的调理使命评测目标，以此为参考，不断优化数据与模型，欢迎大家持续关注。
完整论文目录：
