上海交大&上海AI Lab发布Radiology Foundation Model (RadFM)，开源14B多模态调理根蒂根基模型，首次支持2D/3D喷射影象输出。
论文链接：https://arxiv.org/abs/2308.02463
代码链接：https://github.com/chaoyi-wu/RadFM
PMC-Inline Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-Inline
PMC-Casereport Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-CaseReport
Huggingface Model: https://huggingface.co/chaoyi-wu/RadFM
钻研背景
GPT4等一系列大型根蒂根基模型的迅猛发展突破了人工智能技术的边界，为众多垂直畛域带来了新的发展机遇和挑战。在医学畛域，构建强大而全面的根蒂根基模型，可以为临床调理任意提供更为智能、高效的解决方案，为医护人员和患者创造更为优质的调理体验，开启医学畛域技术创新的新篇章。然而，当前医学畛域的根蒂根基模型的构建往往面临着三个方面的挑战：
缺乏用于训练的多模态数据集：由于医学本身的特殊性，调理任意通常需要处理多模态数据，包括文本信息（电子健康记录，医学报告），1D信号（心电图），2D影象（超声，X射线），3D影象（CT或MRI扫描），基因组学等。为了支持医学通用根蒂根基模型的训练，大规模多模态数据集的构建十分迫切。
缺乏通用的架构设计：在临床调理诊疗中，常常需要综合考虑多个检查结果来做出全面判断，然而，以往的调理影象分析工作通常只专注于单一模态和单一任意，需要为每个任意设计不同的架构，难以适应临床综合诊疗的需求。医学畛域的根蒂根基模型需要一个通用的架构，能够有效融合不同模态的信息，从而应对广泛的临床任意。
缺乏有效的基准来评估模型：对模型的临床知识进行基准测试主要依赖于多种任意的数据集，而这些数据集的测试案例数量有限。目前调理畛域尚未建立一个大规模、复杂的基准，可以用于全面衡量医学根蒂根基模型在中调理任意上的机能。
考虑到上述挑战，钻研团队聚焦于构建喷射学畛域的医学通用根蒂根基模型。喷射学畛域的图象模态种类丰富，影象与报告配对数据也相对较多，且喷射学在临床场景中的应用也十分广泛，例如疾病诊疗、治疗规划和患者进展监测等等。具体来说，该论文做出了如下技术贡献：
数据上： 提供了全新的目前世界上最大规模的调理多模态数据集MedMD&RadMD，是首个包含3D数据的大规模调理多模态数据集，含15.5M 2D图象，和180k的3D调理影象。
模型上： 开源了14B多模态根蒂根基模型RadFM 支持2D/3D、图象/文本混合输出。
测试上： 定义了调理根蒂根基模型五大基本任意——模态识别、疾病诊疗、调理问答、报告生成、归因分析，并提供了一个全面的benchmark——RadBench。
临床价值
本文最后的根蒂根基模型RadFM具有巨大的临床应用意义：
支持三维数据：在实际临床环境中，CT 和 MRI 被广泛使用，大多数疾病的诊疗在很大程度上依赖于它们。RadFM的模型设计能够处理真实的临床成像数据。
多图象输出：合诊疗通常需要输出来自各种模态的多影象作为输出，有时甚至需要历史喷射图象，因此，支持多图象输出RadFM能够很好的满足此类临床需求。
交错数据格式：在临床实践中，图象分析通常需要了解患者的病史或背景。交错数据格式允许用户自由输出额外的图象背景信息，确保模型能结合多源信息完成复杂的临床决策任意。
与现有的所有医学根蒂根基模型相比，RadFM是第一个同时满足上述三点要求的模型，对调理根蒂根基模型投入实际临床应用具有巨大推动作用。接下来将从数据、模型、测试三个角度具体介绍原文细节：
多模态数据 MedMD&RadMD
钻研团队构建了一个当前最大规模的调理多模态数据集MedMD，是目前首个包含3D数据的大规模调理多模态数据集，包含15.5M 2D图象，和180k的3D调理影象，也并附带文本描述，例如喷射学报告、视觉语言指令或相对应的疾病诊疗标签。MedMD涵盖了人体各种喷射学模态和解剖区域，横跨17个调理系统，如乳腺、心脏、中枢神经系统、胸部、胃肠道、妇科、血液、头颈部、肝胆、肌肉骨骼、产科、肿瘤、儿科、脊柱、创伤、泌尿和血管，包含超过5000种疾病，如图1、2、3所示。此外，钻研团队还基于MedMD, 给出了一个喷射学多模态数据集RadMD。
图1: MedMD数据样例展现
图2: MedMD各部分数据构成展现
图3: RadMD上模态、2D/3D、Anatomy分布展现
模型架构 RadFM
RadFM是一个多模态的喷射学根蒂根基模型，能够将自然语言无缝地与2D或3D医学扫描相结合，并通过文本输出来解决广泛的医学任意。模型架构如图3所示，钻研团队首先在MedMD数据集上对该模型进行了预训练，然后在一个经过筛选的数据集RadMD上进行视觉指令微调。RadMD包含3M对喷射学相关的多模态数据，确保了针对特定畛域的微调过程中数据集的高质量和可靠性。
图4: RadFM模型架构。RadFM首先在大规模的数据集MedMD上进行Pre-training然后在RadMD上进行畛域适配。在模型架构上，RadFM首次支持了2D和3D自由混合，文本和图象自由混合的输出形式。
测试基准 RadBench
为了更好的评估喷射学根蒂根基模型的机能，钻研团队建立了一个全新的、综合性的评估基准，涵盖了五大临床喷射任意——模态识别、疾病诊疗、调理问答、报告生成和诊疗归因。并与最新的开源多模态模型进行了比较，例如Med-flamingo（斯坦福团队）和MedVInT（上海交大&上海人工智能实验室）。
模型结果
RadBench上自动评测与人工打分
钻研团队优先考虑了自动的评测目标进行了大规模的比较，另外，考虑到生成任意自动目标不可靠的问题，进一步引入了人工打分。在人工打分上，钻研团队还与OpenAI发布的GPT-4V（ision）进行了比较，平均分数超越GPT-4V，结果如图5、6所示。
图5： RadFM在多个任意上与现有多模态调理模型的对比，右下为人工打分（5分制）比较
图6 RadFM与各大多模态根蒂根基模型的在五大任意上的对比
图7 人工打分系统样例展现
RadFM结果可视化
图9-10 展现了RadFM 在 Medical VQA 调理视觉问答任意，喷射报告生成任意以及推理诊疗任意上的结果。从图中可以看出，该模型能够准确判断图象对应的解剖部位。然而，在具体的异常判断方面，仍然存在一些改进的空间。当模型能够提供正确的影象学特征的情况下，模型的诊疗结果也会更加准确，证明了推理诊疗的必要性。
图8: RadFM在Medical VQA 任意上的机能展现
图9：RadFM在报告生成上的机能展现
图10：RadFM在诊疗归因上的机能展现
RadFM的迁移性
另外在各大公开的不同任意、不同模态（2D/3D）的benchmark上RadFM也展现了强大的可迁移性，在多个数据集上超越了现有的SOTA模型，结果如图11：
图11：RadFM在各大benchmark上与SOTA的对比最后RadFM还涌现出了对于未见疾病的诊疗能力，如图12所示：
图12：RadFM在PadChest上对于未见类直接诊疗的结果，其他多模态根蒂根基模型都只能取得随机的预测结果（0.5 ACC）
局限性
当前医学根蒂根基模型的发展尽管取得了显著进展，却仍存在多方面的局限性，本文作者提出了如下几点方向：
模型绝对机能。虽然RadFM大幅超越了旧有根蒂根基模型，但多模态根蒂根基模型在零样本情况下的文本生成质量仍未能满足临床医生的期望水平。
3D数据缺乏。比较于2D数据易于收集，在真实临床中广泛使用的3D数据在目前医学数据库中仍旧只是少数。
评测目标模糊。目前存在一个缺乏令人信服的医学文本质量比对评测目标的问题。传统的翻译目标在调理场景下几乎失去了意义。例如，对于“病人有肺炎”和“病人无肺炎”两句话，在传统目标下可能获得极高的分数，但这种差异在调理场景中是不可接受的。相反，“在肺部见肺炎影象特征”与“病人有肺炎”这两句信息几乎一致的话语，在现有目标下反而可能呈现较低的分数。因此，急需建立更符合医学实际需求的评测标准。
总结
在当前的调理畛域，已经陆续涌现了一些多模态的根蒂根基模型，例如微软的LLaVA-Med和谷歌的Med-PaLM M，包括最新的Med Flamingo。然而，这些模型都还是受限于2D的图象输出，且其中只有最新的Med Flamingo可以支持交错的图文输出。在调理畛域中，常见的诊疗影象往往是3D的图象，同时，诊疗任意通常需要综合多张图象来作出准确判断。为了解决上述问题，钻研团队决定将重点放在喷射影象畛域，提出模型RadFM，允许同时处理2D和3D多模态的调理数据，例如CT、MRI等。而且，该模型能够综合处理多张相关影象，提供更全面和准确的信息，有望在诊疗和治疗等方面取得更好的效果。同时，针对模型的评估，钻研团队综合了多个挑战性的任意提出了一个新的benchmark以及更科学的调理任意评测目标，以此为参考，不断优化数据与模型，欢迎大家持续关注。