编辑 | X
根基模型有望为医学领域带来前所未有的进步。
在计较病理学 (CPath) 中，根基模型在提高诊疗准确性、预后以及预测治疗反应方面发挥着关键作用。
近日，美国麻省总医院（Massachusetts General Hospital）、哈佛医学院等组成研讨团队设计了迄今为止最大的两个 CPath 根基模型：UNI 和 CONCH。这些根基模型适用于 30 多种临床和诊疗需求，包括疾病检测、疾病诊疗、器官移植评价和罕见疾病分析。
新模型克服了当前模型的局限性，不仅在研讨人员测试的临床义务中表现良好，而且在辨认新的、罕见的和具有挑战性的疾病方面也显示出了前景。UNI 和 CONCH 的相干论文发表在《Nature Medicine》上。
UNI：理解病理学图象的根基模型
构造图象的定量评价对于计较病理学义务至关重要，需要从全玻片图象 (WSI) 中客观表征构造病理学实体。WSI 的高分辨率和形态特征的可变性给高性能应用的大规模数据标注带来了巨大挑战。
为了应对这一挑战，目前的研讨已经提出了通过自然图象数据集的迁移进修，或对公开的构造病理学数据集的自监视进修来使用预训练的图象编码器，但尚未在不同的构造类型中大规模地广泛开发和评价。
为此，该研讨团队推出一种通用的病理学自监视模型 UNI。UNI 是理解病理学图象的根基模型，从辨认构造学感兴趣区域中的疾病到十亿像素全幻灯片成像。它使用包含超过 1 亿个构造斑块和超过 100,000 张 WSI 的数据库进行训练，在解剖病理学中具有通用的人工智能应用。
图示：UNI 概述。（来源：论文）
该模型在 34 个具有不同诊疗难度的代表性 CPath 义务上进行了评价。除了超越以前最先进的模型之外，还展示了 CPath 中的新建模功能，例如与分辨率无关的构造分类，使用少量类别原型的幻灯片分类，以及在 OncoTree 分类系统中对多达 108 种癌症进行分类的疾病亚型概括。
UNI 在预训练数据和下游评价方面在 CPath 中大规模推进无监视表示进修，从而实现数据高效的人工智能模型，该模型可以泛化并转移到解剖病理学中广泛的诊疗挑战性义务和临床工作流程。
相干研讨以《Towards a general-purpose foundation model for computational pathology》为题，于 2024 年 3 月 19 日发布在《Nature Medicine》上。
开源地址：https://github.com/mahmoodlab/UNI
论文链接：https://www.nature.com/articles/s41591-024-02857-3
CONCH：计较病理学的视觉语言根基模型
数字病理学的广泛应用和深度进修技术的进步，已经为各类疾病和患者群体中的多种病理义务开发出强大模型提供了可能。
然而，由于医学领域标签稀缺，模型训练通常很困难，并且模型的使用受到训练的特定义务和疾病的限制。此外，大多数构造病理学模型仅利用图象数据，这与人类相互教导和推理构造病理学实体的方式形成鲜明对比。
基于此，该研讨团队提出了一种视觉语言根基模型 CONCH，CONCH 经过超过 117 万个构造病理学图象-文本对的数据库的训练。
CONCH 在辨认罕见疾病、肿瘤分割和理解十亿像素图象等义务方面表现出色。由于 CONCH 接受了文本训练，病理学家可以与模型交互以搜索感兴趣的形态。
图示：数据整理和 CONCH 模型示意图。（来源：论文）
CONCH 根据一套 14 个不同的基准进行评价，可以转移到涉及构造病理学图象、文本的广泛下游义务，在构造病理学图象分类、分割、字幕、文本到图象和图象到文本检索方面实现最先进的性能。
CONCH 代表了构造病理学并发视觉语言预训练系统的重大飞跃，有可能直接促进各种基于机器进修的工作流程，只需要很少或不需要进一步的监视微调。
相干研讨以《A visual-language foundation model for computational pathology》为题，于 3 月 19 日发布在《Nature Medicine》上。
开源地址：https://github.com/mahmoodlab/CONCH
论文链接：https://www.nature.com/articles/s41591-024-02856-4
研讨团队正在向其他学术团体公开该代码，以用于解决临床相干问题。
麻省总医院病理科计较病理学部的通讯作者 Faisal Mahmood 博士说，「根基模型代表了医学人工智能的新范式，这些模型是 AI 系统，可以适应许多下游、临床相干的义务。我们希望这些研讨中提出的概念验证将为此类自监视模型在更大、更多样化的数据集上进行训练奠定根基。」
参考内容：https://medicalxpress.com/news/2024-03-ai-foundation-advance-pathology.html