编辑丨coisini
识别显微镜图像中的对象，例如光学显微镜（LM）下的细胞和细胞核是生物学图像分析中的关键任务之一。由于显微镜成像方式的多样性和不同维度（二维 / 三维，时间维度）的存在，这些识别任务具有挑战性，目前需要采用不同的方法来解决。
基于深度学习的方法在过去几年中显著改善了 LM 下的细胞和细胞核分割，电子显微镜（EM）下的细胞、神经元和细胞器分割。这些方法大多提供了预训练模型，并能够对与训练数据相似的新数据生成高质量结果。然而，由于底层深度学习方法的泛化能力有限，对于与原始训练数据差异较大的数据，质量会有所下降，只能通过重新训练来改进。
提起视觉分割任务，Meta 提出的基础模型 ——Segment Anything Model（SAM），是在一个大规模标注数据集上进行训练的，在广泛的图像领域中实现了令人印象深刻的交互式分割性能。
来自德国哥廷根大学计算机科学研究所等机构的研究团队基于 SAM，提出了一种用于多维显微镜数据分割和追踪的工具 ——Segment Anything for Microscopy (μSAM)。通过微调适用于光学和电子显微镜的通用模型，μSAM 显著提高了在各种成像条件下的分割质量。研究团队还提出了一个用户友好的工具，该工具以 napari 插件形式实现了交互式和自动分割功能，以加速各种分割任务，并为不同显微镜模式的注释提供了一个统一的解决方案。
这项工作构成了视觉基础模型在显微镜领域的应用，为使用强大的深度学习模型解决该领域的图像分析任务奠定了基础。研究论文以「Segment Anything for Microscopy」为题发表在 Nature 子刊《Nature Methods》上。
论文地址：https://www.nature.com/articles/s41592-024-02580-4
项目地址：https://github.com/computational-cell-analytics/micro-sam
研究概览
先前的研究已经探讨了 SAM 在生物医学领域的应用，例如医学影像、组织病理学和神经影像学。然而，这些研究仅限于使用默认的 SAM 模型，并未针对各自领域进行重新训练，而该研究发现：重新训练是至关重要的。并且，该研究的一个突破在于其将完整的交互式分割能力重新训练与改进的自动分割结合在一个模型中。下图展示了 μSAM 的总体框架以及改进分割结果的示例。
与现有的分割和追踪工具相比，μSAM 具有更强的通用性，因为其预训练模型涵盖了光镜（LM）和电镜（EM），能够处理广泛的分割任务，支持二维（2D）和体积分割，并在同一工具中实现了追踪功能。
μSAM 结合了交互式和自动分割，使用相同的底层模型。因此，在微调过程中，模型在两个方面都得到了改进，从而大大加快了数据标注速度。相比之下，CellPose 2 开创了集成数据标注和训练的模式，但其依赖于手动像素级校正。
总的来说，μSAM 的主要特点在于其适用于不同模态和维度的多样化分割任务，并且由于其交互式分割能力，标注速度非常快。
实验结果
该研究在三项实验中展示了 μSAM 的优势：细胞分割、体积分割、细胞追踪。
在细胞分割方面，该研究将默认的 SAM 模型与针对不同显微镜分割任务进行微调的模型进行了比较。具体来说，首先该研究在 LIVECell 数据集上研究了交互式和自动分割；接着训练并评估了通用模型。下图展示了默认模型和 LIVECell 专用模型在单独测试集上的平均分割准确率（数值越高越好）。
对于体积分割，该研究采用了在体积电镜（EM）下的细胞核分割。在体积电镜中分割细胞核或其他大型细胞器是分析细胞形态和基于表型标准区分细胞类型的重要任务。该研究比较了使用 μSAM 和 ilastik carving 的交互式细胞核分割方法。使用默认模型时，μSAM 的标注速度就比 ilastik 更快，在使用微调模型时速度甚至会更快，因为可以直接修正自动分割结果，而不需要交互式地分割每个对象。
在细胞追踪方面，该研究在 Schwartz 等人的荧光显微镜成像的细胞核数据集上研究了追踪标注工具。研究团队将 μSAM 与最新版本的 TrackMate 进行了比较，后者集成了基于深度学习的分割工具，包括 StarDist。下图展示了四种不同方法的结果：标注时间以及与真实标注相比的标注质量。与 TrackMate 相比，μSAM 稍慢一些，这是因为目前没有实现自动追踪，但生成的标注质量更高。
总体而言，该研究展现了视觉基础模型在统一生物成像分析解决方案中的潜力。此外，该研究还开发了一个数据注释 napari 插件，提供五种功能：
- 二维图像分割
- 体积分割
- 时间序列数据追踪
- 多图像高通量分割
- 微调
感兴趣的读者可以阅读论文原文，了解更多研究内容。
