编辑丨&
中红外光声显微镜可以在不染色的情况下捕获生化信息。但在较长的中红外光学波长下，光声显微镜的空间分辨率明显低于传统的共聚焦荧光显微镜。
一支来自韩国浦项科技大学的团队展示了一种可解释的基于深度学习的无监督域间转换，将低分辨率未标记的中红外光声显微镜图像转换为共聚焦状虚拟荧光染色的高分辨率图像。
本转换采用了深度学习框架。其中主要采用无监督的生成对抗网络，然后添加显著性约束以获得更好的可解释性。
他们的研究成果以「Unsupervised inter-domain transformation for virtually stained high-resolution mid-infrared photoacoustic microscopy using explainable deep learning」为题，于 2024 年 12 月 30 日刊登于《Nature Communications》。
XDL 确保两个域之间的相似显著性，使转换过程比现有网络更稳定、更可靠。而团队开发的 XDL-MIR-PAM 可实现无标记高分辨率双工细胞成像，这可以显著促进细胞生物学的许多研究途径。
XDL-MIR-PAM
共聚焦荧光显微镜（CFM）是生命科学和生物医学领域高分辨率（HR）成像技术的当前黄金标准。基于荧光团的激发，各种荧光（FL）染料以可靠和灵活的方式独特地指定目标生物分子。
然而，FL 染色非常耗时，并且会导致光漂白和光毒性，对稳定的细胞成像构成挑战。FL 信号的读数不稳定，随成像条件或标记样品的状态而变化，使得难以定量分析 FL 强度。
深度学习 （DL） 方法的快速发展彻底改变了图像处理。团队所开发的 XDL-MIR-PAM 系统可在细胞水平上实现 HR 双重 PA 成像，无需任何 FL 染色。
图示：XDL-MIR-PAM 概述（图源：论文）
无监督域间转换（UIDT）的工作流程有两个组成部分：图像分辨率增强网络 IREN 和虚拟 FL 染色网络 VFSN。即使图像集未配对，这些网络也会分别将 LR 图像转换为 HR 图像，并将未标记的强度图像转换为虚拟染色 VS 图像。
通过将这两个领域的优势与卓越的可靠性相结合，XDL-MIR-PAM 作为生物研究中开创性的成像技术具有巨大潜力。
在独立获取源域和目标域中的图像后，团队将每个域的全玻片图像随机分成大约 900 个 256 × 256 像素的图块来创建训练数据集。如此小的输入大小可以加快训练过程并降低内存需求。
随着转变层的进展，关键特征变得明显。这种 XDL-IREN 比传统的基于 DL 的 XDL-IREN 具有更高的稳定性和可靠性。
与 DL-IREN 的分数相比，对于 XDL-IREN，计算出的转换图像的 Frechet 起始距离和内核起始距离分数分别降低了 71.0 和 9.5。
框架配置与深入研究
该团队检查了 HCF 图像中的生物学特征，以验证 XDL-MIR-PAM 的可行性。从所有平铺图像中分割通道后提取属性，在模拟细胞核 Hoechst 染色的蓝色通道中，他们估计了细胞核的数量、大小和纵横比。
在成纤维细胞区域，XDL-MIR-PAM 的结果值略高。这意味着，与光学切片的 CFM 图像相比，更多的结构以更高的对比度呈可视化，因 MIR-PAM 具有更大的景深。
图示：应用于 XDL-MIR-PAM 的框架的比较性能。（图源：论文）
XDL-UIDT 实现了图像转换以实现 VS-HR-MIR-PAM 图像。基于光吸收识别分子键的内在性质，无需任何化学染色，但由于长波长的衍射限制，亚细胞成像的空间分辨率并不令人满意。
通过监控注意力模式，模型可以保持对关键区域的注意力，并识别模型在训练过程中注意力不集中的潜在问题。如果从一开始就关注不重要的区域，则可以在几次迭代后进行更正，以将模型的重点转移到更相关的特征上。
这种洞察力帮助团队调整超参数、重新训练模型并优化数据集，提高性能和泛化性。上述步骤提高了 UIDT 的准确性和可解释性。这种增强可以成功避免图像内容的失真和语义信息的混乱，大大提高稳定性和可靠性，并消除生物分析的障碍。
XDL-UIDT 可以扩展以提供跨各种成像模式和标记方案的稳定转化。团队坚信，XDL-MIR-PAM 为细胞生物学研究提供了新的蓝图。
原文链接：https://www.nature.com/articles/s41467-024-55262-2
代码链接： https://github.com/YoonChiHo/XDL_MIR_PAM_2024