编辑 | KX
卷积神经收集（CNN）凭借其出色的图象识别能力，在人工智能范畴表现出色，尤其是在 ChatGPT 等平台中。
近日，上海理工大学团队成功将 CNN 概念引入光学范畴，完成卷积全光神经收集，为人工智能成像技术带来了革命性的进步。
钻研团队开发了一种超快卷积光学神经收集（ONN），该收集无需依赖光学影象效应，即可完成对散射介质后方物体的高效清晰成像。
该神经收集利用强散射过程直接提取特征，完成无影象图象重修，视野扩大 271 倍，计算速度达到了每秒 1.57 千万亿次运算。
该钻研以「Memory-less scattering imaging with ultrafast convolutional optical neural networks」为题，于 6 月 14 日发表在《Science Advances》杂志上。
论文链接：https://www.science.org/doi/10.1126/sciadv.adn2205
卷积运算是 CNN 的核心，从图象中提取局部特征，并逐层构建更为简单抽象的特征表示，极大地推动了图象处理和模式识别等范畴的发展。然而，将卷积收集运算的理念应用到光学范畴，面临着将电子信号转换为光信号的挑战。
简单散射介质（包括浑浊组织和散斑层）中的光学影象效应（Optical Memory Effect，OME）一直是宏观和微观成像方法的重要基础。然而，没有光影象效应的强散射介质的图象重修尚未完成。
图示：通过散射层堆栈完成无影象图象重修的机制。（来源：论文）
全光学解决方案，真正的光学计算速度
钻研团队巧妙地设计了一种全光学解决方案，直接在光域进行卷积收集运算，省去了繁琐的信号转换过程，完成了真正的光学计算速度。
钻研人员通过开发一个集成了多个以光速运行的并行内核的多级卷积光学神经收集 (ONN)，展示了通过不存在光影象效应的散射层进行图象重修。
卷积 ONN 全光学、无参考、无扫描、无导星（guide-star–free）、无标签；不需要照明控制或计算重修；并且不受影象效应的限制。此外，它可以通过强散射介质重修简单的场景和图象。
卷积 ONN 由一个光学输入层、两个卷积层和一个全连接输出层组成，可进行光速并行的一步计算。独特的是，并行多级光学卷积核采用涡旋和随机照明直接提取特征。该神经收集可通过强散射过程进行训练，使视野（Field of view）扩大 271 倍。
这一过程不仅大大提高了成像速度，而且显著增强了图象质量，使得在简单散射环境下成像成为可能。而且，卷积 ONN 的计算速度达到了每秒 1.57 千万亿次运算（POPS），为及时动态成像提供了强大的支持。这为图形处理建立了一个超快、高能效的光学机器学习平台。
图示：光学卷积神经收集原理。（来源：论文）
该钻研的另一大亮点是其多任务处理能力，只需简单调整收集结构，同一个卷积 ONN 就能同时执行多种不同的图象处理任务，如分类、重修等，这在光学人工智能范畴尚属首次。
为了在简单的无影象散射成像场景中重修物体，将训练过程中的损失函数从交叉熵误差函数更改为负皮尔逊相关系数（PCC）。因此，卷积 ONN 在具有两个不同间距的扩散层的强散射情况下进行物理训练，其中每种情况下考虑 2000 个训练物体散斑图案。
结果表明，当散射板间距（d）增加时，卷积 ONN 表现出基本相同的性能。在双层无影象散射的情况下，卷积 ONN 可以学习散斑图案和输入对象之间的低级纹理的可泛化映射。因此，所提出的卷积 ONN 可以重修未知物体。
图示：无影象图象重修的实验验证。（来源：论文）
及时无影象图象重修
接下来，讨论了经过训练的卷积 ONN 的动态推理能力，该特性对于及时无影象图象重修非常重要。为此，钻研人员重新配置了卷积 ONN，以基于可编程 SLM 和高速互补金属氧化物半导体 (CMOS) 相机执行视频速率图象重修。
结果如下图所示。可以看出，卷积 ONN 可以在给定的帧速率下根据散斑图案正确推断或重修图象，展示了大约 1.57 POPS 的计算能力。
图示：可训练卷积 ONN 的动态和多任务性能的演示。（来源：论文）
为光学成像技术开辟新途径
与现有的基于波长或偏振复用的 ONN 进行多任务推理相比，所提出的可训练卷积 ONN 可以在多任务模式下运行，并区分不同类别的独立无影象散斑图案。
为了完成这一点，只需修改第三个全连接层的结构来执行不同的任务，因为前两层卷积操作的图象处理效率很高。因此，卷积层和内核可以在不同的任务之间共享，从而提高多任务性能。
上海理工大学光子芯片钻研院张启明教授指出：「这种灵活性和效率的结合，不仅凸显了卷积收集在人工智能中的重要性，也为光学成像技术开辟了新途径。」
该钻研不仅是卷积神经收集在光学范畴的成功移植，更是对 AI 成像技术的重大助力。
上海理工大学光子芯片钻研院顾敏教授表示：「在不久的将来，卷积光学神经收集将在自动驾驶、机器人视觉、医学成像等范畴发挥越来越重要的作用。」
参考内容：https://techxplore.com/news/2024-06-convolutional-optical-neural-networks-herald.html