编辑 | KX
卷积神经网络（CNN）凭借其出色的图像识别能力，在人工智能领域表现出色，尤其是在 ChatGPT 等平台中。
近日，上海理工大学团队成功将 CNN 概念引入光学领域，实现卷积全光神经网络，为人工智能成像技术带来了革命性的进步。
研究团队开发了一种超快卷积光学神经网络（ONN），该网络无需依赖光学记忆效应，即可实现对散射介质后方物体的高效清晰成像。
该神经网络利用强散射过程直接提取特征，实现无记忆图像重建，视野扩大 271 倍，计算速度达到了每秒 1.57 千万亿次运算。
该研究以「Memory-less scattering imaging with ultrafast convolutional optical neural networks」为题，于 6 月 14 日发表在《Science Advances》杂志上。
论文链接：https://www.science.org/doi/10.1126/sciadv.adn2205
卷积运算是 CNN 的核心，从图像中提取局部特征，并逐层构建更为复杂抽象的特征表示，极大地推动了图像处理和模式识别等领域的发展。然而，将卷积网络运算的理念应用到光学领域，面临着将电子信号转换为光信号的挑战。
复杂散射介质（包括浑浊组织和散斑层）中的光学记忆效应（Optical Memory Effect，OME）一直是宏观和微观成像方法的重要基础。然而，没有光记忆效应的强散射介质的图像重建尚未实现。
图示：通过散射层堆栈实现无记忆图像重建的机制。（来源：论文）
全光学解决方案，真正的光学计算速度
研究团队巧妙地设计了一种全光学解决方案，直接在光域进行卷积网络运算，省去了繁琐的信号转换过程，实现了真正的光学计算速度。
研究人员通过开发一个集成了多个以光速运行的并行内核的多级卷积光学神经网络 (ONN)，展示了通过不存在光记忆效应的散射层进行图像重建。
卷积 ONN 全光学、无参考、无扫描、无导星（guide-star–free）、无标签；不需要照明控制或计算重建；并且不受记忆效应的限制。此外，它可以通过强散射介质重建复杂的场景和图像。
卷积 ONN 由一个光学输入层、两个卷积层和一个全连接输出层组成，可进行光速并行的一步计算。独特的是，并行多级光学卷积核采用涡旋和随机照明直接提取特征。该神经网络可通过强散射过程进行训练，使视野（Field of view）扩大 271 倍。
这一过程不仅大大提高了成像速度，而且显著增强了图像质量，使得在复杂散射环境下成像成为可能。而且，卷积 ONN 的计算速度达到了每秒 1.57 千万亿次运算（POPS），为实时动态成像提供了强大的支持。这为图形处理建立了一个超快、高能效的光学机器学习平台。
图示：光学卷积神经网络原理。（来源：论文）
该研究的另一大亮点是其多任务处理能力，只需简单调整网络结构，同一个卷积 ONN 就能同时执行多种不同的图像处理任务，如分类、重建等，这在光学人工智能领域尚属首次。
为了在复杂的无记忆散射成像场景中重建物体，将训练过程中的损失函数从交叉熵误差函数更改为负皮尔逊相关系数（PCC）。因此，卷积 ONN 在具有两个不同间距的扩散层的强散射情况下进行物理训练，其中每种情况下考虑 2000 个训练物体散斑图案。
结果表明，当散射板间距（d）增加时，卷积 ONN 表现出基本相同的性能。在双层无记忆散射的情况下，卷积 ONN 可以学习散斑图案和输入对象之间的低级纹理的可泛化映射。因此，所提出的卷积 ONN 可以重建未知物体。
图示：无记忆图像重建的实验验证。（来源：论文）
实时无记忆图像重建
接下来，讨论了经过训练的卷积 ONN 的动态推理能力，该特性对于实时无记忆图像重建非常重要。为此，研究人员重新配置了卷积 ONN，以基于可编程 SLM 和高速互补金属氧化物半导体 (CMOS) 相机执行视频速率图像重建。
结果如下图所示。可以看出，卷积 ONN 可以在给定的帧速率下根据散斑图案正确推断或重建图像，展示了大约 1.57 POPS 的计算能力。
图示：可训练卷积 ONN 的动态和多任务性能的演示。（来源：论文）
为光学成像技术开辟新途径
与现有的基于波长或偏振复用的 ONN 进行多任务推理相比，所提出的可训练卷积 ONN 可以在多任务模式下运行，并区分不同类别的独立无记忆散斑图案。
为了实现这一点，只需修改第三个全连接层的结构来执行不同的任务，因为前两层卷积操作的图像处理效率很高。因此，卷积层和内核可以在不同的任务之间共享，从而提高多任务性能。
上海理工大学光子芯片研究院张启明教授指出：「这种灵活性和效率的结合，不仅凸显了卷积网络在人工智能中的重要性，也为光学成像技术开辟了新途径。」
该研究不仅是卷积神经网络在光学领域的成功移植，更是对 AI 成像技术的重大助力。
上海理工大学光子芯片研究院顾敏教授表示：「在不久的将来，卷积光学神经网络将在自动驾驶、机器人视觉、医学成像等领域发挥越来越重要的作用。」
参考内容：https://techxplore.com/news/2024-06-convolutional-optical-neural-networks-herald.html
