2024/07/03 12:02

AI成像新时代，视野扩大271倍，上海理工大学开发超快卷积光学神经网络

编辑 | KX

卷积神经网络（CNN）凭借其出色的图像识别能力，在人工智能领域表现出色，尤其是在 ChatGPT 等平台中。

近日，上海理工大学团队成功将 CNN 概念引入光学领域，实现卷积全光神经网络，为人工智能成像技术带来了革命性的进步。

研究团队开发了一种超快卷积光学神经网络（ONN），该网络无需依赖光学记忆效应，即可实现对散射介质后方物体的高效清晰成像。

该神经网络利用强散射过程直接提取特征，实现无记忆图像重建，视野扩大 271 倍，计算速度达到了每秒 1.57 千万亿次运算。

该研究以「Memory-less scattering imaging with ultrafast convolutional optical neural networks」为题，于 6 月 14 日发表在《Science Advances》杂志上。

论文链接：https://www.science.org/doi/10.1126/sciadv.adn2205

卷积运算是 CNN 的核心，从图像中提取局部特征，并逐层构建更为复杂抽象的特征表示，极大地推动了图像处理和模式识别等领域的发展。然而，将卷积网络运算的理念应用到光学领域，面临着将电子信号转换为光信号的挑战。

复杂散射介质（包括浑浊组织和散斑层）中的光学记忆效应（Optical Memory Effect，OME）一直是宏观和微观成像方法的重要基础。然而，没有光记忆效应的强散射介质的图像重建尚未实现。

图示：通过散射层堆栈实现无记忆图像重建的机制。（来源：论文）

全光学解决方案，真正的光学计算速度

研究团队巧妙地设计了一种全光学解决方案，直接在光域进行卷积网络运算，省去了繁琐的信号转换过程，实现了真正的光学计算速度。

研究人员通过开发一个集成了多个以光速运行的并行内核的多级卷积光学神经网络 (ONN)，展示了通过不存在光记忆效应的散射层进行图像重建。

卷积 ONN 全光学、无参考、无扫描、无导星（guide-star–free）、无标签；不需要照明控制或计算重建；并且不受记忆效应的限制。此外，它可以通过强散射介质重建复杂的场景和图像。

卷积 ONN 由一个光学输入层、两个卷积层和一个全连接输出层组成，可进行光速并行的一步计算。独特的是，并行多级光学卷积核采用涡旋和随机照明直接提取特征。该神经网络可通过强散射过程进行训练，使视野（Field of view）扩大 271 倍。

这一过程不仅大大提高了成像速度，而且显著增强了图像质量，使得在复杂散射环境下成像成为可能。而且，卷积 ONN 的计算速度达到了每秒 1.57 千万亿次运算（POPS），为实时动态成像提供了强大的支持。这为图形处理建立了一个超快、高能效的光学机器学习平台。

图示：光学卷积神经网络原理。（来源：论文）

该研究的另一大亮点是其多任务处理能力，只需简单调整网络结构，同一个卷积 ONN 就能同时执行多种不同的图像处理任务，如分类、重建等，这在光学人工智能领域尚属首次。

为了在复杂的无记忆散射成像场景中重建物体，将训练过程中的损失函数从交叉熵误差函数更改为负皮尔逊相关系数（PCC）。因此，卷积 ONN 在具有两个不同间距的扩散层的强散射情况下进行物理训练，其中每种情况下考虑 2000 个训练物体散斑图案。

结果表明，当散射板间距（d）增加时，卷积 ONN 表现出基本相同的性能。在双层无记忆散射的情况下，卷积 ONN 可以学习散斑图案和输入对象之间的低级纹理的可泛化映射。因此，所提出的卷积 ONN 可以重建未知物体。

图示：无记忆图像重建的实验验证。（来源：论文）

实时无记忆图像重建

接下来，讨论了经过训练的卷积 ONN 的动态推理能力，该特性对于实时无记忆图像重建非常重要。为此，研究人员重新配置了卷积 ONN，以基于可编程 SLM 和高速互补金属氧化物半导体 (CMOS) 相机执行视频速率图像重建。

结果如下图所示。可以看出，卷积 ONN 可以在给定的帧速率下根据散斑图案正确推断或重建图像，展示了大约 1.57 POPS 的计算能力。

图示：可训练卷积 ONN 的动态和多任务性能的演示。（来源：论文）

为光学成像技术开辟新途径

与现有的基于波长或偏振复用的 ONN 进行多任务推理相比，所提出的可训练卷积 ONN 可以在多任务模式下运行，并区分不同类别的独立无记忆散斑图案。

为了实现这一点，只需修改第三个全连接层的结构来执行不同的任务，因为前两层卷积操作的图像处理效率很高。因此，卷积层和内核可以在不同的任务之间共享，从而提高多任务性能。

上海理工大学光子芯片研究院张启明教授指出：「这种灵活性和效率的结合，不仅凸显了卷积网络在人工智能中的重要性，也为光学成像技术开辟了新途径。」

该研究不仅是卷积神经网络在光学领域的成功移植，更是对 AI 成像技术的重大助力。

上海理工大学光子芯片研究院顾敏教授表示：「在不久的将来，卷积光学神经网络将在自动驾驶、机器人视觉、医学成像等领域发挥越来越重要的作用。」

参考内容：https://techxplore.com/news/2024-06-convolutional-optical-neural-networks-herald.html

产业

相关数据

交叉熵技术

交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小

来源：维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

图像重建技术

通过物体外部测量的数据，经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用，显示人体各部分的图像，即计算机断层摄影技术，简称CT技术，后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

来源：百度百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

模式识别技术

模式识别（英语：Pattern recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

光神经网络技术

光神经网络是利用光技术（如光连接技术和光器件技术）形成的一种新型网络。它具有超并行处理和传输信息的能力、高密度引线能力和可对图像直接进行处理的独特优点。其基本组成单元是光神经元器件和光突触器件,其中光神经芯片至关重要。

来源：百科

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科