清华团队 AI 光学计算新突破：光谱卷积神经网络芯片，数据吞吐量降低了96%！

编辑 | 2049

近年来，人工智能技术在各个领域的广泛应用对计算效率提出了更高要求。特别是在边缘计算场景中，如何降低深度学习模型的计算成本和功耗成为关键挑战。

来自清华大学的研究团队提出了一种创新的光谱卷积神经网络（Spectral Convolutional Neural Network，SCNN）芯片架构，通过将光学计算与电子计算相结合，实现了无相干自然光的片上边缘计算。

该研究以「Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light」为题，于 2025 年 1 月 2 日发布在《Nature Communications》。

研究背景

随着人工智能技术的发展，CNN 已成为最常用的神经网络架构之一。尽管卷积层使 CNN 能够从原始图像数据中提取高层次特征，显著降低了参数复杂度，但其巨大的计算开销仍然制约着在便携终端的部署。

现有的片上光学卷积神经网络通常需要先将自然光转换为相干光，这不仅降低了能量效率，还丢失了包含物质信息的光场特征，如光谱、偏振和入射角等，特别是在复杂视觉任务中至关重要的光谱特征。

技术创新

该研究的核心创新在于提出了一种全新的光电混合计算框架。光谱卷积神经网络（SCNN）采用光学卷积层（OCL）与可重构电子后端相结合的架构，既保留了光学计算的高并行度和低功耗优势，又兼顾了电子电路的灵活性。OCL 通过在 CMOS 图像传感器（CIS）上集成大规模像素对齐的光谱滤波器实现，可直接处理包含空间和光谱信息的自然光数据。

研究团队开发了两种光谱滤波器实现方案：一种基于超表面，具有优异的光谱调制能力；另一种采用颜料，可在 12 英寸晶圆上实现量产，适合规模化生产。

在技术实现上，每个光谱滤波器精确对准一个 CIS 像素，K = k × k 个 CIS 像素构成一个超像素，N = n × n 个超像素形成一个光学卷积单元（OCU）。整个 OCL 由 H × W 个相同的 OCU 组成，实现了大规模并行的二维卷积运算。OCL 的计算速度与 CIS 的成像速度同步自适应，确保实时处理能力。

实验表明，该系统能够根据 CMOS 图像传感器的成像速度自适应地进行实时计算，数据吞吐量降低了 96%，显著减轻了电子后端的计算负担，并且通过光学卷积层实现了高能效的计算。

实验验证

研究团队通过多个实际应用验证了 SCNN 的性能，包括面部防伪和甲状腺疾病诊断。

在面部防伪任务中，SCNN 芯片能够有效识别高保真硅胶面具，测试集包含 31 个不同人的 108 个测试样本。在甲状腺疾病诊断任务中，SCNN 芯片对正常甲状腺组织和四种不同疾病的组织进行了自动诊断。

在面部防伪识别任务中，同一片 SCNN 芯片通过重新设计和训练电子网络层，能够准确识别高仿硅胶面具。实验结果显示，在包含 31 个不同人物的 108 个测试样本上，芯片实现了图像级 100% 和像素级 96.23% 的准确率。

图示：SCNN 用于与人脸识别相关的多项视觉任务。（来源：论文）

在甲状腺病理组织诊断任务中，芯片对正常组织和四种疾病（单纯性甲状腺肿、毒性甲状腺肿、甲状腺腺瘤和甲状腺癌）的分类准确率达到 96.4%。

特别值得注意的是，当移除 OCL 仅使用普通的 CIS 时，图像级诊断准确率从 96.4% 下降至 93.6%，而像素级准确率从 82.0% 显著下降至 60.6%，充分证明了光谱信息处理的重要性。

图示：SCNN 诊断甲状腺组织学切片的实验结果。（来源：论文）

结语

光谱卷积神经网络（SCNN）芯片的提出，为在传感器内直接处理非相干自然光提供了一种创新的解决方案。该技术在降低计算成本、提高能效方面具有显著优势。

虽然 OCL 的权重在特定应用中是固定的，且计算速度依赖于 CIS 的成像速度，但 SCNN 为边缘计算和人工智能硬件发展提供了新的技术路线，具有广阔的应用前景。

论文链接：https://www.nature.com/articles/s41467-024-55558-3