2024/06/26 14:43

ICML 2024 | 信号表征指数级强、内存节省超35%，量子隐式表征网络来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者是天津大学智能与计算学部张鹏教授及其硕士生赵佳铭，博士生乔文博、高珲。该项研究工作受到国家自然科学基金委、天津大学 - 中科闻歌联合实验室资助。

论文标题：Quantum Implicit Neural Representations
论文作者：Jiaming Zhao, Wenbo Qiao, Peng Zhang*, Hui Gao
论文链接：https://arxiv.org/abs/2406.03873

引言

天津大学量子智能与语言理解团队创新性地将量子计算引入隐式神经表征领域，提出了量子隐式表征网络（Quantum Implicit Representation Network, QIREN）。与经典神经网络方法相比，该方法在理论上具有指数级强的信号表征能力。实验结果也证实了 QIREN 的确表现出超越信号表示任务上 SOTA 模型的优异性能，在参数量更少的情况下，拟合误差最多减少 35%。图 1 中展示了本文的核心思想和主要结论。相关论文已经被机器学习领域最权威的会议之一 ICML 2024 接收。

^{图 1. 经典傅立叶神经网络与量子傅立叶神经网络。}

近年来，隐式神经表征作为一种新兴的信号表征方式引起了广泛关注。与传统的离散网格表示（例如用像素网格表示的图像）相比，隐式神经表征具有许多独特的优势。首先，它具备"无限分辨率"的能力，可以在任意空间分辨率下进行采样。其次，隐式神经表征具有出色的存储空间节省，为数据存储提供了便利。正因为这些独特的优势，隐式神经表征迅速成为表示图像、物体和3D场景等信号的主流范式。大多数关于隐式神经表征的早期研究都建立在基于ReLU的多层感知器（MLP）之上。然而，基于ReLU的MLP难以精确建模信号的高频部分，如图2所示。最近的研究已经开始探索使用傅立叶神经网络（FNN）来克服这一限制。然而，面对现实应用中越来越复杂的拟合任务，经典傅立叶神经网络也需要越来越多的训练参数，这增加了对计算资源的需求。本文提出的量子隐式神经表征利用了量子优势从而能够减少参数和计算消耗，这种解决方案能够给隐式神经表征甚至机器学习领域带来新的启发。

^{图 2. 真实图像的不同频率分量（顶部）和基于 ReLU 的 MLP 拟合的图像的不同频率分量（底部）}

模型

^{图 3. 模型架构}

模型整体架构

QIREN 的总体架构如图 3 所示，由 N 个混合层和末端的线性层组成。该模型以坐标作为输入并输出信号值。数据最初进入混合层，从 Linear 层和 BatchNorm 层开始，得到：

然后被输入到数据重新上传量子电路 QC 中。在图 2 (b) 和 (c) 中，我们给出了参数层和编码层量子电路的具体实现。参数层由 K 个堆叠块组成。每个块包含应用于每个量子位的旋转门，以及以循环方式连接的 CNOT 门。编码层在每个量子位上应用门。最后，我们测量了量子态相对于可观测量的期望值。量子电路的输出由下式给出：

其中 O 表示任意可观测量。第 n 个混合层的输出将被用作第（n+1）层的输入。最后，我们添加一个线性层以接收并输出。我们使用均方误差（MSE）作为损失函数来训练模型：

模型理论分析

在一些先前的研究中，数据重上传量子线路的数学性质已经被揭示，本质上数据重上传量子线路是以傅立叶级数的形式拟合目标函数。但之前的工作只探索了多层单量子比特线路或单层多量子比特线路，并且没有与经典方法进行比较，没有找到数据重上传量子线路的优势。我们将研究扩展到多层多量子比特线路。此外，我们证明了在隐式神经表征领域，以数据重上传量子线路为核心组件的混合量子神经网络 QIREN 相比经典方法有着指数级优势。我们分析了 QIREN 中的量子层和经典层的作用并将其归纳为以下三点：

1. 在最佳条件下，数据重上传量子电路表示傅立叶级数的能力随着电路的大小呈指数增长。

具体推导见论文 4.2 和 4.3 节。

2. 线性层的作用是进一步扩展频谱和调整频率，从而提高拟合性能。

在将数据上传到量子电路之前应用线性层相当于调整编码层哈密顿量的本征值，最终影响频谱。这种方法有两个优点。首先，它可以使频谱更大。仅用门编码时频谱中会产生一些冗余项。这种冗余可以通过使用线性层来减少。其次，它使频谱的覆盖范围可以调整，旨在覆盖更重要的系数更大的频率。因此，加入线性层可以进一步提高 QIREN 的拟合性能。

3. Batchnorm 层的作用是加速量子模型的收敛。

在前馈神经网络中，数据通常在激活函数之前通过 BatchNorm 层，这有效地防止了消失梯度问题。类似地，在 QIREN 中，量子电路取代了激活函数，并在提供非线性方面发挥作用（量子电路本身是线性的，但将经典数据上传到量子电路的过程是非线性的）。因此，我们在这里添加了 BatchNorm 层，目的是稳定和加速模型的收敛。

实验结果

我们通过图像表示和声音表示任务验证了 QIREN 在表示信号，特别是高频信号方面的优越性能。实验结果如表 1 所示。QIREN 和 SIREN 在声音表示任务上表现出相似的表现。尽管这两个模型的性能似乎是可比较的，但值得强调的是，我们的模型以最少的参数实现了 35.1% 的内存节省，并且 SIREN 的收敛需要设置合适的超参数，而我们的模型没有这种限制。然后，我们从频率的角度分析了模型的输出。我们在图 4 中可视化了模型输出的频谱。很明显，模型输出的低频分布都接近真实情况。然而，当涉及到高频分布时，QIREN 和 SIREN 都拟合得很好，其次是具有随即傅立叶特征（RFF）的基于 ReLU 的 MLP。基于 ReLU 和基于 Tanh 的 MLP 甚至缺乏信号的高频部分。

^{表 1. 模型在信号表示和图像超分辨率任务上的 MSE（）。被认为是 SOTA 的模型标有 *。params 表示模型参数量，mem 表示与离散网格表示相比，模型节省的内存。}

^{图 4. 声音表示任务中模型输出的频谱}

QIREN 在图像表示任务中用最少的参数实现了最佳性能，与 SOTA 模型相比，误差最大减少了 34.8%。为了进一步探索模型的信号表示能力，我们使用滤波器来分离其输出的高频和低频分量，并分别比较这两个分量的拟合误差，结果如图 5 所示。QIREN 在拟合高频和低频分量时始终实现了最低的误差。

^{图 5. 与基于 Tanh 的 MLP 相比，每个模型的相对误差。阴影区域表示低频误差，而非阴影区域表示高频误差。}

最新的研究引入了一个突破性的框架将隐式神经表征扩展到图像生成。更具体地说，该框架利用以随机分布为输入的超网络来生成隐式表征网络的参数。随后，这些生成的参数被分配给隐式表征网络。最后，隐式表征网络以坐标为输入生成图像。采用对抗性方法来确保生成的图像与我们期望的结果一致。在这项任务中，我们采用了这样一个框架，并建立在 StyleGAN2 的基础上。

实验结果如表 2 所示。我们还进一步探索了 QIREN 生成器的一些令人兴奋的特性，如图 6 和 7 所示。

^{表 2. 模型在 FFHQ 和 CelebA-HQ 数据集上的 FID 得分。}

^{图 6. 开箱即用的超分辨率}

^{图 7. 有意义的图像空间插值}

总结

这项工作不仅将量子优势融入到隐式神经表示中，而且为量子神经网络开辟了一个有前景的应用方向 —— 隐式神经表征。值得强调的是，隐式神经表征还有许多其他潜在的应用，如表示场景或 3D 对象、时间序列预测和求解微分方程。对于一大类对连续信号建模的任务，我们都可以考虑引入隐式表征网络作为基本组件。基于本文的理论和实验基础，我们可以在未来的工作中将 QIREN 扩展到这些应用中，并且 QIREN 有望在这些领域中以更少的参数产生更好的结果。同时，我们为量子机器学习找到了一个合适的应用场景。从而促进量子机器学习社区内进一步的实践和创新研究。

工程量子隐式表征网络QIRENICML 2024

相关数据

哈密顿人物

William Rowan Hamilton爵士MRIA（1805年8月4日 - 1865年9月2日）是一位爱尔兰数学家，他为经典力学、光学和代数做出了重要贡献。虽然哈密顿不是物理学家（他认为自己是一个纯粹的数学家）他的工作对物理学起着至关重要的作用，特别是他对牛顿力学的重新定义，现在称为哈密顿力学。这项工作已被证明是对电磁学等经典场论的现代研究以及量子力学发展的核心。在纯数学中，他最出名的是四元数的发明者。

来源：维基百科

激活函数技术

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

来源：维基百科 Google ML glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

量子神经网络技术

将量子理论与神经计算相结合是美国路易斯安那(Louisiana) 州立大学Kak 教授的创举,他在1995年发表的“On Quantum Neural Computing”一文首次提出量子神经计算的概念,开创了该领域的先河。同年英国 Sussex大学的Chrisley提出了量子学习(Quantum Learning)的概念，并给出非叠加态的量子神经网络模型和相应的学习算法。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

插值技术

数学的数值分析领域中，内插或称插值（英语：interpolation）是一种通过已知的、离散的数据点，在范围内推求新数据点的过程或方法。求解科学和工程的问题时，通常有许多数据点借由采样、实验等方法获得，这些数据可能代表了有限个数值函数，其中自变量的值。而根据这些数据，我们往往希望得到一个连续的函数（也就是曲线）；或者更密集的离散方程与已知数据互相吻合，这个过程叫做拟合。

来源：维基百科

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式，所以目标函数就是设计变量的函数，是一个标量。从工程意义讲，目标函数是系统的性能标准，比如，一个结构的最轻重量、最低造价、最合理形式；一件产品的最短生产时间、最小能量消耗；一个实验的最佳配方等等，建立目标函数的过程就是寻找设计变量与目标的关系的过程，目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

来源：百度百科

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

前馈神经网络技术

前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部，参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同，在它内部不会构成有向环。FNN由一个输入层、一个（浅层网络）或多个（深层网络，因此叫作深度学习）隐藏层，和一个输出层构成。每个层（除输出层以外）与下一层连接。这种连接是 FNN 架构的关键，具有两个主要特征：加权平均值和激活函数。

来源：机器之心

量子机器学习技术

量子机器学习是量子物理学和机器学习交叉的一个新兴的交叉学科研究领域。人们可以区分四种不同的方式来结合这两个父类学科。量子机器学习算法可以利用量子计算的优势来改进经典的机器学习方法，例如通过在量子计算机上开发昂贵的经典算法的有效实现。另一方面，可以应用经典的机器学习方法来分析量子系统。一般来说，可以考虑学习装置和所研究的系统都是完全量子的情况。

来源：维基百科

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括：在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化，以及尝试对学习集的剩余部分进行猜测，并且输出正确的结果。当与多个泛化器一起使用时，堆叠泛化可以被看作是一个交叉验证的复杂版本，利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时，堆叠泛化是一种用于估计（然后纠正）泛化器的错误的方法，该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

来源：Wolpert, D. H. (1992). Stacked generalization. Neural networks, 5(2), 241-259

时间序列预测技术

时间序列预测法其实是一种回归预测方法，属于定量预测，其基本原理是;一方面承认事物发展的延续性，运用过去时间序列的数据进行统计分析，推测出事物的发展趋势；另一方面充分考虑到偶然因素影响而产生的随机性，为了消除随机波动的影响，利用历史数据进行统计分析，并对数据进行适当处理，进行趋势预测。

来源：百度百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/