量子神经网络(QNN)是基于量子力学原理的神经网络模型。 在量子神经网络研究的计算方法中,科学家试图将人工神经网络模型与量子信息的优势相结合,以便开发更有效的算法。这样做的一个重要动机是经典的神经网络模型十分难以训练,特别是在大数据应用中。一些研究者希望量子计算的特征如量子并行性或干扰和纠缠的影响可以用作资源。目前量子神经网络研究尚处于起步阶段,许多研究是基于用量子比特取代经典二元或McCulloch-Pitts 神经元的想法,导致神经单位可以处于激活状态和未激活状态的叠加。
QNN研究有两种不同的方法,一种是利用量子信息处理来改进现有的神经网络模型(有时也反过来),另一种是在大脑中寻找潜在的量子效应。
在计算能力有限的设备上运行深度神经网络(DNN)模型是一个很大的挑战,因为它对设备的计算性能和和内存具有很大的需求。使用浮点运算是保持精确性的最简单的方法,但是这种运算方法的计算量相对较大。量子化的神经网络(QNNs)在解决这个问题具有很大的潜力,它在保证DNN训练的准确性的前提下可以节省计算成本。
量子神经网络也属于前馈神经网络的一种,通过将量子态的叠加思想引入到传统的前馈神经网络中,将神经网络的隐含层激励函数采用多个sigmoid函数进行叠加。一个sigmoid函数仅可以表示两个量级和状态,而线性叠加的sigmoid函数相邻之间有着不同的量子间隔。一个隐层的神经单元就能表示更多的量级和状态,这样通过对量子间隔的训练,训练样本输入数据的不确定性就能得到量化,不同数据将映射到不同的量级之上,利用多层的激励函数增加网络的模糊性,提高网络模式识别的准确性和确定性。
量子神经网络通过对网络中的参数和权重进行二值化处理,可以在保证训练的准确率的情况下减小训练所占内存。该方法对于实现大的卷积神经网络尤其有益。[描述来源:Hubara I, Courbariaux M, Soudry D, et al. Quantized neural networks: Training neural networks with low precision weights and activations[J]. arXiv preprint arXiv:1609.07061, 2016.]
发展历史
关于量子神经计算的第一个想法是由Ron Chrisley 和Subhash Kak 于1995年独立发表的。 Subhash Kak 回顾了标准计算范式的局限性,并说明了量子神经计算的概念。描述了该想法对于理解生物信息处理和新型计算机的设计的意义。他认为从性能的角度来看,量子神经计算机可以被视为许多传统计算机的集合,这些计算机旨在解决不同的问题。量子神经计算机是一种单一机器,显然,量子神经计算机比传统计算机更通用。他还讨论了神经激活函数与量子力学特征值方程的相似性。第二年他即讨论了这些思想在脑功能研究中的应用。
2000年, Ajit Narayanan和Tammy Menneer提出了一种基于多宇宙理论的量子神经网络模型的光子实现,并在测量时“折叠”成所需的模型。他们提供了对QNN各个组件的初步了解。从那时起,越来越多的文章发表在计算机科学和量子物理学的期刊上,QNN逐渐受到关注。
2001年,Sanjay Gupta和R. K. P. Zia在量子计算网络模型的基础上,定义了一种称为量子神经网络(QNNs)的新的计算数学模型。该模型引入了一个非线性和不可逆的门并给出了应用非线性Schrödinger方程的例子。他们证明了所提出的模型确实可以提供用于构建可并行计算机的方法。
2008年,Elizabeth Behrman和Jim Steck提出了一种动态学习范式,由许多具有可协调相互作用的量子比特组成。 遵循经典的反向传播规则,从所需输入 - 输出关系的训练集中学习相互作用的强度,因此量子网络“学习”算法。他们演示了经典门XOR和XNOR的学习。
2014年,基于量子相位估计算法,Francesco Petruccione等人提出了使用基于电路的量子计算模型直接实现激活函数。
年份 | 事件 | 相关论文/Reference |
1995 | Ron Chrisley 和Subhash Kak 分别独立发表了关于量子神经计算的想法 | Chrisley, R. (1995). Quantum Learning. New directions in cognitive science: Proceedings of the international symposium. pp 77-89.//Kak, S. (1995). On quantum neural computing, Advances in Imaging and Electron Physics. 94: 259. |
1996 | Subhash Kak讨论了这些思想在脑功能研究中的应用 | Kak, S. (1996). The three languages of the brain: quantum, reorganizational, and associative. Learning as Self- Organization. Lawrence Erlbaum Associates. |
2000 | Ajit Narayanan和Tammy Menneer提出了一种基于多宇宙理论的量子神经网络模型的光子实现 | Narayanan, A. and Menneer, T. (2000). Quantum artificial neural network architectures and components, Information Sciences. 128: 231-255. |
2001 | Sanjay Gupta和R. K. P. Zia在量子计算网络模型的基础上,定义了一种称为量子神经网络(QNNs)的新的计算数学模型 | Gupta, S.; Zia, R. Quantum Neural Networks. Journal of Computer and System Sciences. 63(3): 355. |
2008 | Elizabeth Behrman和Jim Steck提出了一种动态学习范式,由许多具有可调谐相互作用的量子比特组成 | Behrman, E. C.; Steck, J. E.; Kumar, P.; Walsh, P. A. (2008). Quantum Algorithm design using dynamic learning. Quantum Information and Computation. 8(1&2): 12-29. |
2014 | 基于量子相位估计算法,Francesco Petruccione等人提出了使用基于电路的量子计算模型直接实现激活函数 | Schuld, M.; Sinayskiy, I.; Petruccione, F. (2014). Simulating a perceptron on a quantum computer. ArXiv:1412.3635. |
发展分析
=======瓶颈=======
目前量子神经计算的研究还处于萌芽阶段,其理论远未成熟。我们现有的网络结构十分有限,而且如何对网络进行训练也还未有定论。
=======未来发展方向=======
QNN与经典神经网络相比,具有以下几个优点:
- 更快的计算速度
- 更高的记忆容量
- 更小的网络规模
- 可消除灾变性失忆现象
因此其十分适合于未来数据海量、计算要求高的任务。
Contributor: Yuanyuan Li, Yilin Pan