PRO会员通讯
回声状态网络是RNN的一个监督学习框架。它由输入神经元，动态储蓄池和输出神经元组成。动态储蓄池中包含了多个动态链接的神经元。它的主要思想是通过输入信号来训练在储蓄库中的每个神元的非线性响应信号，训练出他们的线性组合从而获得输出信号。ESN的输出函数是线性判别函数。
举例说明如下图，我们将ESN比作是函数发生器。输入信号是随时间变化的频率，理想的输出信号是对应的谐波。ESN首先建立一个动态神经储蓄池RNN。将输入和输出神经元连接储蓄池。每组输入输出看作是一组训练数据，我们用多组数据训练储蓄池中的神经元，每个神经元都是训练数据的非线性变换，如在此例中，每个神经元都是输入和输出信号的混合。在训练过程中，我们将所有神经元的权重视为一个线性回归问题，通过计算权重，线性组合达到合理的输出。
【图片及描述来源：http://www.scholarpedia.org/article/Echo_state_network】
发展历史
状态回声网络由Jeager等人在2001年提出, 其结构由认知神经科学发展而来。一开始用于序列数据处理模型，如语言处理。其网络建立可以根据具体任务改变输入输出神经元与神经元储蓄池的连接状态，以及池内神经元的连接状态。其
Schiller 等学者于2005年起进行了一系列研究，引入了池计算（Reservoir Computing）这一术语用来概括LSM、ESN等一系列相似的模型。详细研究并指出了神经元权重的训练主要在于输出神经元的权重的线性回归。
在ESN提出后的几年中，陆续有研究将ESN应用于多种时序信号预测，如语言识别，股票预测，等等。其间也有很多变体模型出现，但根本思想没有改变。随着深度学习的迅速发展，ESN的优势逐渐缩小。目前，ESN正广泛的用于微机组合计算中以补足其计算精度低的缺陷。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 2001 | Jaeger 在recurrent neural network 中 提出了 echo state 的概念 | Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks-with an erratum note. Bonn, Germany: German National Research Center for Information Technology GMD Technical Report, 148(34), 13. |
| 2001 | Jaeger 正式提出了 echo state network | Jaeger, H. (2001). Short term memory in echo state networks (Vol. 5). GMD-Forschungszentrum Informationstechnik. |
| 2004 | Jaeger 和 Haas 证实ESN 优于当时其他 RNN 框架 | Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. science, 304(5667), 78-80. |
| 2005 | Schiller 将 ESN 归纳入 Reservoir Computing | Schiller, U. D., & Steil, J. J. (2005). Analyzing the weight dynamics of recurrent learning algorithms. Neurocomputing, 63, 5-23. |
| 2011 | Ali Rodan具体研究了ESN的网络复杂度和模型记忆能力的关系 | Rodan, A., & Tino, P. (2011). Minimum complexity echo state network. IEEE transactions on neural networks, 22(1), 131-144. |
| 2017 | Eric A.Antonelo 将ESN应用于海上井下压力检测取得了非常好的效果 | Antonelo, E. A., Camponogara, E., & Foss, B. (2017). Echo State Networks for data-driven downhole pressure estimation in gas-lift oil wells. Neural Networks, 85, 106-117. |
发展分析
瓶颈
在简单的信号处理问题上，ESN是一个不错的模型，如生物信号处理 （Kudithipudi et al. 2015, https://www.frontiersin.org/articles/10.3389/fnins.2015.00502/full）遥感信号处理（Antonelo 2017, https://www.sciencedirect.com/science/article/pii/S0893608016301393）和机器人控制（Polydoros et al. 2015, http://vbn.aau.dk/files/233178114/MLPC15_paper_9.pdf）。随着深度学习的发展，通过梯度下降方法训练RNN可以得到很高的效率。这使得ESN的原本买点渐渐失去了它的优势，这一点在语音语言处理方面显得尤为明显：同等复杂等级的任务，ESN的构建更为复杂和不稳定。
未来发展方向
ESN 在 非数码计算基板 (non-digital computational substrates) 中的应用越来越流行. 在近几年一系列的研究报告中 (Vandoorne et al. 2014，Coulombe, York and Sylvestre 2017，Bürger et al. 2015，Nakajima, Hauser and Pfeifer 2015，Dale et al. 2016)，非标准微机无法达到较高的计算精度，使得其仪器失配率较高。但其非线性动态特性与储箱 (reservoirs)特点相同。因此 ESN 可以应用于训练此种设备系统。
Contributor: Fangliang Bai