联结主义是在人工智能,认知科学和哲学思想等领域的一套方法,试图代表心理或行为,作为相互连接网络中简单单元的一种处理。有许多形式的联结,但最常见的形式是使用神经网络模型。
联结的中心原则是:心理现象可以用简单且单位一致的互联网络来描述。连接和单元的形式对于不同的模型可以是不同的。例如,网络中的单位可以代表神经元,而连接可以代表人类大脑中的突触。[描述来源:Wikipedia,URL:https://en.wikipedia.org/wiki/Connectionism]
发展历史
描述
联结主义早在1943年就被提出来,随后经历了数次高潮和低谷后,于2006年迎来了新的高潮,并在语音、图像等领域获得了优越的表现。
主要事件
年份 | 事件 | 相关论文/Reference |
1943 | 提出一种神经元的数学模型,认为智能是人脑神经元循环组进行计算的因果关系的表现。被认为是联结主义的开端 | McCulloch W S, Pitts W. A logical calculus of the ideas immanent in nervous activity[J]. The bulletin of mathematical biophysics, 1943, 5(4): 115-133. |
1958 | 提出的感知器理论是20世纪50年代后期联结主义的一次高潮 | Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain[J]. Psychological review, 1958, 65(6): 386. |
1982 | 联结主义的复兴,Hopfield提出递归型人工神经网络 | Hopfield J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the national academy of sciences, 1982, 79(8): 2554-2558. |
1986 | 多组不同的学者在相近的时间段提出了反向传播算法,其中最具影响力的是Rumelhart和Hinton在nature发表的这篇文章,详细描述了反向传播应用于神经网络训练的理论 | Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. nature, 1986, 323(6088): 533. |
2006 | 提出的深度神经网络突破了以往的瓶颈,迎来了神经网络学习的高潮 | Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507. |
2012 | 使用深度卷积神经网络在ImageNet上进行识别,实验结果获得了极大的提高 | Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105. |
发展分析
瓶颈
联结主义的方法虽然正处于蓬勃发展的时期,但是现阶段没有坚实的理论基础,都是通过仿生学和经验的积累来获得突破的。这个研究领域的发展仍然处于婴幼儿时期。但这种理论较适合于解释动物的学习和人类的低层次学习现象,而随着学习心理研究的不断深入,心理学家们逐步认识到这种基于外部联结的行为主义的联结主义存在着忽视学习的内在心理过程的缺陷。
未来发展方向
如何为现阶段的联结主义的代表算法:神经网络构建一个坚实的理论基础,并对其中的节点信息和连接权重进行合理的解释是未来的发展方向。
Contributor: Yilin Pan