1981年芬兰赫尔辛基大学的T.Kohonen教授提出一种自组织特征映射网(self-organizing feature map,简称SOM),又称Kohonen网,Kohonen认为,一个神经网络接受外界输入模式时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征,而且这个过程是自动完成的。自组织特征映射正式根据这一看法提出来的,其特点与人脑的自组织特性想类似。
SOM网共有两层,输入层各神经元通过权向量将外界信息汇集到输出层的各神经元。输入层的形式与前馈神经网络相同,节点数与样本维数相等。输出层也是竞争层,神经元的排列有多种形式,如一维线阵、二维平面阵和三维栅格阵。常见的是前两种类型,下面分别予以介绍。
输出层按一维阵列组织的SOM网是最简单的自组织神经网络,下图中的一维阵列SOM网的输出层只标出相邻神经元间的侧向连接。
输出按二维平面组织是SOM网最典型的组织方式,该组织方式更具有大脑皮层的形象,输出层的每个神经元同它周围的其他神经元侧向连接,排列成棋盘状平面,结构如下图所示。
SOM网采用的学习算法称为Kohonen算法,是在胜者为王算法基础上加以改进而成的,其主要区别在于调整权向量与侧抑制的方式不同。而SOM网的获胜神经元对其临近神经元的影响是由近及远,由兴奋逐渐变为抑制,因此其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量。
来源:
人工神经网络理论、设计及应用(第二版)韩力群编著化学工业出版社
例子:
1989年Kohonen给出一个SOM网的著名应用实例,即把不同的动物按其属性特征映射到两维输出平面上,使属性相似的动物在SOM网输出平面上的位置也相近。该例训练集中共有16种动物,每种动物用一个29维向量来表示,其中前16个分量构成符号向量,后13个分量构成属性向量,描述动物的13种属性,用1或0表示某动物该属性的有或无。如下表各列给出16种动物的属性列向量。
属性 | 鸽子 | 母鸡 | 鸭 | 鹅 | 猫头鹰 | 隼 | 鹰 | 狐狸 | 狗 | 狼 | 猫 | 虎 | 狮 | 马 | 斑马 | 牛 |
小 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 |
中 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 |
大 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 |
2只腿 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
4只腿 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
毛 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
蹄 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 |
鬃毛 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | |
羽毛 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
猎 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 |
跑 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 0 |
飞 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
泳 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
SOM网的输出平面上有10*10个神经元,用16个动物模式轮番输入进行训练,最后输出平面上出现以下图所示的情况。可以看出,属性相似的动物在输出平面上挨在一起,实现了特征的有序分布。
发展历史
SOM模型起源于早期的神经网络模型,比如联想记忆和自适应学习模型。该模型源自解释大脑皮层功能的空间组织。但是,SOM并不是第一个模型。1973年由von der Malsburg提出的空间有序的线探测器模型,1980年由Amari提出的神经场模型都比SOM模型提出要早。然而,这些早期模型的自组织能力相当薄弱。Kohonen的重要发明是引入一个系统模型,该系统是由两个不同性质的相互作用子系统组成。其中一个子系统是一个竞争神经网络,它实现了赢者通吃的功能,另一个子系统是被神经网络控制的塑形控制子系统,在学习过程中改变神经元的局部突触可塑性。学习过程被限制在最为活跃的神经元局部邻域,而塑性控制子系统是基于非特异性神经交互作用,最有可能是基于化学控制作用。只有通过神经信号传递和塑性控制的分离,才能实现一个有效的、健壮的自组织系统。
SOM模型可以用抽象的数学形式表达,而不涉及任何底层神经或其他成分。SOM的第一个应用领域是语音识别。目前,SOM已经在数据分析和数据挖掘领域得到广泛使用。
主要事件
年份 | 事件 | 相关论文 |
1973 | 提出空间有序线探测器模型 | von der Malsburg, C. (1973). Self-organization of orientation sensitive cells in the striate cortex. Kybernetik, 14:85-100 |
1980 | 提出神经场模型 | Amari, S. (1980). Topographic organization of nerve fields. Bulletin of Mathematical Biology, 42:339-364. |
1982 | 提出SOM网络 | Kohonen, Teuvo (1982). "Self-Organized Formation of Topologically Correct Feature Maps". Biological Cybernetics. 43 (1): 59–69 |
1998 | 提出了一种利用树代替SOM模型中矢量的扩展方法 | Markus Peura(1998).The Self-Organizing Map of Trees.Neural Processing Letters |
发展分析
瓶颈
SOM网络的最大局限性是,当学习模式较少时,网络的分类效果取决于输入模式的先后次序;且网络连接权向量的初始状态对网络的收敛性能有很大的影响。而且,SOM网络不具有生物神经网络的稳定性,即对新学习模式的记忆将影响网络原有的模式记忆。
未来发展方向
当前SOM神经网络需要再以下三个方面进行深入地研究和讨论,因为它能堆SOM自组织算法的收敛性提供理论依据,并对任何修正形式提供评判标准,依次指明改进算法性能的正确方向。
- 当迭代次数趋于无穷时,网络权值是否收敛到一个最优解,网络是否会收敛到一个唯一状态?对这个问题的研究目前只限于一维网络,就一维网络情况而言,可以严格证明,在自组织学习结束后,对于一大类领域函数,SOM算法几乎确定收敛到一个唯一状态,而多维问题尚未解决。
- 算法的收敛性与学习速率,领域半径,以及权值之间的关系如何?如何确定最佳的学习速率和领域半径,对这个问题的研究目前也是只限于一维网络,针对多维没有解决。
- 对SOM算法的一些修正,由于SOM算法不能提供对输入数据的股友分布的可信表示,其促使了对算法的修正和新的自组织算法的发展,如修改竞争过程,在竞争过程中加入以概率方式获胜,修改更新过程,主要是调整领域函数内每个神经元权值向量更新规则,控制特征映射的放大性质。
Contributor: Peng Jiang