SOM神经网络

SOM神经网络第4章 SOM自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。

当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。

生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。

大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。

据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。

Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。

SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。

4.1 竞争学习算法基础[6]4.1.1 自组织神经网络结构1．定义自组织神经网络是无导师学习网络。

它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。

2．结构层次型结构，具有竞争层。

典型结构：输入层＋竞争层。

如图4-1所示。

…竞争层…图4-1 自组织神经网络结构·输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。

竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。

4.1.2 自组织神经网络的原理1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。

由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。

对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。

2．相似性测量神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。

常用的方法有欧氏距离法和余弦法两种。

（1）欧式距离法设iX X ,为两向量，其间的欧式距离Ti i i X X X X X X d ))((--=-=（4-1）d越小，X 与iX 越接近，两者越相似，当0=d 时，iX X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：由于312312,,d d d 均小于T ，465645,,d d d 均小于T ,而)6,5,4(1=>i T d i, )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。

（2）余弦法设iX X ,为两向量，其间的夹角余弦iTX X XX =ϕcos（4-2）ϕ越小，X 与i X 越接近，两者越相似；当ϕ＝0时，ϕcos ＝1，iX X =；同样以0ϕϕ=为判据可进行聚类分析。

X 1X 2X 6类1类2X 3X 5X 4图4-2 基于欧式距离法的模式分类3．竞争学习原理竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。

最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All ，WTA ）。

竞争学习规则就是从神经细胞的侧抑制现象获得的。

它的学习步骤为：（1）向量归一化对自组织网络中的当前输入模式向量X 、竞争层中各神经元对应的内星权向量jw (m j ,,2,1Λ=)，全部进行归一化处理，如图4-3所示，得到X ˆ和jW ˆ：XX X=ˆ,jj j W W W=ˆ（4-3）jW 1jW ijX 1X iX W njkjy ……图4-3 向量归一化（2）寻找获胜神经元将X ˆ与竞争层所有神经元对应的内星权向量),,2,1(ˆm j WjΛ=进行相似性比较。

最相似的神经元获胜，权向量为*ˆj W： {}jn j j WX W X ˆˆmin},,2,1{*-=-∈Λ)) T j j T j T T j j j W W X W X X W X W X W X ******ˆˆˆˆ2ˆˆ)ˆ)(ˆ(ˆˆ+-=--=-⇒)ˆˆ1(2*T jX W -=)ˆˆ(max ˆˆ*T j jT jX W X W =⇒（4-4）（3）网络输出与权调整按WTA 学习法则，获胜神经元输出为“1”，其余为0。

即：⎪⎩⎪⎨⎧≠==+**01)1(j j j j t y j（4-5）只有获胜神经元才有权调整其权向量*j W 。

其权向量学习调整如下：⎪⎩⎪⎨⎧≠=+-+=∆+=+*)(ˆ)1()ˆˆ()(ˆ)(ˆ)1(*****j j t W t W W X t W W t W t W j j j j j j j α（4-6）10≤<α为学习率，α一般随着学习的进展而减小，即调整的程度越来越小，趋于聚类中心。

（4）重新归一化处理归一化后的权向量经过调整后，得到的新向量不再是单位向量，因此要对学习调整后的向量重新进行归一化，循环运算，直到学习率α衰减到0。

为了更好地说明竞争学习算法的聚类分析效果，下面以一具体实例进行计算[6]。

【例4-1】用竞争学习算法将下列各模式分为两类)6.0,8.0(1=X ，)9848.0,1736.0(2-=X ， )707.0,707.0(3=X ， )9397.0,342.0(4-=X ，)8.0,6.0(5=X ，学习率α＝0.5。

【解】 将上述输入模式转换为极坐标形式：ο89.3611∠=X ，ο8012-∠=X ，ο4513∠=X ，ο7014-∠=X ，ο13.5315∠=X 。

如图4-4所示。

1X 2X 3X 4X 5X 1W 2W图4-4 模式向量图要求将各模式分为两类，则竞争层为两个神经元，设两个权向量，随机初始化为单元向量：ο01)0,1()0(1∠==W ，ο1801)0,1()0(2-∠=-=W ，其竞争学习过程如下：（1）1X=1d ο89.361)0(11∠=-W X ，=2dο89.2161)0(21∠=-W X21d d <，神经元1获胜，1W 调整。

ο43.18189.365.00))0(()0()1(1111∠=⨯+=-+=W X W W αο1801)0()1(22-∠==W W （2）2X=1d ο43.981)1(12∠=-W X ，=2dο1001)1(22∠=-W X21d d <，神经元1获胜，1W 调整。

ο8.301)43.1880(5.043.18))1(()1()2(1211-∠=--⨯+=-+=W X W W αο1801)1()2(22-∠==W W （3）3X=1d ο8.751)2(13∠=-W X ，=2dο2251)2(23∠=-W X 21d d <，神经元1获胜，1W 调整。

ο71)8.3045(5.08.30))2(()2()3(1311∠=+⨯+-=-+=W X W W αο1801)2()3(22-∠==W W （4）4X=1d ο771)3(14∠=-W X ，=2dο1101)3(24∠=-W X 21d d <，神经元1获胜，1W 调整。

ο5.311)770(5.07))3(()3()4(1411-∠=--⨯+=-+=W X W W αο1801)3()4(22-∠==W W （5）5X=1d ο63.841)4(15∠=-W X ，=2dο87.1261)4(25∠=-W X 21d d <，神经元1获胜，1W 调整。

ο111)5.3113.53(5.05.31))4(()4()5(1511∠≈+⨯+-=-+=W X W W αο1801)4()5(22-∠==W W （6）1X=1d ο89.251)5(11∠=-W X ，=2dο89.2161)5(21∠=-W X21d d <，神经元1获胜，1W 调整。

ο24189.255.011))5(()5()6(1111∠≈⨯+=-+=W X W W αο1801)5()6(22-∠==W W（7）2X=1d ο1041)6(12∠=-W X ，=2dο1001)6(22∠=-W X12d d <，神经元2获胜，2W 调整。

ο1301)18080(5.0180))6(()6()7(2222-∠=+-⨯+-=-+=W X W W αο241)6()7(11∠==W W （8）3X=1d ο211)7(13∠=-W X ，=2dο1751)7(23∠=-W X21d d <，神经元1获胜，1W 调整。

ο341)2445(5.024))7(()7()8(1311∠≈-⨯+=-+=W X W W αο1301)7()8(22-∠==W W （9）4X=1d ο1041)8(14∠=-W X ，=2dο601)8(24∠=-W X12d d <，神经元2获胜，2W 调整。

ο1001)13070(5.0130))8(()8()9(2422-∠=+-⨯+-=-+=W X W W αο341)8()9(11∠==W W （10）5X=1d ο13.191)9(15∠=-W X ，=2dο13.1531)9(25∠=-W X21d d <，神经元1获胜，1W 调整。

ο441)3413.53(5.034))9(()9()10(1511∠≈-⨯+=-+=W X W W αο1001)9()10(22-∠==W W一直循环运算下去，其前20次学习结果如表4-1所示。

表4-1 竞争学习结果学习次数 W 1 W 2 学习次数W 1 W 21 18.43° -180° 11 40.5° -100°2 -30.8° -180° 12 40.5° -90°3 7°-180° 1343° -90° 4 -32° -180° 1443° -81°5 11° -180° 15 47.5° -81°（续表）学习次数 W 1 W 2 学习次数W 1W 26 24° -180° 16 42°-81°7 24° -130° 1742° -80.5°8 34° -130° 18 43.5° -80.5° 9 34° -100° 19 43.5° -75° 1044° -100° 20 48.5° -75°从表4-1可见，在运算学习20次后，网络权值1W ，2W 趋于稳定：οο75,4521-→→W W 。