自组织特征映射神经网络(SOM)

自组织特征映射网络的分析与应用

第24卷第4期Vol 24 No 4 长春师范学院学报(自然科学版) Journal of Chang Chun Teachers College(Natural Science) 2005年10月Oct 2005 自组织特征映射网络的分析与应用程勖1 ,杨毅恒1 ,陈薇伶 2 (1 吉林大学综合信息矿产预测研究所,吉林长春 130026; 2.长春工业大学研究生院,吉林长春 130012) [摘要]数据挖掘的方法主要包括检索和分类两类,而各自都有缺陷。针对这些缺点提出先利用自组织映射的方法对采集的数据进行聚类和可视化,获得一些关于采集到的数据的初步信息。自组织映射法的目的是一个将高维数据非线性的投到一个预先定义好的二维拓扑中。它通过竞争学习的方法达到了降维、聚类、可视化的目的。 [关键词]自组织特征映射;聚类;学习速率;权值矩阵[中图分类号]TP311 [文献标识码]A [文章编号]1008-178X(2005)04-0055 05 [收稿日期]2005-07-02 [作者简介]程勖(1980-),男,吉林长春人,吉林大学综合信息矿产预测研究所硕士研究生,从事GIS 二次开发及其在矿产中的评价研究。 1 引言人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于其所具有的非线性特性,大量的并行分布结构以及学习和归纳能力使其在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛的应用。自组织特征映射网络是由芬兰学者Teuvo Kohonen 于1981年提出的 [1][2][3] 。该网络是一个由全连接的神经元阵列组成的无教师自组织、自学习网络。Koho nen 认为,处于空间中不同区域的神经元有不同的分工,当一个神经网络接受外界输入模式时,将会为不同的反应区域,各区域对输入模式具有不同的响应特性。它所形成的聚类中心能够映射到一个平面或曲面上而保持拓朴结构不变, 可以对目标的固有特征作出客观的划分。 Fig 1 1The structure of Kohonen ANN 2 自组织特征映射神经网络的结构与学习算法 Kohonen 网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一为输出层,见图1 1[5] 。输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经 55

第4章 SOM自组织特征映射神经网络

第4章 SOM 自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。据此芬兰Helsinki 大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map ，SOM ），又称Kohonen 网络[1-5]。Kohonen 认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM 网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。竞争层输入层图4-1 自组织神经网络结构

· 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。 4.1.2 自组织神经网络的原理 1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。 2．相似性测量神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。（1）欧式距离法设i X X ,为两向量，其间的欧式距离 T i i i X X X X X X d ))((--= -= （4-1） d 越小，X 与i X 越接近，两者越相似，当0=d 时，i X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：由于312312,,d d d 均小于T ，465645,,d d d 均小于T ,而)6,5,4(1=>i T d i , )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。（2）余弦法设i X X ,为两向量，其间的夹角余弦 i T X X XX = ?cos （4-2） ?越小，X 与i X 越接近，两者越相似；当?＝0时，?cos ＝1，i X X =；同样以0??=为判据可进行聚类分析。

自组织特征映射网的应用

基于自组织特征映射网的灰度图像二值化方法摘要：基于自组织特征映射网的灰度图二值化方法，所采用的自组织特征映射网络输入层只含有一个节点，其输入z为图像像素灰度值。输出层是两个节点组成的一维阵列，输出Y=[y1,y2]=[0,255]，由于输出层只有两个节点，所以网络的训练算法中不需考虑侧反馈。关键词：SOFM，自组织特征映射网，灰度图像，二值化

一、SOFM 网络结构和原理 SOFM网络结构自组织特征映射（SOFM）神经网络是芬兰神经网络专家Kohonen于1981年提出的，该网络的出发点是模拟大脑皮层中具有自组织特征的神经信号传送过程，属于无导师学习的竞争型神经网络。其网络结构如图1所示，由输入层和竞争层组成，输入层由N个神经元组成，竞争层由M个输出神经元组成，且形成一个二维阵列。输入层与竞争层各神经元之间实现全互连接，竞争层之间实行侧向连接。网络根据其学习规则，对输入模式进行自动分类，即在无导师情况下，通过对输入模式的自组织。学习，抽取各个输入模式的特征，在竞争层将分类结果表示出来。图1 SOFM 的基本原理 SOFM 的基本原理是：当某类模式输入时，输出层某节点得到最大刺激而获胜，获胜节点周围的节点因侧向作用也受到刺激。这时网络进行一次学习操作，获胜节点及周围节点的连接权值向量朝输入模式的方向作相应的修正。当输入模式类别发生变化时，二维平面上的获胜节点也从原来节点转移到其它节点。这样，网络通过自组织方式用大量样本数据来调整其连接权值，最后使得网络输出层特征图能够反映样本数据的分布情况。 SOFM网络的主要特性为：1）自组织排序性质，即拓扑保持能力；2）自组织

SOM神经网络

域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。 … 竞争层 … 图4-1 自组织神经网络结构 ·输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。

自组织特征映射网络(SOM)课件

人工神经网络自组织特征映射网络简介二〇一二年十二月

目录： 1. 由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法 5. 自组织特征映射网的应用

从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的一类人工神经网络。自组织特征映射网是此类网络的主要类型之一。在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之间呈现出竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。自组织竞争神经网络就是模拟上述生物神经系统功能的人工神经网络。如右图所示，输出层各神经元之间都有双向连接线，各连接线被赋予相应的权值。从而实现对生物网络神经元相互竞争和抑制现象的模拟。 x1x 2 x i ············

自组织竞争神经网络通过对“侧抑制”现象的模拟，具备自组织功能，能无导师学习。自组织功能无导师学习自组织竞争神经网络的一大特点是：具有自组织功能，能够自适应地改变网络参数和结构，从而实现无导师学习。自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大拓宽了神经网络在模式识别和和分类上的应用。无导师指导的分类称为聚类，由于无导师学习的训练样本中不含有期望输出，因此没有任何先验的知识。特殊网络结构自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。自组织竞争网在结构上属于层次型网络，共同特点是都具有竞争层。自组织竞争网络的竞争层，各神经元之间存在横向连接，各连接被赋予权值。通过竞争学习规则，达到自组织，实现对输入样本的自动分类。特殊学习规则竞争学习规则：竞争层神经元之间相互竞争以求被激活，结果在每一轮竞争中只有一个神经元被激活。这个被激活的神经元称为“获胜神经元”，而其它神经元的状态被抑制。然后获胜神经元及其附近神经元的对应权值将被调整以反映竞争结果。主要的竞争学习规则有“胜者为王”和Kohonen规则等。“胜者为王”只修改获胜神经元权值，Kohonen规则修改获胜神经元邻域内各神经元权值。

竞争型神经网络与自组织神经网络

竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。在神经网络的应用中，对于待识别的输入模式属于哪一类并没有任何先验知识，只能是把相似的模式样品划归为一类，而将不相似的分离开，从而实现样品的类内相似性和类间

06第六章___自组织特征映射

第6章自组织特征映射本章介绍Kohonen的自组织特征映射（Self-Organizing Feature Mapping，简称SOFM）[Koho1984]。自组织特征映射是一种竞争学习网络，可以通过神经元之间的竞争实现大脑神经系统中的“近兴奋远抑制”功能，并具有把高维输入映射到低维的能力（拓扑保形特性）。我们先介绍生物系统中的竞争现象，然后介绍SOFM的网络结构和学习算法，最后通过仿真例子演示SOFM的拓扑保形特性。 6.1 生物系统中的竞争在第4章介绍RBF网的生理学基础时，我们曾提到，某些视觉神经细胞在视网膜上有特定的感受野，并具有近兴奋远抑制(on-center off-surround)功能，因此我们用径向基函数建模这样的近兴奋远抑制神经元。在本章，我们从神经元之间互相竞争的角度再来看这一现象。生物神经网络的研究发现，大脑皮层中，神经元是呈2维空间排列的，而且邻近神经元之间通过侧反馈的方式紧密互联。因此每个神经元既有外部区域的输入信号，也有来自同一区域其它神经元的反馈输入信号。而邻近神经元之间侧反馈信号的强度体现为这些神经元之间的连接强度，因此而这些连接权值的分布也体现出明显的“近兴奋远抑制”现象。更具体的说，以某个激活的神经元为圆心，邻近其它神经元根据与该神经元的距离，与之的连接权值呈三个区域的分布：对较邻近的神经元呈强的兴奋性侧反馈；对远邻的神经元呈抑制性侧反馈；对更远的神经元又呈弱的兴奋性侧反馈。通常情况下，可以不考虑第三区的弱侧反馈。这里所说的邻近神经元，在大脑皮层中是指以某兴奋神经元为圆心．半径约为50－500μm左右的其它神经元，而远邻神经元是指半径为200μm－2mm左右的神经元。（a）（b）图6.1 生物神经元中的“近兴奋远抑制” 另外，神经元之间连接强度从增强到抑制的过渡是平滑的，因此相邻神经元连接强１

Kohonen算法实现自组织特征映射神经网络

Kohonen算法实现自组织特征映射神经网络 Kohonen算法实现自组织特征映射神经网络 2010-12-23 14:28设有现有一个样本数据集，含有4个模式类，，，，各个类别含有5个数据，每个数据是一个二维向量[x,y]。则需要设定4个输出层神经元来构建SOM网络，由于输入数据是二维的向量，所以输入层神经元有2个。为了使SOM网络的设计和实行过程在作图中清晰可见，对输入的样本数据集均进行归一化处理。： A = 0.8776 0.4794 0.8525 0.5227 0.8253 0.5646 0.7961 0.6052 0.7648 0.6442 ： B= -0.6663 0.7457 -0.7027 0.7115 -0.7374 0.6755 -0.7702 0.6378 -0.8011 0.5985

： C= -0.5748 -0.8183 -0.5332 -0.8460 -0.4903 -0.8716 -0.4461 -0.8950 -0.4008 -0.9162 ： D= 0.9602 -0.2794 0.9729 -0.2311 0.9833 -0.1822 0.9911 -0.1328 0.9965 -0.0831 第一步：设定初始初始权值w，暂时设定为位于极坐标0°，90°，180°，270°角处的四个单位向量；设定初始学习率rate1max和学习率最小值rate1min；设定初始领域半径r1max和领域半径截止值r1min；设定输出层神经元个数为4。第二步：输入新的模式向量X，即输入以上四类数据样本集A,B,C,D为X。接着开始Kohonen算法的迭代运算过程，求解最佳权值w即聚类中心

自组织神经网络的优化

自组织多项式神经网络的优化摘要：由组数据处理方法（GMDH ）自动构建和训练的自组织多项式神经网络（SOPNN ）模型仅仅优化了 SOPNN 网络顶层节点的权值，该模型的主要缺点是只进行了模型权值的部分优化。为了估计经过改善所获得模型能达到的近似精确度，粒子群优化（PSO ）已经被使用去优化所有多项式节点的权值。因为在计算上PSO 模型通常是昂贵和耗时的，为此使用了一个更加有效的Levenberg-Marquardt （LM ）算法去优化 SOPNN 。由LM 算法优化后的SOPNN 模型性能上胜过了基于ANN 和SVM 的模型。本文的研究是基于时间约束下热动力影响的液体流动测量的元模型。通过多层叠加震荡递推关系的学习，我们演示了优化后的 SOPNN 模型的显著特性。关键词：多项式神经网络；GMDH ；LM 算法；粒子群优化绪论 SOPNN 网络的构建是通过将低阶多项式与多层多项式结构相结合，在这个网络中，低阶多项式的系数用以最小化近似误差，其值是通过多项式回归获得。GMDH 模型在数字计算机上很容易执行，对于低复杂网络，可以获得合理的近似精度。因为GMDH 在多项式回归和模型选择中使用的是独立的数据集，致其不支持过度拟合。当将其应用于非线性行为的实时补偿时，GMDH 和其他常见的模型所采取的策略一样，其自组织特性会去除这个复杂结构模型和参数。往往是通过对单个参数的测量评价SOPNN 网络的性能，例如最小方差，其主要是最小化了模型的近似误差而并非模型的复杂度。当建立具有时间约束性应用的模型时，其约束可以被有效的嵌入到模型选择指标中。当考虑相对于复杂度的精度时，与多层感知器（MLP ）比较，原SOPNN 模型的性能处于劣势。由GMDH 算法优化的SOPNN 模型只是对模型权值的部分优化，因为GMDH 算法仅仅优化了输出节点的权值。在多次训练迭代中，被多项式回归计算后的权值仍然不变。模型在被遗传编程和反向传播（BP ）训练后,其精度和预测可以有很大的提高。但是BP 往往会在局部最小值处卡住，所以本文提出了一种更加强大的优化方法去训练其权值。粒子群优化算法（PSO ）是一种自然仿生算法，其通过模仿鸟群的飞行来优化模型的权值。PSO 可以优化所有多项式节点的权值，在实验中用于估计原SOPNN 模型的近似能力。因为PSO 模型在计算上是昂贵和费时的，之后，我们采用了一种更加复杂的LM 算法去优化模型的权值。通过模拟，LM 算法的收敛速度数倍于SOPNN 模型。 1、GMDH 、PSO 、LM 算法 1.1、GMDH 算法如下图所示是一个完全的2层前向3维系统，图中i p ,λ表示一个对应于λ层第i 个节点的低阶低维多项式。