自组织竞争神经网络

增量式神经网络聚类算法(

增量式神经网络聚类算法* 刘培磊1,2，唐晋韬1，谢松县1，王挺1 （1.国防科学技术大学计算机学院，湖南长沙 410073； 2.国防信息学院信息化建设系信息资源管理教研室，湖北武汉 430010）摘要：神经网络模型具有强大的问题建模能力，但是传统的反向传播算法只能进行批量监督学习，并且训练开销很大。针对传统算法的不足，提出了全新的增量式神经网络模型及其聚类算法。该模型基于生物神经学实验证据，引入了新的神经元激励函数和突触调节函数，赋予模型以坚实的统计理论基础。在此基础上，提出了一种自适应的增量式神经网络聚类算法。算法中引入“胜者得全”式竞争等学习机制，在增量聚类过程中成功避免了“遗忘灾难”问题。在经典数据集上的实验结果表明，该聚类算法与K-means 等传统聚类算法效果相当，特别是在增量学习任务的时空开销方面具有较大优势。关键词：神经网络；增量学习；聚类算法；时间开销中图分类号：TP393 文献标志码：A 文章编号： Incremental clustering algorithm of neural network LIU Peilei 1,2, TANG Jintao 1, XIE Songxian 1, WANG Ting 1 (1. College of Computer, National University of Defense Technology, Changsha 410073, China 2. Teaching and Research Section of Information Resource Management, Department of Information Construction, Academy of National Defense Information, Wuhan 430010, China) Abstract: Neural network model is powerful in problem modelling. But the traditional back propagating algorithm can only execute batch supervised learning, and its time expense is very high. According to these problems, we put forward a novel incremental neural network model and corresponding clustering algorithm. This model is supported by biological evidences, and it is built on the foundation of novel neuron’s activation function and synapse adjusting functi on. On this base, we put forward an adaptive incremental clustering algorithm, in which mechanisms such as “winner -take-all” are introduced. As a result, “catastrophic forgetting” problem can be successfully solved in the incremental clustering process. Experiments results on classic datasets show that this algorithm ’s performance is comparable with traditional clustering models such as K-means. Especially, its time and space expenses on incremental tasks are much lower than traditional clustering models. Keywords: neural network; incremental learning; clustering algorithm; time expense ① *收稿日期：2015-09-28 基金项目：国家自然科学基金资助项目（61532001，61472436）作者简介：刘培磊（1984－），男，江苏连云港人，博士研究生，E-mail ：plliu@https://www.360docs.net/doc/2212016171.html, ；王挺（通信作者），男，教授，博士，博士生导师，E-mail ：tingwang@https://www.360docs.net/doc/2212016171.html, 随着互联网和社交媒体的广泛发展，大量无标注的数据源源不断地产生 [1,2]。这些数据的海量性、无标注性、实时性等特点给传统的机器学习模型带来了很大的挑战[3]。传统的神经网络模型具有强大的问题建模能力，理论上含有足够多隐藏层神经元的神经网络可以逼近任意函数。但是主流的学习算法如BP （Back propergating ）算法使用梯度下降的方法进行学习，是批量监督学习算法，即所有的训练数据必须一次性全部输入学习模型。而模型一旦训练完毕，再碰到新的输入数据时，只能将新数据与旧数据并在一起重新训练模型。这个问题被称为“遗忘灾难”[4]，即新学习的内容会导致已经学习的内容的“遗忘”。梯度下降的方法带来的另一个问题是训练的时间开销很大，难以在线处理海量的实时性数据[5]。近年热门的深度学习模型也面临类似的计算时间开销问题[6] ，因此训练规模较大的深度神经网络往往需要使用大规模并行计算集群。ART （Adaptive Resonance Theory ）模型提出了一套不错的应对

自组织特征映射网络的分析与应用

第24卷第4期Vol 24 No 4 长春师范学院学报(自然科学版) Journal of Chang Chun Teachers College(Natural Science) 2005年10月Oct 2005 自组织特征映射网络的分析与应用程勖1 ,杨毅恒1 ,陈薇伶 2 (1 吉林大学综合信息矿产预测研究所,吉林长春 130026; 2.长春工业大学研究生院,吉林长春 130012) [摘要]数据挖掘的方法主要包括检索和分类两类,而各自都有缺陷。针对这些缺点提出先利用自组织映射的方法对采集的数据进行聚类和可视化,获得一些关于采集到的数据的初步信息。自组织映射法的目的是一个将高维数据非线性的投到一个预先定义好的二维拓扑中。它通过竞争学习的方法达到了降维、聚类、可视化的目的。 [关键词]自组织特征映射;聚类;学习速率;权值矩阵[中图分类号]TP311 [文献标识码]A [文章编号]1008-178X(2005)04-0055 05 [收稿日期]2005-07-02 [作者简介]程勖(1980-),男,吉林长春人,吉林大学综合信息矿产预测研究所硕士研究生,从事GIS 二次开发及其在矿产中的评价研究。 1 引言人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于其所具有的非线性特性,大量的并行分布结构以及学习和归纳能力使其在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛的应用。自组织特征映射网络是由芬兰学者Teuvo Kohonen 于1981年提出的 [1][2][3] 。该网络是一个由全连接的神经元阵列组成的无教师自组织、自学习网络。Koho nen 认为,处于空间中不同区域的神经元有不同的分工,当一个神经网络接受外界输入模式时,将会为不同的反应区域,各区域对输入模式具有不同的响应特性。它所形成的聚类中心能够映射到一个平面或曲面上而保持拓朴结构不变, 可以对目标的固有特征作出客观的划分。 Fig 1 1The structure of Kohonen ANN 2 自组织特征映射神经网络的结构与学习算法 Kohonen 网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一为输出层,见图1 1[5] 。输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经 55

学习向量量化(LVQ)神经网络简述

案例背景LVQ神经网络概述学习向量量化(I。earning Vector Quantization，Lvo)神经网络是一种用于训练竞争层的有监督学习( supervised learning)方法的输入前向神经网络，其算法是从Kohonen竞争算法演化而来的。LVQ神经网络在模式识别和优化领域有着广泛的应用。 1．LVQ神经网络的结构 LVQ神经网络由3层神经元组成，即输入层、竞争层和线性输出层，如图26 -1所示。输入层与竞争层之间采用全连接的方式，竞争层与线性输出层之间采用部分连接的方式。竞争层神经元个数总是大于线性输出层神经元个数，每个竞争层神经元只与一个线性输出层神经元相连接且连接权值恒为1。但是，每个线性输出层神经元可以与多个竞争层神经元相连接。竞争层神经元与线性输出层神经元的值只能是1或O。当某个输入模式被送至网络时，与输入模式距离最近的竞争层神经元被激活，神经元的状态为“1”，而其他竞争层神经元的状态均为“0”。因此，与被激活神经元相连接的线性输出层神经元状态也为“1”，而其他线性输出层神经元的状态均为“O”。图-学习向量量化网络图26 -1中，p为R维的输入模式；为竞争层神经元个数；I为输入层与竞争层之间的连接权系数矩阵；为竞争层神经元的输入；为竞争层神经元的输出；L为竞争层与线性输出层之间的连接权系数矩阵；为线性输出层神经元的输入；为线性输出层神经元的输出。 2．LVQ神经网络的学习算法 LVQ神经网络算法是在有教师状态下对竞争层进行训练的一种学习算法，因此Lvo算法可以认为是把自组织特征映射算法改良成有教师学习的算法。LVQ神经网络算法可分为ILVQ 1算法和LVQ 2算法两种。 (1) LVQ 1算法向量量化是利用输入向量的固有结构进行数据压缩的技术，学习向量量化是在向量量化I基础上能将输入向量分类的监督学习技术。Kohonen把自组织特征映射算法改良成有教师l学习算法，首先设计了LVQ 1算法。LVQ 1的训练过程开始于随机地自“标定”训练集合选I择一个输入向量以及该向量的正确类别。I LVQ 1算法的基本思想是：计算距离输入向量最近的竞争层神经元，从而找到与之相连I 接的线性输出层神经元，若输入向量的类别与线性输出层神经元所对应的类别一致，则对应的I覆竞争层神经元权值沿着输入向量的方向移动；反之，若两者的类别不一致，则对应的竞争层神l翟经元权值沿着输入向量的反方向移动。基本的LVQ1算法的步骤为：步骤1：初始化输入层与竞争层之间的权值及学习率>0)。

第4章 SOM自组织特征映射神经网络

第4章 SOM 自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。据此芬兰Helsinki 大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map ，SOM ），又称Kohonen 网络[1-5]。Kohonen 认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM 网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。竞争层输入层图4-1 自组织神经网络结构

· 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。 4.1.2 自组织神经网络的原理 1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。 2．相似性测量神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。（1）欧式距离法设i X X ,为两向量，其间的欧式距离 T i i i X X X X X X d ))((--= -= （4-1） d 越小，X 与i X 越接近，两者越相似，当0=d 时，i X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：由于312312,,d d d 均小于T ，465645,,d d d 均小于T ,而)6,5,4(1=>i T d i , )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。（2）余弦法设i X X ,为两向量，其间的夹角余弦 i T X X XX = ?cos （4-2） ?越小，X 与i X 越接近，两者越相似；当?＝0时，?cos ＝1，i X X =；同样以0??=为判据可进行聚类分析。

SOM神经网络

域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。 … 竞争层 … 图4-1 自组织神经网络结构 ·输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。

自组织特征映射网络(SOM)课件

人工神经网络自组织特征映射网络简介二〇一二年十二月

目录： 1. 由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法 5. 自组织特征映射网的应用

从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的一类人工神经网络。自组织特征映射网是此类网络的主要类型之一。在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之间呈现出竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。自组织竞争神经网络就是模拟上述生物神经系统功能的人工神经网络。如右图所示，输出层各神经元之间都有双向连接线，各连接线被赋予相应的权值。从而实现对生物网络神经元相互竞争和抑制现象的模拟。 x1x 2 x i ············

自组织竞争神经网络通过对“侧抑制”现象的模拟，具备自组织功能，能无导师学习。自组织功能无导师学习自组织竞争神经网络的一大特点是：具有自组织功能，能够自适应地改变网络参数和结构，从而实现无导师学习。自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大拓宽了神经网络在模式识别和和分类上的应用。无导师指导的分类称为聚类，由于无导师学习的训练样本中不含有期望输出，因此没有任何先验的知识。特殊网络结构自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。自组织竞争网在结构上属于层次型网络，共同特点是都具有竞争层。自组织竞争网络的竞争层，各神经元之间存在横向连接，各连接被赋予权值。通过竞争学习规则，达到自组织，实现对输入样本的自动分类。特殊学习规则竞争学习规则：竞争层神经元之间相互竞争以求被激活，结果在每一轮竞争中只有一个神经元被激活。这个被激活的神经元称为“获胜神经元”，而其它神经元的状态被抑制。然后获胜神经元及其附近神经元的对应权值将被调整以反映竞争结果。主要的竞争学习规则有“胜者为王”和Kohonen规则等。“胜者为王”只修改获胜神经元权值，Kohonen规则修改获胜神经元邻域内各神经元权值。

竞争型神经网络与自组织神经网络

竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。在神经网络的应用中，对于待识别的输入模式属于哪一类并没有任何先验知识，只能是把相似的模式样品划归为一类，而将不相似的分离开，从而实现样品的类内相似性和类间

自组织神经网络的优化

自组织多项式神经网络的优化摘要：由组数据处理方法（GMDH ）自动构建和训练的自组织多项式神经网络（SOPNN ）模型仅仅优化了 SOPNN 网络顶层节点的权值，该模型的主要缺点是只进行了模型权值的部分优化。为了估计经过改善所获得模型能达到的近似精确度，粒子群优化（PSO ）已经被使用去优化所有多项式节点的权值。因为在计算上PSO 模型通常是昂贵和耗时的，为此使用了一个更加有效的Levenberg-Marquardt （LM ）算法去优化 SOPNN 。由LM 算法优化后的SOPNN 模型性能上胜过了基于ANN 和SVM 的模型。本文的研究是基于时间约束下热动力影响的液体流动测量的元模型。通过多层叠加震荡递推关系的学习，我们演示了优化后的 SOPNN 模型的显著特性。关键词：多项式神经网络；GMDH ；LM 算法；粒子群优化绪论 SOPNN 网络的构建是通过将低阶多项式与多层多项式结构相结合，在这个网络中，低阶多项式的系数用以最小化近似误差，其值是通过多项式回归获得。GMDH 模型在数字计算机上很容易执行，对于低复杂网络，可以获得合理的近似精度。因为GMDH 在多项式回归和模型选择中使用的是独立的数据集，致其不支持过度拟合。当将其应用于非线性行为的实时补偿时，GMDH 和其他常见的模型所采取的策略一样，其自组织特性会去除这个复杂结构模型和参数。往往是通过对单个参数的测量评价SOPNN 网络的性能，例如最小方差，其主要是最小化了模型的近似误差而并非模型的复杂度。当建立具有时间约束性应用的模型时，其约束可以被有效的嵌入到模型选择指标中。当考虑相对于复杂度的精度时，与多层感知器（MLP ）比较，原SOPNN 模型的性能处于劣势。由GMDH 算法优化的SOPNN 模型只是对模型权值的部分优化，因为GMDH 算法仅仅优化了输出节点的权值。在多次训练迭代中，被多项式回归计算后的权值仍然不变。模型在被遗传编程和反向传播（BP ）训练后,其精度和预测可以有很大的提高。但是BP 往往会在局部最小值处卡住，所以本文提出了一种更加强大的优化方法去训练其权值。粒子群优化算法（PSO ）是一种自然仿生算法，其通过模仿鸟群的飞行来优化模型的权值。PSO 可以优化所有多项式节点的权值，在实验中用于估计原SOPNN 模型的近似能力。因为PSO 模型在计算上是昂贵和费时的，之后，我们采用了一种更加复杂的LM 算法去优化模型的权值。通过模拟，LM 算法的收敛速度数倍于SOPNN 模型。 1、GMDH 、PSO 、LM 算法 1.1、GMDH 算法如下图所示是一个完全的2层前向3维系统，图中i p ,λ表示一个对应于λ层第i 个节点的低阶低维多项式。

Kohonen算法实现自组织特征映射神经网络

Kohonen算法实现自组织特征映射神经网络 Kohonen算法实现自组织特征映射神经网络 2010-12-23 14:28设有现有一个样本数据集，含有4个模式类，，，，各个类别含有5个数据，每个数据是一个二维向量[x,y]。则需要设定4个输出层神经元来构建SOM网络，由于输入数据是二维的向量，所以输入层神经元有2个。为了使SOM网络的设计和实行过程在作图中清晰可见，对输入的样本数据集均进行归一化处理。： A = 0.8776 0.4794 0.8525 0.5227 0.8253 0.5646 0.7961 0.6052 0.7648 0.6442 ： B= -0.6663 0.7457 -0.7027 0.7115 -0.7374 0.6755 -0.7702 0.6378 -0.8011 0.5985

： C= -0.5748 -0.8183 -0.5332 -0.8460 -0.4903 -0.8716 -0.4461 -0.8950 -0.4008 -0.9162 ： D= 0.9602 -0.2794 0.9729 -0.2311 0.9833 -0.1822 0.9911 -0.1328 0.9965 -0.0831 第一步：设定初始初始权值w，暂时设定为位于极坐标0°，90°，180°，270°角处的四个单位向量；设定初始学习率rate1max和学习率最小值rate1min；设定初始领域半径r1max和领域半径截止值r1min；设定输出层神经元个数为4。第二步：输入新的模式向量X，即输入以上四类数据样本集A,B,C,D为X。接着开始Kohonen算法的迭代运算过程，求解最佳权值w即聚类中心