自组织特征映射网络算法
SOM算法研究与应用
SOM算法研究与应用SOM算法，也称为自组织映射算法（Self-Organizing Maps），是一种无监督学习算法，用于将高维数据映射到低维空间中。
SOM算法由芬兰科学家Teuvo Kohonen于1982年所提出，并且在计算机科学和机器学习领域中具有广泛的应用。
SOM算法的核心思想是通过将输入数据映射到一个拓扑结构上的低维空间中，实现数据的可视化和分类。
SOM网络由一个二维或三维的网格组成，每个网格单元称为节点。
在训练过程中，每个节点与输入数据之间存在权重向量，而权重向量则决定了节点在低维空间中的位置。
SOM算法通过迭代的方式，不断调整权重向量以逼近输入数据的分布特征，从而实现数据的映射和聚类。
1.初始化网络：定义网络的拓扑结构和每个节点的权重向量，通常权重向量随机初始化。
2.选择输入数据：从训练数据集中随机选择一个数据作为当前迭代的输入。
3.计算获胜节点：通过比较输入数据与每个节点的权重向量，选择距离最接近输入数据的节点作为获胜节点。
4.更新获胜节点和邻近节点的权重向量：根据获胜节点和邻近节点的拓扑关系，调整它们的权重向量，使其更接近输入数据。
5.更新学习率和邻域半径：随着迭代的进行，逐渐减小学习率和邻域半径，以缓慢调整节点的权重向量。
6.重复步骤2至5，直到达到指定的迭代次数或网络达到收敛。
1.数据聚类：SOM算法可以将相似的数据映射到相邻的节点上，从而实现聚类。
聚类结果可以帮助我们理解数据的分布特征和相似性，从而进行更深入的分析和决策。
2.数据可视化：SOM算法将高维数据映射到低维空间中，可以将数据可视化为二维或三维的网格结构。
这种可视化方法可以帮助我们直观地理解数据之间的关系和规律。
3.特征提取：SOM算法可以通过调整权重向量的方式，将数据映射到低维空间中，从而实现特征提取。
通过SOM算法提取的特征可以用于后续的分类、聚类或识别任务。
4.异常检测：SOM算法可以识别输入数据与大多数数据不同的节点，从而实现异常检测。
自组织特征映射网络算法
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
13 43 -90
14 43 -81
15 47.5 -81
16 42 -81
17 42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
* Wˆ 1
┆
* Wˆ j*
W (t ) (t )[ Xˆ p (t ) Wˆ j * (t )]
*
Wˆ j* (t 1)
Xˆ p (t)
Wˆ j
Wˆ m
*
…
*
*
14
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
28相似性测量余弦法411余弦法适合模式向量相同或模式特征只与向量方向相关的相似性测量同一类内各个模式向量间的夹角不允许超过某一最大夹412竞争学习规则winnertakeall网络的输出神经元之间相互竞争以求被激活或点火结果在每一时刻只有一个输出神经元被激活或点火
自组织特征映射网络算法
第四章 自组织神经网络
4 -32 -180
5 11 -180
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
13 43 -90
14 43 -81
15 47.5 -81
16 42 -81
自组织特征映射神经网络.(SOM)
六、SOM网络应用于模式分类
%用训练好的自组织竞争网络对样本点分类 Y=sim(net,p); %分类数据转换输出 Yt=vec2ind(Y) pause %待分类数据 dataConvert=importdata('SelfOrganizationCompetitionSimulation.dat'); data=dataConvert'; %用训练好的自组织竞争网络分类样本数据 Y=sim(net,data); Ys=vec2ind(Y) 由于自组织特征映射神经网络采用的是无教师学习方式，没有期望输出，因此训 练过程中不用设置判断网络是否结束的误差项。只要设置网络训练次数就可以了， 并且在训练过程中也只显示训练次数。运行上述程序后，系统显示运行过程，并 给出聚类结果：
ijijijsommatlabmatlab中自组织神经网络的重要函数和基本功能函数名newsom创建一个自组织特征映射神经网络plotsom绘制自组织特征映射网络的权值矢量vec2ind将单值矢量组变换成下标矢量compet竞争传输函数midpoint中点权值初始化函数learnsom自组织特征映射权值学习规则函数sommatlabmatlab中自组织神经网络的重要函数和基本功能newsom功能
I’m Teuvo Kohonen
与自组织竞争网络不同的是，在自组织映射神经网络 中邻近的神经元能够识别输入空间中邻近的部分。
二.自组织特征映射神经网络结构
SOM神经网络结构
三、自组织特征映射学习算法原理
Kohonen自组织特征映射算法，能够自动找出输入数据之间的 类似度，将相似的输入在网络上就近配置。因此是一种可以构成对
d
j
(x
i 1
n
第4章 SOM自组织特征映射神经网络
第4章 SOM自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。
当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。
生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。
大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。
据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。
Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。
SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。
4.1 竞争学习算法基础[6]4.1.1 自组织神经网络结构1．定义自组织神经网络是无导师学习网络。
它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
2．结构层次型结构，具有竞争层。
典型结构：输入层＋竞争层。
如图4-1所示。
竞争层图4-1 自组织神经网络结构输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。
竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。
4.1.2 自组织神经网络的原理1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。
自组织特征映射神经网络(SOM)
二、学习算法
1 算法 I: (i) 初始化：
- 各权矢量
W j 的确定
wji (0) ← Small random numbers（也可根据先验知识）； , k ← 0; (ii) 输入 X(k) , 对 W 做下述操作： j c 求出 与 X(k) 最接近的权矢量 W ， q 2 1/ 2 min{ W j − X (k ) = Wq − X (k ) = d q , ( X − Y = ( ∑ i ( xi − yi ) ) ) j d 定义单元 q 所在的邻域为 Nq (tk ), 将 Nq (tk ) 中各单元的权进行修改, 其它权值不变:
的改进使其与当前单元对应的权值修改次数有关随修改次数增加使关于算法的收敛性简述设可将输入样本集合划分为每个中有一个中心矢量聚类中心在物理上竞争学习算法competitivelearningcl典型的无教师学习unsupervisedlearning算法
CH.6
自组织特征映射神经网络
Neural Network
⎡P ⎢ 1,1 ⎢ P2,1 ⎢ P ⎢ ⎣ 3,1
共7396个训练矢量。 码本规模：N=512 用 SOM 网络进行矢量量化，实现图像数据压缩
(3) 学习算法
(取定 L、N) (i) 初始化： Wj (0) ← [0,255] 之间的随机数; (ii) 构造图像矢量样本集 { X(k) }, (iii) 输入 X(k), 由各 U j计算出 (iv) 由输出单元 U 在所有 out (v) (vi)
d1 U1
…
dj
Uj
Wj
… U N
dN
SOM
xn
dj
中，找出最小距离
(3) 于是令：
⎧1 , if j = q yj = ⎨ ⎩0 , if j ≠ q
SOFM网络
SOFM⽹络SOFM⽹络及其在MATLAB中的实现朱福珍吴斌(西南科技⼤学信息⼯程学院，四川绵阳 621002 )摘要本⽂详细叙述了⾃组织映射⽹络的原理、算法及其在Matlab中实现的⼯具箱，并结合实例给出了SOFM在Matlab上的实现⽅法，对于SOFM的现存问题和未来研究趋势作了分析和展望。
关键词⾃组织;⾃组织特征映射(SOFM); 拓扑结构中⽂分类号:TP183 ⽂献标识码：A ⽂章编号： SOFM Network and the Realization of SOFM in MatlabZhu Fu-Zhen Wu Bin(College of Information and Engineering， SWUST，Mianyang,Sichuan,621002,China) Abstract: This paper described the principle, the algorithm and the toolbox in Matlab of Self-organizing Feature Map Neural Network detailedly, including a paradigm of SOFM implemented in Matlab, analyzed the problem of SOFM at present and prospected its researching trend in the future.Key Words: Self-organization; Self-organizing Feature Map; Topology Structure引⾔⼈⼯神经⽹络(Artificial Neural Network,简称ANN)是近年来发展起来的模拟⼈脑⽣物过程的⼈⼯智能技术。
它由⼤量简单的神经元⼴泛互连形成复杂的⾮线性系统[1],不需要任何先验公式，就能从已有数据中⾃动地归纳规则，获得这些数据的内在规律，具有很强的⾃学习、⾃组织、⾃适应和⾮线性映射能⼒,特别适合于因果关系复杂的⾮线性推理、判断、识别和分类等问题。
基于自组织特征映射网络矢量量化图像压缩的研究与实现
基于自组织特征映射网络矢量量化图像压缩的研究与实现摘要：在介绍矢量化和自组织特征映射神经网络的基础上，针对基于自组织特征映射神经网络的矢量化算法，在初始码书生成、获胜神经元搜索以及学习速率调整等方面对图像压缩进行研究。
结果表明，采用矢量量化方法进行图像压缩，可以在获得较高压缩比的同时，得到较好的恢复图像质量。
关键词：自组织特征映射；矢量量化；码书；图像压缩1 自组织特征映射网络(SOFM)自组织特征映射网络（SOFM）是自组织网络中的一种，所谓的自组织过程是指学习的结果总是使聚类区内各神经元的权重向量保持向输入向量逼近的趋势，从而使具有相近特性的输入向量聚集在一起。
SOFM能够根据输入信息找出规律及相应联系，并根据这些规律对网络做出相应的调节，使输出结果与之适应。
1.1 SOFM基本思想自组织特征映射(SOFM)最早是由芬兰赫尔辛基大学的Teuvo Kohonen于1981年提出的。
他认为神经元的有序排列可以反映出外界刺激的某些物理特性。
当神经网络接受外界输入模式时, 其会自动分成各个区域，这些区域对输入模式具有不同的响应特点。
各神经元权值具有一定的分布，对于那个获胜神经元g ,在其周围的Ng 区域内,神经元在不同程度上都得到兴奋,而在Ng以外的神经元都被抑制。
获胜神经元不但加强自身, 而且使邻近神经元也得到相应加强, 同时抑制较远的神经元。
这时与竞争层相应节点连接的权值向量就向输入模式的方向修正。
这样，通过不断地调整权值，使每一邻域的所有节点对某种输入具有类似的输出。
因此，SOFM网络的输出状况，不但能判断输入模式所属的类别并使输出节点代表某一模式，还能够得到整个数据区域的大体分布情况。
1.2 SOFM网络模型结构大多数生物的大脑皮层中,神经元的输入信号一部分来自同一区域的反馈信号,另一部分来自感觉组织或其他区域的外部输入信号。
每一神经元接收到的输入信号的加权起特征检测作用,而侧向反馈连接则根据其与神经元距离的不同产生激励或抑制作用。
自组织特征映射神经网络研究与应用
自组织特征映射神经网络研究与应用自组织特征映射神经网络，又称Kohonen网络，在机器学习领域中具有广泛的研究和应用价值。
它是由芬兰科学家Teuvo Kohonen于1982年提出的，用来解决模式分类和聚类问题。
本文将分别从网络结构、学习规则、应用场景等多个角度来介绍自组织特征映射神经网络的研究与应用。
一、网络结构自组织特征映射神经网络是一种有两层或多层的神经元组成的全连接网络，其特点是每个神经元与输入节点全连接，但只有部分神经元与输出节点连接，这些与输出节点相连接的神经元被称作胜者神经元。
胜者神经元的选择根据输入数据与神经元之间的权值距离进行，即越接近输入数据的神经元越容易胜出。
自组织特征映射神经网络的网络结构简单，但它可以通过适当调整参数，从而实现多种复杂的函数映射。
在具体应用中，还可以采用层级结构的自组织特征映射神经网络，对于复杂的数据集，可以通过层层处理，逐步提取其更高层次的特征。
二、学习规则自组织特征映射神经网络的学习规则是基于竞争性学习的，其原理是将输入数据投影到高维空间中的低维网格上，使其可以进行分类和聚类。
其学习过程中所用的算法有两种：批处理算法和在线算法。
批处理算法在每个Epoth后，在一个批次中对全部样本进行训练，并更新权值，从而可以获得更稳定的结果，但训练时间较长。
而在线算法则是对每个样本逐个进行学习，因此训练速度较快，但结果相对不稳定。
在学习过程中，自组织特征映射神经网络会通过不断调整权值，形成特征抽取与分类能力强的模型。
其学习的结果可以通过可视化方式，将数据点在网格上的分布呈现出来，形成热图的形式，便于分析与理解。
三、应用场景自组织特征映射神经网络在数据挖掘、图像处理、生物信息学等领域都有着广泛的应用。
在图像处理领域中，可以通过自组织特征映射神经网络对图像进行压缩和分类。
在数据挖掘方面，自组织特征映射神经网络可用于数据聚类和数据可视化。
通过自组织特征映射神经网络，大量数据可以被投射到低维空间，并形成可视化热图，从而能够更好地理解数据的分布规律。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解：为作图方便，将上述模式转换成极坐标形式 ：
X1 136.89 X2 1 80 X 3 144.5 X4 1 70 X5 153.13
竞争层设两个权向量，随机初始化为单位向量：
1 1 W1 (0
分类——分类是在类别知识等导师信号的 指导下，将待识别的输入模式分配到各自 的模式类中去。 聚类——无导师指导的分类称为聚类，聚 类的目的是将相似的模式样本划归一类， 而将不相似的分离开。
09:21
2
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i ( X X i )T ( X X i )
09:21
9
竞争学习规则——Winner-Take-All
ˆ W ˆ * X j
ˆ W ˆ * X j
j 1, 2,..., m
min
ˆ W ˆ X
j
ˆ W ˆ * )T ( X ˆ W ˆ *) (X j j
ˆ TX ˆ 2W ˆ T* X ˆ W ˆ T* W ˆ T* X j j j
类2
类1
同一类内 各个模式 向量间的 夹角不允 许超过某 一最大夹 角ψ T
相似性测量
(b)基于余弦法的相似性测量
09:21
余弦法适合模式向量相同或模式特征 只与向量方向相关的相似性测量
4
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
09:21
14
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
第四章 自组织神经网络
自组织学习(self-organized learning) ：
通过自动寻找样本中的内在规律和本
质属性，自组织、自适应地改变网络参数
与结构。
自组织网络的自组织功能是通过竞争
学习（competitive learning）实现的。
09:21
1
4.1 竞争学习的概念与原理
4.1.1 基本概念
j j* * j j
ˆ * (t ) W * W ˆ * (t ) (X ˆ W ˆ *) Wj* (t 1) W j j j j ˆ (t ) Wj (t 1) W jj* j
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
09:21
11
竞争学习的几何意义
激活或点火，结果在每一时刻只有一个输
出神经元被激活或点火。这个被激活的神
经元称为竞争获胜神经元，而其它神经元 的状态被抑制，故称为Winner Take All。
09:21
5
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量 X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
*
*
*
*
09:21
12
竞争学习的几何意义
ˆ *W 1
ˆ * W j
*
ˆ * (t 1) W j
ˆ p (t ) W ˆ * (t )] W (t ) (t )[ X j
*
┆
ˆ p (t) X
ˆ W j
ˆ W m
*
…
*
09:21
13
例4.1
1
用竞争学习算法将下列各模式分为2类：
0.8 2 0.1736 3 0.707 4 0.342 5 0.6 X 0.6 X 0.9848 X 0.707 X 0.9397 X 0.8
15
x
3
x1 w2 w1
x2
09:21
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
X ˆ X X
09:21
x1
x
j 1
n
...
2 j
xn n 2 xj j 1
T
6
原始向量
*
*
* *
09:21
7
归一化后的向量
* *
*
*
*
09:21
8
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
类1 T (a)基于欧式距离的相似性测量 类2
(b)基于余弦
同一类内各个模式向量间的欧式距离不 允许超过某一最大值Ｔ
09:21 3
4.1.1 基本概念
• 相似性测量＿余弦法
cos
类2 T
XT Xi X Xi
ˆ 2(1 WT * X) j
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
T ˆ T ˆ ˆ ˆ Wj* X max ( Wj X) j{1, 2,..., m}
09:21
10
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 o j (t 1) 0