自组织特征映射神经网络讲解

自组织特征映射神经网络的基本思想
早在70年代，一些学者就曾根据生理学规律研究并提出了各种模
拟这些规律的人工神经网络和算法。
1981年，芬兰学者Kohonen提出了一个比较完整的、分类性能较
好的自组织特征映射（Self-Organizing Feature Map)神经网络（简 称SOM网络）的方案。有时该网络也称Kohonen特征映射网络。
领域的作用与更新
领域规定了与获胜神经元连接权向量Wij进行同样调整的其他神经
元向量的范围。 网络学习过程中各连接权向量及领域的变化状况如图所示：
网络的回想
SOM网络学习后按下式进行回想
dg
w
i 1
N
ij
ai
将需要分类的输入模式Ak提供给网络的输入层，按上式寻找出竞
争层中连接权向量与Ak最接近的神经元g，此时神经元g有最大的 激活值1，而其他神经元被抑制而取0值。神经元g表示对输入模式 Ak的分类结果。
dg
w
i 1
N
ij
a i 的大小确定连接权向量Wij。其中dj
的值大表示距离短，反之亦然。
连接权Wij的初始化
连接权{Wij}初始值的确定
方法1、将所有连接权向量Wij赋予相同的初值，这样可以减少输 入模式Ak在最初阶段对Wij的挑选余地，增加每一个连接权向 量Wij被选中的机会，尽可能快地校正Wij与Ak之间的方向偏 差。 方法2、当把连接权{Wij}赋予[0，1]区间内随机初值之后，在网 络学习的初级阶段对提供给网络的学习模式作一些修正。
– 粗学习和粗调整阶段
• 指向各个随机方向的连接全向量朝着输入模式Ak的方向进 行初步调整，并大致确定各个输入模式所对应的在竞争层 上的映射位置。
– 细学习与细调整阶段
• 网络的学习集中在对较小范围内的连接权进行调整，而且 连接权的调整趋于精细。 一般地，第二阶段所进行的学习次数是第一阶段的100~1000 倍。
SOM网络的学习、工作规则
1、初始化将网络的连接权{Wij}赋予[0，1]区间内的随机值，确
定学习率η(t)的初始值η(0)（0< η(0) <1），确定领域Ng(t)的初始 值Ng(0)。 2、给网络提供输入模式Ak=(a1,a2,…,an)。 3、计算连接权向量Wj=(wj1,wj2,…wjn)与输入模式 Ak=(a1,a2,…,an)之间的距离，即计算Euclid距离：
自组织特征映射神经网络（SOM网络）
自组织特征映射神经网络的基本思想
– 在完成某一特定功能的网络区域中，不同部位的若干神经元 对含有不同特征的外界刺激同时产生响应。 – 某一个外界信息所引起的并不是对一个神经细胞的兴奋性刺 激，而是对某一个细胞为中心的一个区域神经细胞的兴奋刺 激，并且这种刺激的强度不是均一的，有强弱之分。 大脑神经的刺激趋势与强度呈墨西哥帽的形状：（如图）
连接权Wij的初始化
连接权向量Wij的归一化处理
– 两个向量之间的距离主要取决于两个向量的方向，而与它们 的模值大小无关。因此在计算两向量之间的距离dg之前，将 连接权向量Wij按下式进行归一化处理： – 特别是当把输入模式A也进行归一化处理之后，可以直接利用 Ak与Wij的内积值的大小，寻找连接权向量Wij，即按
SOM网络的自组织特性
SOM网络的自组织能力表现在，经过网络的学习，竞争层各神经
元的连接权向量的空间分布能够正确反映输入模式的空间概率分 布。 如果给定了由网络输入层N个神经元所形成的模式空间的模式概 率分布函数，即预先知道了输入模式的分布情况，则通过对按给 定的概率分布函数产生的输入模式的学习，网络竞争层各神经元 连接权向量的空间分布密度将与给定的输入模式的概率分布趋于 一致。
SOM网络的主要学习手段
寻找与输入模式Ak最接近的连接权向量Wij。
将连接权向量Wij进一步朝与输入模式Ak接近的方向调整。 除调整连接权向量Wij外，还调整领域内的各个连接权向量Wij，j
属于Ng(t) 。并且随着学习次数的增加，领域Ng(t)逐渐缩小。
连接权调整
网络的学习过程分为两个阶段：
连接权{Wij}初始值的确定
方法3、给每一个竞争层神经元增设输出阈值Q,以d+Q作为判断两
向量距离的依据。在学习过程中，监视每个神经元被选中的次数。 当发现某个神经元经常被选中时，暂时提高该神经元的阈值，进 而增加其他神经元被选中的机会，提高连接权向量Wij的利用率， 以此来促进学习的快速进行。
d g [ (a wij ) ] ( j 1,2,...,M )
i 1 k i 2 1/ 2
4、找出最小距离dg，确定获胜神经元g。
N
SOM网络的学习、工作规则
5、进行连接权调整。将从输入神经元到Ng(t)范围内的所有竞争
层神经元之间的连接权按下式进行修正。 6、将下一个输入学习模式提供给网络的输入层，返回步骤3，直 至p个学习模式全部提供一遍。 7、更新学习率η(t)及领域Ng(t) η(t)= η0（1-t/T) 8、令t=t+1,返回步骤2，直至t=T为止。
SOM网络的特点
一旦由于某种原因，某个神经元受到损害（在实际应用中，表现
为连接权溢出、计算误差超限、硬件故障等）或者完全失效，剩 下的神经元仍可以保证所对应的记忆信息不会消失。
网络对学习模式的记忆不是一次性完成的，而是通过反复学习，
将输入模式的统计特征“溶解”到各个连接权上的。所以这种网 络具有较强的抗干扰能力。
SOM网络的分类精度分析举例
SOM网络的基本结构
SOM网络的基本结构如图所示：
SOM网络根据其学习规则，对输入模式进行自动分类，即在无教师示教
的情况下，通过对输入模式的反复学习，捕捉住各个输入模式中所含的 模式特征，并对其进行自组织，在竞争层将分类结果表现出来。
• 与其他网络的区别：它不是一个神经元或者一个神经元向量来反映分类 结果，而是以若干神经元同时反映分类结果。
连接权{Wij}初始值的确定
方法2的具体方法是：
– 给原学习模式Ak的每个元素加上一个很小的随机值，形成输 入向量A’k。由于A’k比较容易找到与其方向大致一致的连接 权向量Wij,所以可以加快网络最初阶段的学习速度。随着学习 的进行，逐渐滤掉A’k中的随机值，使A’k复原为Ak，而这时
Ak与Wij的方向已基本趋向一致，可以进入较精细的调整阶段。
一个二维模式空间的例子
一个二维模式空间的例子

一个二维模式空间的例子
SOM网络的分类精度分析
SOM网络的分类精度取决于提供给网络学习的输入模式的概率分
布函数。 – 当学习模式空间某一区域内的模式多于另一区域内的模式时， 网络学习后连接权向量最终形成的空间分布也将呈现疏密不 均的现象。 • 在分布密度高的区域，网络的分类精度高； • 在分布密度低的区域，网络的分类精度低。