自组织竞争网络

合集下载

自组织竞争神经网络

第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索阶段。此时R为全0，G1=1 ，在C层输出端又得到了此次输入模式X。所以，网络又进入识别及比较阶段，得到新获胜节点（以前获胜节点不参加竞争）。这么重复直至搜索到某一个获胜节点K，它与输入向量X充分匹配到达满足要求为止。模式X编制到R层K节点所连模式类别中，即按一定方法修改K节点自下而上和自上而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。信号2：R层第j个单元自上而下返回信号Rj。信号3：G1控制信号。设C层第i个单元输出为Ci。 Ci依据“2/3规则”产生，即Ci含有三个信号中多数相同值。网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出层有m个节点，m类输入模式。输出层节点能动态增加，以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层输出端产生获胜节点，指示此次输入向量类别。

无线自组网竞争类MAC协议分析及研究

无线自组网竞争类MAC协议分析及研究无线自组网是一种没有任何中心实体的，由一组带有无线通信收发装置的移动终端节点组成的自治性网络。

依靠节点间的相互协作可在任何时刻、任何地点以及各种移动、复杂多变的无线环境中自行成网，并借助多跳转发技术来弥补无线设备的有限传输距离，从而拓宽网络的传输范围，为用户提供各种服务、传输各种业务。

在现代化战场上，如数字化与自动化战场、各种军事车辆、士兵之间的协同通信、发生地震等自然灾害后、搜救与营救以及移动办公、虚拟教室、传感器网络等通信领域应用非常广泛。

其中MAC协议是无线自组网协议的基础，控制着节点对无线媒体的占用，对自组织网的整体性能起着决定性的作用。

从自组织网出现至今，MAC协议设计一直是研究的重点。

目前，移动自组织网采用的信道访问控制协议大致包括3类：竞争协议、分配协议、竞争协议和分配协议的组合协议(混合类协议)。

这3种协议的区别在于各自的信道接入策略不同。

由于MAC协议的研究主要集中在基于竞争的机制，本文着重针对竞争类协议中几种较常用的典型MAC协议进行对比分析，并在OPNET 仿真建模软件中创建出各协议的状态模型，这对无线自组织网络仿真研究及选择高效适用的MAC技术方案具有实际参考价值。

1 竞争协议的概念及特点竞争协议是使用直接竞争来决定信道访问权，并且通过随机重传来解决碰撞问题。

ALOHA协议和载波侦听多址访问CSMA 协议就是竞争协议的典型例子。

除了时隙化的ALOHA协议，大多数竞争协议都使用异步通信模式。

这种协议在低传输负荷下运行良好，如碰撞次数少，信道利用率高、分组传输时延小。

随着传输负荷的增大，往往使协议性能下降、碰撞次数增多。

在传输负荷很重的时候，竞争协议可能随着信道利用率下降而变得不稳定。

这就可能导致分组传输时延呈指数形式增大，以及网络服务的崩溃。

这就对MAC协议的设计提出了较高的要求。

当前无线自组网中MAC协议的设计面临如下几个问题。

1．1 隐藏终端和暴露终端无线自组网的无线信道是一个共享的广播信道，但它不是一跳共享的，而是多跳的共享信道。

自组织竞争网络在测井资料岩性识别中的应用

—
５—
ｌ
２ Βιβλιοθήκη ０４３０４６０４６Ｏ５６０３ｌ泥．０６．３５．８０．１１．４９
０１４．４５０．７１０．６３０．９８ｌ０．８４１４９４３０６
岩
３
４
０５５０６００６４０６９０７５砂．３２．４８．１５．２９．ｌ４
０５４．５２０．５８６２０．２３Ｏ．７ｌ０．０６４６５７２５
岩
对网络进行初始化，论文用到函数ｉｉｃｎｎｔｏ。接着就可以对网络进行训练，当达到最大训练次数时，训练停止。此时用仿真函数ｓｍ检验网络对岩性分类模式的分类。为了检验网络的分类性能ｉ采用训练样本以外的数据对网络进行测试。利用自组织竞争神经网络进行岩性识别，不必对输入的测井数据进行统计，只要将网
ｌｈｌｇｆｅｅｅｒｈｔｅｔｙｎｗｔｏｓｉｏｏｙｏｔｓａｃｉｎｉｅｍｅｄ．ｔｈｒｏｄｆｈ
Ｋｅｗｏｄ：ｅｆｏｇａｉｉｇｃｙｒｓＳｌ－ｒｎｚｎｏｍｐｅｉｉｅｎｔｏｋＬｏｔｉｏｏｙｉｅｔｆｃｔｏＭＡＴＬＡＢｔｔｖｅｗｒ；ｇｄａａｌｌｇｄｎｉａｉｎ；ｈｔｉ
ｅｔｂｉｅｆｒａｉｉｇｃｍｐｔｉｅｎｔｏｋｍｏｅａｅｎＭＡＴｓｌｈｓｌｏｇｎｚｎｏｅｉｖｅｒｄｌｂｓｄｏａｓ－ｔｗＬＡＢ．ｙｃｍｐｒｇｔｅｔｔｕｔｒｓｏａｉｃｍｐｔｉｅＢｏａｉｈｗｏｓｒｃｕｅｆｂｓｃｏｅｉｖｎｔｎｔｏｋａｄｓｌｏｇｎｚｎｏｅｉｖｅｗｏｋｔｃｉｖｉｏｏｙｃａｓｃｔｎＥｘｅｉｎａｅｕｔｈｗｈｔｔｅｕｅｏｅｒｎｅｆｒａｉｉｇｃｍｐｔｉｅｎｔｒｏａｈｅｅ１ｈｌｇｌｓｉａｉ．ｐｒｗ－ｔｔｉｆｏｍｅｔｌｒｓｌｓｏｔａｈｓｆｓ

自组织竞争神经网络SOM

第四章自组织竞争型神经网络
本章主要介绍自组织竞争型神经网络的结构学习算法;及相关理论
1
第四章自组织竞争型神经网络
§4 1 前言 §4 2 竞争学习的概念和原理 §4 3自组织特征映射神经网络 §4 4自组织特征映射神经网络的设计 §4 5 对偶传播神经网络 §4 6小结
2
§4 1 前言
在生物神经系统中;存在着一种侧抑制现象;即一个神经细胞兴奋以后;会对周围其他神经细胞产生抑制作用这种抑制作用会使神经细胞之间出现竞争;其结果是某些获胜;而另一些则失败表现形式是获胜神经细胞兴奋;失败神经细胞抑制
在网络结构上;它一般是由输入层和竞争层构成的两层网络两层之间各神经元实现双向连接;而且网络没有隐含层有时竞争层各神经元之间还存在横向连接
4
在学习算法上;它模拟生物神经元之间的兴奋协调与抑制竞争作用的信息处理的动力学原理来指导网络的学习与工作;而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便;将上述模式转换成极坐标形式：
X113.68o9X2180oX314.4 5X4170oX515.31o3
竞争层设两个权向量;随机初始化为单位向量：
W1(0)1010o W2(0)01118o0
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90

自组织竞争神经网络

dj =
n
∑ (x
i =1
i
− wi j ) 2
∆wi j = η h( j , j*)( xi − wi j )
j − j*2 h ( j , j *) = exp − σ2

自组织竞争神经网络算法能够进行有效的自适应分类，但它仍存在一些问题：学习速度的选择使其不得不在学习速度和最终权值向量的稳定性之间进行折中。有时有一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜，因此也从未得到学习，这将形成毫无用处的“死”神经元。
网络结构
%1.ÎÊÌâÌá³ö X=[0 1;0 1]; clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); plot(P(1,:),P(2,:),'+r'); title('ÊäÈëÏòÁ¿'); xlabel('P(1)'); ylabel('P(2)'); %2.ÍøÂçÉè¼Æ net=newc([0 1;0 1],8,.1) w=net.IW{1}; plot(P(1,:),P(2,:),'+r'); hold on; circle=plot(w(:,1),w(:,2),'ob') %3.ÍøÂçÑµÁ· net.trainParam.epochs=7; net=train(net,P) w=net.IW{1}; delete(circle); plot(w(:,1),w(:,2),'ob'); %4.ÍøÂç²âÊÔ p=[0.5;0.2]; a=sim(net,p)

SOM神经网络原理

1 . SOM是由输入层和竞争层组成的单层神经网络，输入层是一维的神经元，有n个节点。竞争层是二维的神经元，按二维的形式排列成节点矩阵，有M=m^2个节点。
视频名称:SOM神经网络理论及其matlab实现会员：Hgsz2003
2013-10-29 10 我版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！！
视频名称:SOM神经网络理论及其matlab实现会员：Hgsz2003
SOM是由芬兰赫尔辛基大学神经网络专家Kohonen教授在1981年提出的。这种网络模拟大脑神经系统自组织特征映射的功能，是一种竞争型网络，并在学习中能无导师进行自组织学习。
2013-10-29 我版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！！5
在网络结构上，自组织竞争网络一般是有输入和竞争层构成的单层网络，网络没有隐藏层，输入和竞争层之间的神经元实现双向连接，同时竞争层各神经元之间还存在横向连接。
视频名称:SOM神经网络理论及其matlab实现会员：Hgsz2003
2013-10-29 我版权申明：视频归原创作者跟Matlab中文论坛所有，可以在Matlab中文论坛下载或者观看，请勿转载！！4
Matlab&Simulink为美国mathworks公司注册商标！版权归mathworks公司所有！

SOM算法是一种无导师的聚类法，它能将任意维输入模式在输出层映射成一维或者二维离散图形，并保持其拓扑结构不变，即在无导师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来，此外，网络通过对输入模式的反复学习，可以使连接权值空间分布密度与输入模式的概率分布趋于一致，即连接权向量空间分布能反映输入模式的统计特征。

自组织神经网络

❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数,缺省为 'hextop'.
❖ DFCN
- 距离函数,缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率,缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤,缺省为1000.
❖
TLR
- 调整阶段学习率,缺省为0.02;
例：LVQ网络的设计
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值网络结构：竞争网络学习方法：Kohonen和阈值学习规则用途：聚类
❖
TND
- 调整阶段最大学习步骤,缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本待聚类样本 ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
排序阶段粗调调整阶段细调
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量,神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
* IW 1 ,1 ( q 1 )
若分类不正确：
修正第 i个神经元的权值更远离
该样本
i i － ( p ( q ) i ) * IW 1,1 ( q )
* IW 1 ,1 ( q 1 )
* IW 1 ,1 ( q 1 )

竞争型神经网络与自组织神经网络

竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。

与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。

竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。

一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。

当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。

一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。

STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。

因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。

竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。

SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。

SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。

当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。

当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

5.1 竞争学习的概念与原理
5.1.1 基本概念
1．模式、分类、聚类与相似性
模式：是对某些感兴趣的客体的定量描述或结构描
述，模式类是具有某些共同特征的模式的集合。
分类（有导师指导）：是在类别知识等导师信号的
指导下，将待识别的输入模式分配到各自的模式类中去。
聚类（无导师指导）：将相似的模式样本划归一类，
(2)余弦法计算两个模式向量夹角的余弦，两个模式向量越接近，其夹角越小，余弦越大。对模式向量间的夹角作出规定，就为一种聚类判据。适合模式特征只与向量方向相关的相似性测量。
n维空间欧式距离公式
d=sqrt( ∑(xi1-xi2)2 )
i=1,2...n
xi1表示第一个点的第i维坐标,
xi2表示第二个点的第i维坐标。
4．向量归一化向量归一化的目的是将向量变成方向不变长度为1 的单位向量。比较时，只需比较向量的夹角。归一化后的向量用 ^标记。
4.1.2 竞争学习原理 1.竞争学习规则典型竞争学习规则称为胜者为王。算法分3个步骤。
(1)向量归一化对输入模式向量X和竞争层中各神经元对应的内星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内星权向量Wj均与X进行相似性比较, 将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj*。测量相似性的方法是对Wj和X计算欧式距离(或夹角余弦)
训练前先对竞争层权向量随机初始化。初始状态，单位圆上的“*”是随机分布的。前已证明，两个向量的点积越大，两者越近似，因此以点积最大获胜的神经元对应的权向量应最接近当前输入模式。从图，如果当前输入模式用“o”表示，单位圆上各“*”点代表的权向量依次同“o”点代表的输入向量比较
距离，结果是离得最近的那个*获胜。
调整后，获胜*点的位置进一步移向o点及其所在的簇。显然，当下次出现与o点相像的同簇内的输入模式时，上次获胜的*点更容易获胜。
依此方式经过充分训练后，单位圆上的4个*点会逐渐移入各输入模式的簇中心，从而使竞争层每个神经元的权向量成为一类输入模式的聚类中心。当向网络输入一个模式时，竞争层中哪个神经元获胜使输出为1，当前输入模式就归为哪类。
3．侧抑制与竞争
在人的视网膜中，存在着一种“侧抑制” 现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争，虽然开始阶段各个神经细胞都处于程度不同的兴奋状态，由于侧抑制的作用，各细胞之间相互竞争的最终结果是：兴奋作用最强的神经细胞所产生的抑制作用战胜了它周围所有其他细胞的抑制作用而“赢”了，其周围的其他神经细胞则全“输”了。（胜者为王）
而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。对一组输入模式，只能根据它们之间的相似程度分为若干类，因此相似性是输入模式的聚类依据。
2．相似性测量
欧式距离法和余弦法。 (1)欧式距离法
欧式距离，即两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为零。对各个模式向量间的欧式距离作出规定，则最大欧式距离T就成为一种聚类判据。同类模式向量的距离小于T，异类模式向量的距离大于T。
权向量经调整后不再是单位向量，因此需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后其矢端可以看成分布在单位圆上的点，用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类指导信息，网络如何自动发现样本空间的类别划分?
人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中生物神经网络的学习，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
自组织网络结构上属于层次型网络，有多种类型，其共同特点是都具有竞争层。输入层负责接受外界信息并将输入模式向竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。
=0.65
W32=0.1+0.5(0.2-0.1)
=0.15
4.2 自组织特征映射神经网络(SOFM)
1981年Kohonen提出，又称Kohonen网。他认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，且该过程自动完成。特点与人脑的自组织特性相类似。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
竞争学习算法示例
0
0
1
0
1
2
j
4
0.3 0.6
0.2
0.7

0.7 0.1
0.3
0.6
0.6
0.2
j
WX
1 0.36+0.06=0.42
2 0.12+0.14=0.26
3 0.42+0.02=0.44
4 0.18+0.12=0.30
第3个神经元获胜
设a=0.5
w31=0.7+0.5(0.6-0.7)
4.2.1 SOFM生物学基础
生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，对应的兴奋神经元也相近。大脑皮层中神经元的这种响应特点是通过后天的学习自组织形成的。
4.2.2 SOFM网的拓扑结构与权值调整域
1．拓扑结构
SOFM网共有两层，输入层各神经元通过权向量将外界信息汇集到输出层的各神经元。输入层形式与BP相同，神经元数与样本维数相等。输出层也是竞争层，神经元的排列有多种形式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种类型。