SOM神经网络
SOM神经网络
第4章 SOM自组织特征映射神经网络
生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。
据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区
域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。
4.1 竞争学习算法基础[6]
4.1.1 自组织神经网络结构
1．定义
自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
2．结构
层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。
…
竞争层
…
图4-1 自组织神经网络结构
·输入层：接受外界信息，将输入模式向竞争
层传递，起“观察”作用。
竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。
4.1.2 自组织神经网络的原理
1．分类与输入模式的相似性
分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。
2．相似性测量
神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。 （1）欧式距离法
设i
X X ,为两向量，其间的欧式距离
T
i i i X X X X X X d ))((--=-=
（4-1）
d
越小，X 与i
X 越接近，
两者越相似，当0=d 时，i
X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：
由于31
23
12
,,d d d 均小于T ，46
56
45
,,d d d 均小于T ,而)6,5,4(1=>i T d i
, )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式6
54321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。 （2）余弦法
设i
X X ,为两向量，其间的夹角余弦
i
T
X X XX =
?cos
（4-2）
?
越小，X 与i X 越接近，两者越相似；当?＝0时，
?cos ＝1，
i
X X =；同样以0
??=为判据可进行聚类分析。 X 1
X 2
X 6
类1
类2
X 3
X 5
X 4
图4-2 基于欧式距离法的模式分类
3．竞争学习原理
竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All ，WTA ）。竞争学习规则就是从神经细胞的侧抑制现象获得的。它的学习步骤为：
（1）向量归一化
对自组织网络中的当前输入模式向量X 、竞争层中各神经元对应的内星权向量j
w (m j ,,2,1Λ=)，全
部进行归一化处理，如图4-3所示，得到X ?和j
W ?：
X
X X
=?,
j
j j W W W
=?
（4-3）
j
W 1j
W ij
X 1
X i
X W nj
k
j
y …
…
图4-3 向量归一化
（2）寻找获胜神经元
将X ?与竞争层所有神经元对应的内星权向量),,2,1(?m j W
j
Λ=进行相似性比较。最相似的神经元获胜，权向量为*
?j W
： {}j
n j j W
X W X ??min
}
,,2,1{*-=
-∈Λ)
) T j j T j T T j j j W W X W X X W X W X W X ******????2??)?)(?(??+-=--=-?)??1(2*T j
X W -=
)??(max ??*T j j
T j
X W X W =?
（4-4）
（3）网络输出与权调整
按WTA 学习法则，获胜神经元输出为“1”，其余为0。即：
????
?≠==+*
*0
1
)1(j j j j t y j
（4-5）
只有获胜神经元才有权调整其权向量*
j W 。其权向
量学习调整如下：
????
?≠=+-+=?+=+*)
(?)1()
??()(?)(?)1(*****j j t W t W W X t W W t W t W j j j j j j j α
（4-6）
1
0≤<α为学习率，α一般随着学习的进展而减小，
即调整的程度越来越小，趋于聚类中心。 （4）重新归一化处理
归一化后的权向量经过调整后，得到的新向量
不再是单位向量，因此要对学习调整后的向量重新进行归一化，循环运算，直到学习率α衰减到0。
为了更好地说明竞争学习算法的聚类分析效果，下面以一具体实例进行计算[6]
。
【例4-1】用竞争学习算法将下列各模式分为两类
)
6.0,8.0(1=X ，
)9848.0,1736.0(2-=X ， )
707.0,707.0(3=X ， )9397.0,342.0(4-=X ，
)
8.0,6.0(5=X ，
学习率α＝0.5。
【解】 将上述输入模式转换为极坐标形式：ο
89.3611
∠=X ，ο
8012
-∠=X ，ο
4513
∠=X ，ο
7014
-∠=X ，ο
13.5315
∠=X 。如图4-4所示。
1
X 2
X 3
X 4
X 5
X 1
W 2W
图4-4 模式向量图
要求将各模式分为两类，则竞争层为两个神经元，设两个权向量，随机初始化为单元向量：ο
01)0,1()0(1
∠==W ，ο
1801)0,1()0(2
-∠=-=W ，其竞争学习过程如下：
（1）1
X
=1d ο89.361)0(11∠=-W X ，=2
d
ο
89.2161)0(21∠=-W X
2
1d d <，神经元1获胜，1
W 调整。 ο
43.18189.365.00))0(()0()1(1
1
1
1
∠=?+=-+=W X W W α
ο
1801)0()1(22-∠==W W （2）2
X
=1d ο43.981)1(12∠=-W X ，=2
d
ο
1001)1(22∠=-W X
2
1d d <，神经元1获胜，1
W 调整。
ο
8.301)43.1880(5.043.18))1(()1()2(1211-∠=--?+=-+=W X W W α
ο
1801)1()2(22-∠==W W （3）3
X
=1d ο8.751)2(13∠=-W X ，=2
d
ο
2251)2(23∠=-W X 2
1d d <，神经元1获胜，1
W 调整。
ο71)8.3045(5.08.30))2(()2()3(1311∠=+?+-=-+=W X W W α
ο
1801)2()3(22-∠==W W （4）4
X
=1d ο771)3(14∠=-W X ，=2
d
ο
1101)3(24∠=-W X 2
1d d <，神经元1获胜，1
W 调整。
ο5.311)770(5.07))3(()3()4(1411-∠=--?+=-+=W X W W α
ο
1801)3()4(22-∠==W W （5）5
X
=1d ο63.841)4(15∠=-W X ，=2
d
ο
87.1261)4(25∠=-W X 2
1d d <，神经元1获胜，1
W 调整。
ο111)5.3113.53(5.05.31))4(()4()5(1511∠≈+?+-=-+=W X W W α
ο
1801)4()5(22-∠==W W （6）1
X
=1d ο89.251)5(11∠=-W X ，=2
d
ο
89.2161)5(21∠=-W X
2
1d d <，神经元1获胜，1
W 调整。 ο
24189.255.011))5(()5()6(1
1
1
1
∠≈?+=-+=W X W W α
ο
1801)5()6(22-∠==W W
（7）2
X
=1d ο1041)6(12∠=-W X ，=2
d
ο
1001)6(22∠=-W X
1
2d d <，神经元2获胜，2
W 调整。
ο1301)18080(5.0180))6(()6()7(2222-∠=+-?+-=-+=W X W W α
ο
241)6()7(11∠==W W （8）3
X
=1d ο211)7(13∠=-W X ，=2
d
ο
1751)7(23∠=-W X
2
1d d <，神经元1获胜，1
W 调整。 ο
341)2445(5.024))7(()7()8(1
3
1
1
∠≈-?+=-+=W X W W α
ο
1301)7()8(22-∠==W W （9）4
X
=1d ο1041)8(14∠=-W X ，=2
d
ο
601)8(24∠=-W X
1
2d d <，神经元2获胜，2
W 调整。
ο1001)13070(5.0130))8(()8()9(2422-∠=+-?+-=-+=W X W W α
ο
341)8()9(11∠==W W （10）5
X
=1d ο13.191)9(15∠=-W X ，=2
d
ο
13.1531)9(25∠=-W X
2
1d d <，神经元1获胜，1
W 调整。
ο441)3413.53(5.034))9(()9()10(1511∠≈-?+=-+=W X W W α
ο
1001)9()10(22-∠==W W
一直循环运算下去，其前20次学习结果如表
4-1所示。
表4-1 竞争学习结果
学习次数 W 1 W 2 学习次数
W 1 W 2
1 18.43° -180° 11 40.5° -100°
2 -30.8° -180° 12 40.5° -90°
3 7°
-180° 13
43° -90° 4 -32° -180° 14
43° -81°
5 11° -180° 15 47.5° -81°
（续表）
学习次数 W 1 W 2 学习次数
W 1
W 2
6 24° -180° 16 42°
-81°
7 24° -130° 17
42° -80.5°
8 34° -130° 18 43.5° -80.5° 9 34° -100° 19 43.5° -75° 10
44° -100° 20 48.5° -75°
从表4-1可见，在运算学习20次后，网络权值1
W ，2
W 趋于稳定：ο
ο
75,452
1
-→→W W 。同时我们还可以得到如下结论：
· 当1
W 调整时，2
W 不变，反之亦然，每次只有
一个神经元获胜。
·
5
3
1
,,X X X 属于同一模式，其中心向量为：
ο45)(3
1
321=++X X X ，2
X ,
4
X 属于同一模式类：
ο751)(2
1
42-∠=+X X 。
· 若学习率α为常数，1
W ,2
W 将在中心向量附近
摆动，永远也不收敛。
4.2 SOM 神经网络模型与算法[7] 1．SOM 网络的拓扑结构
SOM 网络共有两层：输入层和输出层。 · 输入层：通过权向量将外界信息汇集到输出层各神经元。输入层的形式与BP 网相同，节点数与样本维数相同。
· 输出层：输出层也是竞争层。其神经元的排列有多种形式，分为一维线阵、二维平面阵和三维栅格阵。最典型的结构是二维形式，它更具大脑皮层的形象，如图4-5所示。
输出层
输入层
图4-5 二维SOM 平面阵列
输出层的每个神经元同它周围的其他神经元
侧向连接，排列成棋盘状平面；输入层为单层神经元排列。
2. SOM权值调整域
SOM网采用的算法称为Kohonen算法，它是在“胜者为王”（Winner-Take-All，WTA）学习规则基础上加以改进的，主要区别是调整权向量与侧抑制的方式不同：
WTA：侧抑制是“封杀”式的。只有获胜神经元可以调整其权值，其他神经元都无权调整。
Kohonen算法：获胜的神经元对其邻近神经元的影响是由近及远，由兴奋逐渐变为抑制。换句话说，不仅获胜神经元要调整权值，它周围的神经元也要不同程度调整权向量。常见的调整方式有如下几种：
·墨西哥草帽函数：获胜节点有最大的权值调整量，临近的节点有稍小的调整量，离获胜节点距离越大，权值调整量越小，直到某一距离
d时，权值调整量为零；当距离再远一
些时，权值调整量稍负，更远又回到零。如图4-6（a）所示。
·大礼帽函数：它是墨西哥草帽函数的一种简
化，如图4-6（b ）所示。
· 厨师帽函数：它是大礼帽函数的一种简化，如图4-6（c ）所示。
)
(c 0
r r -0
r r -0
r r -)
(r w )
(r w )
(r w R
R
R
R
-R
-R
-0
00
图4-6 权值调整函数
以获胜神经元为中心设定一个邻域半径R ，该半径固定的范围称为优胜邻域。在SOM 网学习方法中，优胜邻域内的所有神经元，均按其离开获胜神经元距离的远近不同程度调整权值。优胜邻域开始定的较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。
3．SOM 网络运行原理
SOM 网络的运行分训练和工作两个阶段。在训练阶段，网络随机输入训练集中的样本，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜，而在训练开始阶段，输出层哪个位
置的节点将对哪类输入模式产生最大响应是不确定的。当输入模式的类别改变时，二维平面的获胜节点也会改变。获胜节点周围的节点因侧向相互兴奋作用也产生较大影响，于是获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入方向作不同程度的调整，调整力度依邻域内各节点距离获胜节点的远近而逐渐减小。网络通过自组织方式，用大量训练样本调整网络权值，最后使输出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各输入模式的中心向量。并且当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而在输出层形成能反应样本模式类分布情况的有序特征图。
4．学习方法
对应于上述运行原理，SOM网络采用的学习算法按如下步骤进行：
（1）初始化
对输出层各权向量赋小随机数并进行归一化处理，得到j W?(m
=)，建立初始优胜邻域)0(*j N和
,2,1Λ
j,
学习率η初值。m为输出层神经元数目。
（2）接受输入
从训练集中随机取一个输入模式并进行归一
化处理，得到P
X ?(n p ,,2,1Λ=)，n 为输入层神经元数目。
（3）寻找获胜节点
计算P
X ?与j
W ?的点积，从中找到点积最大的获胜
节点j *。
（4）定义优胜邻域)(t N j *
以j *为中心确定t 时刻的权值调整域，一般初始邻域)0(*
j N 较大（大约为总节点的50%~80%），训练过程中)(t N j *
随训练时间收缩。如图4-7所示。
)
0(*j N )1(*j N )
2(*j
图4-7 邻域N j *(t )的收缩
（5）调整权值
对优胜邻域)(t N j *
内的所有节点调整权值
)]
()[,()()1(t w x N t t w t w ij p i ij ij -+=+α
n
i ,,2,1Λ=，
)
(*t N j j ∈
（4-7）
其中，),(N t α是训练时间t 和邻域内第j 个神经元与获胜神经元*
j 之间的拓扑距离N 的函数，该函数一般有以下规律：
↓
↑→↓↑→ααN t ,；如N
e t N t -=)(),(αα，)(t α可采用t 的单调下
降函数也称退火函数。
（6）结束判定
当学习率min
)(αα≤t 时，训练结束；不满足结束条
件时，转到步骤（2）继续。
4.3 SOM 神经网络的应用
4.3.1 SOM 网络应用于字符排序[6]
1．问题描述
用32个字符作为SOM 输入样本，包括26个英文字母和6个数字（1~6）。每个字符对应一个5维向量，各字符与向量X 的关系如表7-2所示。由表7-2可以看出，代表A 、B 、C 、D 、E 的各向量中有4个分量相同，即)4,3,2,1(0,,,,==i x x x x x E i
D i
C i
B i
A i
，因此，A 、B 、C 、D 、E 应归为一类；代表F 、G 、H 、I 、J 的向量中有3个分量相同，同理也应归为一类；依此类推。这样就可以由表7-2中输入向量的相似关系，将对应的字符标在图4-8所示的树形结构图中。用SOM 网络对其他进行聚类分析。
表4-2 字符与其对应向量
A B C D E F G H I J K L M N O P Q R S T U V
…
X0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
…X10 0 0 0 0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3
…X20 0 0 0 0 0 0 0 0 0 1 2 3 4 5 3 3 3 3 3 3 3
…X30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 3 3
…X40 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2
…
2．网络设计及学习结果
（1）表格分析
A、B、C、D、E的各向量有4个分量相同——同类。
F、G、H、I、J的各向量有3个分量相同——同类。
……
A B H G F E
D C 6
54321Z
Y X W V
U T S R
Q P O N M L K J
I
图4-8 树形结构图
（2）SOM 网络设计
① 输入层节点数n ：样本维数＝5。 ② 输出层节点数：取70个神经元，二维平面阵。
③ 权值初始化：随机小数。 ④ N j *(t )领域半径：r (t )=10(1-t /t m ) ⑤ 学习率α(t )=C 2(1-t /t m )0.5(1-t /t m ) （3）训练
将训练集中代表各字符的输入向量P
X 随机选
取后训练，经10000步训练，各权向量趋于稳定。对网络输出，进行核准，即根据输出神经元阵列与训练集中已知模式向量对应关系的标号来核准。结果是：70个神经元中，有32个神经元有标号，另外38个为未用神经元。
人工神经网络原理及实际应用
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
神经网络模型预测控制器
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
人工神经网络的发展及应用
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
人工神经网络题库
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
实验报告 人工神经网络
实验报告人工神经网络 实验原理：利用线性回归和神经网络建模技术分析预测。 实验题目：利用给出的葡萄酒数据集，解释获得的分析结论。 library(plspm); data(wines); wines 实验要求： 1、探索认识意大利葡萄酒数据集，对葡萄酒数据预处理，将其随机划分为训练集和测试集，然后创建一个线性回归模型； 2、利用neuralnet包拟合神经网络模型； 3、评估两个模型的优劣，如果都不理想，提出你的改进思路。 分析报告： 1、线性回归模型 > rm(list=ls()) > gc() used (Mb) gc trigger (Mb) max used (Mb) Ncells 250340 13.4 608394 32.5 408712 21.9 Vcells 498334 3.9 8388608 64.0 1606736 12.3 >library(plspm) >data(wines) >wines[c(1:5),] class alcohol malic.acid ash alcalinity magnesium phenols flavanoids 1 1 14.23 1.71 2.43 15.6 127 2.80 3.06 2 1 13.20 1.78 2.14 11.2 100 2.65 2.76 3 1 13.16 2.36 2.67 18.6 101 2.80 3.24 4 1 14.37 1.9 5 2.50 16.8 113 3.85 3.49 5 1 13.24 2.59 2.87 21.0 118 2.80 2.69 nofla.phen proantho col.intens hue diluted proline 1 0.28 2.29 5.64 1.04 3.9 2 1065 2 0.26 1.28 4.38 1.05 3.40 1050 3 0.30 2.81 5.68 1.03 3.17 1185 4 0.24 2.18 7.80 0.86 3.4 5 1480 5 0.39 1.82 4.32 1.04 2.93 735 > data <- wines > summary(wines)
神经网络实验指导书2013版[1]
神经网络实验指导书2013版[1]
北京信息科技大学自编实验讲义 神经网络实验指导书 许晓飞陈雯柏编著
找其映射是靠学习实践的，只要学习数据足够完备，就能够描述任意未知的复杂系统。因此前馈神经网络为非线性系统的建模和控制提供了有力的工具。 输入层隐层输出层 图1 前馈型神经网络结构 2.BP算法原理 BP（Back Propagation）神经网络是一种利用误差反向传播训练算法的前馈型网络，BP学习算法实质是求取网络总误差函数的最小值问题[2]。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数，它是梯度下降法在多层前馈网络中的应用。具体学习算法包括两大过程，其一是输入信号的正向传播过程，其二是输出误差信号的反向传播过程。 1.正向传播 输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出
层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2.反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。网络各层的权值改变量，则由传播到该层的误差大小来决定。 3.BP算法的特点 BP神经网络具有以下三方面的主要优点[3]：第一，只要有足够多的隐含层和隐层节点，BP 神经网络可逼近任意的非线性映射关系；第二，BP学习算法是一种全局逼近方法，因而它具有较好的泛化能力。第三，BP神经网络具有一定的容错能力。因为BP神经网络输入输出间的关联信息分布存储于连接权中，由于连接权的个数总多，个别神经元的损坏对输入输出关系只有较小影响。 但在实际应用中也存在一些问题，如：收敛
(完整版)基于神经网络的中国人口预测算法研究毕业论文
毕业论文（设 计） 题目基于神经网络的中国人口预测 算法研究
所在院(系)数学与计算机科学学院 专业班级信息与计算科学1102班 指导教师赵晖 完成地点陕西理工学院 2015年5 月25日
基于神经网络的中国人口预测算法研究 作者：宋波 （陕理工学院数学与计算机科学学院信息与计算科学专业1102班，陕西汉中 723000） 指导教师：赵晖 [摘要]我国现正处于全面建成小康社会时期,人口发展面临着巨大的挑战,经济社会发展与资源环境的矛盾日益尖锐。我国是个人口大国、资源小国，这对矛盾将长期制约我国经济社会的发展。准确地预测未来人口的发展趋势，制定合理的人口规划和人口布局方案具有重大的理论意义和实用意义。本文介绍了人口预测的概念及发展规律等。 首先，本文考虑到人口预测具有大量冗余、流动范围和数量扩大的特性，又为提高人口预测的效果，因此，使用归一化对人口数据进行了处理，该方法不需要离散化原数据，这样就保证了人口预测的准确性和原始数据的信息完整性。其次，本文提出了一种基于神经网络预测的优化算法，该算法避免了人们在预测中参数选择的主观性而带来的精度的风险，增强了人口预测的准确性。同时，为说明该算法的有效性，又设计了几种人们通常所用的人口模型和灰色预测模型算法，并用相同的数据进行实验，得到了良好的效果，即本文算法的人口预测最为准确，其预测性能明显优于其他算法，而这主要是参数的选择对于增强预测性方面的影响，最终导致人口预测精确度。同时，在算法的稳定性和扩展性方面，该算法也明显优于其他算法。 考虑出生率、死亡率、人口增长率等因素的影响，重建神经网络模型预测人口数量。 [关键词] 神经网络人口模型灰色预测模型软件
人工神经网络及其应用实例_毕业论文
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、
《人工智能及其应用》实验指导书
《人工智能及其应用》 实验指导书 工业大学计算机科学与技术学院—人工智能课程组 2011年9月
前言 本实验是为了配合《人工智能及其应用》课程的理论学习而专门设置的。本实验的目的是巩固和加强人工智能的基本原理和方法，并为今后进一步学习更高级课程和信息智能化技术的研究与系统开发奠定良好的基础。 全书共分为八个实验：1.产生式系统实验；2.模糊推理系统实验；3.A*算法求解8数码问题实验；4.A*算法求解迷宫问题实验；5.遗传算法求解函数最值问题实验；6.遗传算法求解TSP问题实验；7.基于神经网络的模式识别实验；8.基于神经网络的优化计算实验。每个实验包括有：实验目的、实验容、实验条件、实验要求、实验步骤和实验报告等六个项目。 本实验指导书包括两个部分。第一个部分是介绍实验的教学大纲；第二部分是介绍八个实验的容。 由于编者水平有限，本实验指导书的错误和不足在所难免，欢迎批评指正。 人工智能课程组 2011年9月
目录 实验教学大纲 (1) 实验一产生式系统实验 (3) 实验二模糊推理系统实验 (5) 实验三 A*算法实验I (9) 实验四 A*算法实验II (12) 实验五遗传算法实验I (14) 实验六遗传算法实验II (18) 实验七基于神经网络的模式识别实验 (20) 实验八基于神经网络的优化计算实验 (24)
实验教学大纲 一、学时：16学时，一般安排在第9周至第16周。 二、主要仪器设备及运行环境：PC机、Visual C++ 6.0、Matlab 7.0。 三、实验项目及教学安排 序号实验名称实验 平台实验容学 时 类型教学 要求 1 产生式系统应用VC++ 设计知识库，实现系统识别或 分类等。 2 设计课 2 模糊推理系统应 用Matlab 1）设计洗衣机的模糊控制器； 2）设计两车追赶的模糊控制 器。 2 验证课 3 A*算法应用I VC++ 设计与实现求解N数码问题的 A*算法。 2 综合课4 A*算法应用II VC++ 设计与实现求解迷宫问题的A* 算法。 2 综合课5 遗传算法应用I Matlab 1）求某一函数的最小值； 2）求某一函数的最大值。 2 验证课6 遗传算法应用II VC++ 设计与实现求解不同城市规模 的TSP问题的遗传算法。 2 综合课 7 基于神经网络的 模式识别Matlab 1）基于BP神经网络的数字识 别设计； 2）基于离散Hopfiel神经网络 的联想记忆设计。 2 验证课 8 基于神经网络的 优化计算VC++ 设计与实现求解TSP问题的连 续Hopfield神经网络。 2 综合课 四、实验成绩评定 实验课成绩单独按五分制评定。凡实验成绩不及格者，该门课程就不及格。学生的实验成绩应以平时考查为主，一般应占课程总成绩的50%，其平时成绩又要以实验实际操作的优劣作为主要考核依据。对于实验课成绩，无论采取何种方式进行考核，都必须按实验课的目的要求，以实际实验工作能力的强弱作为评定成绩的主要依据。 评定各级成绩时，可参考以下标准：
神经网络预测控制综述
神经网络预测控制综述 摘要：近年来，神经网络预测控制在工业过程控制中不仅得到广泛的应用，而且其理论研究也取得了很大进展。对当前各种神经刚络预测控制方法的现状及其工业应用进行了较深入地分析，并对其存在的问题和今后可能的发展趋势作了进一步探讨。 关键词：神经网络；预测控制：非线性系统；工业过程控制 Abstract: In recent years, neural network predictive control has not only been widely used in industrial process control, but also has made great progress in theoretical research. The current status of various neural network prediction control methods and their industrial applications are analyzed in depth, and the existing question and possible future development trends are further discussed. Keywords: neural network; predictive control: nonlinear system; industrial process control
20世纪70年代以来，人们从工业过程的特点出发，寻找对模型精度要去不高而同样能实现高质量控制性能的方法，预测控制就是在这种背景下发展起的[1]。预测控制技术最初山Richalet和Cutler提出[2],具有多步预测、滚动优化、反馈校正等机理，因此能够克服过程模型的不确定性，体现出优良的控制性能，在工业过程控制中取得了成功的应用。如Shell公司、Honeywell公司、Centum 公司，都在它们的分布式控制系统DCS上装备了商业化的预测控制软件包．并广泛地将其应用于石油、化工、冶金等工业过程中[3]。但是，预测函数控制是以被控对象的基函数的输出响应可以叠加为前提的，因而只适用于线性动态系统控制。对于实际中大量的复杂的非线性工业过程。不能取得理想的控制效果。而神经网络具有分布存储、并行处理、联想记忆、自组织和自学习等功能，以神经元组成的神经网络可以逼近任意的：线性系统。使控制系统具有智能化、鲁棒性和适应性，能处理高维数、非线性、干扰强、难建模的复杂工业过程。因此，将神经网络应用于预测控制，既是实际应用的需要，同时也为预测控制理论的发展开辟了广阔的前景。本文对基于神经网络的预测控制的研究现状进行总结，并展望未来的发展趋势。 l神经网络预测控制的基本算法的发展[4] 实际中的控制对象都带有一定的菲线性，大多数具有弱非线性的对象可用线性化模型近似，并应用已有的线性控制理论的研究成果来获得较好的控制效果。而对具有强非线性的系统的控制则一直是控制界研究的热点和难点。 就预测控制的基本原理而言，只要从被控对象能够抽取出满足要求的预测模型，它便可以应用于任何类型的系统，包括线性和非线性系统。 由于神经网络理论在求解非线性方面的巨大优势，很快被应用于非线性预测控制中。其主要设计思想是：利用一个或多个神经刚络，对非线性系统的过程信息进行前向多步预测，然后通过优化一个含有这些预测信息的多步优化目标函数，获得非线性预测控制律。在实际应用与理论研究中形成了许多不同的算法。如神经网络的内模控制、神经网络的增量型模型算法控制等，近来一些学者对有约束神经网络的预测控制也作了相应的研究。文献[5]设计了多层前馈神经网络，使控制律离线求解。文献[6]采用两个网络进行预测，但结构复杂，距离实际应用还有一定的距离，文献[7]利用递阶遗传算法，经训练得出离线神经网络模型．经多步预测得出对象的预测模型，给出了具有时延的非线性系统的优化预测控制。将神经网络用于GPC的研究成果有利用Tank．Hopfield网络处理GPC矩阵求逆的算法，基于神经网络误差修正的GPC算法、利用小脑模型进行提前计算的GPC 算法、基于GPC的对角递归神经网络控制方法以及用神经网络处理约束情形的预
人工神经网络概述及其在分类中的应用举例
人工神经网络概述及其在分类中的应用举例 人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一
种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、软件硬件的实现：人工神经网络不仅能够通过硬件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二人工神经网络的基本数学模型
BP神经网络实验报告
江南大学物联网工程学院实验报告 课程名称人工智能实验名称BP神经网络实验日期2016-04-30 班级计科1305 姓名游思睿学号1030413529 实验报告要求1．实验名称2．实验要求3．实验环境4．实验步骤5．实验体会 一、实验目的： 两个输入a、b（10以内的数），一个输出c，c=a+b。换句话说就是教BP神经网络加法运算。 二、实验内容： Data 用来表示已经知道的数据样本的数量，也就是训练样本的数量。In 表示对于每个样本有多少个输入变量; Out 表示对于每个样本有多少个输出变量。Neuron 表示神经元的数量，TrainC 来表示训练的次数。再来我们看对神经网络描述的数据定义，来看下面这张图里面的数据类型都是double 型。 d_in[Data][In] 存储Data 个样本，每个样本的In 个输入。d_out[Data][Out] 存储Data 个样本，每个样本的Out 个输出。我们用邻接表法来表示图 1 中的网络，w[Neuron][In] 表示某个输入对某个神经元的权重，v[Out][Neuron] 来表示某个神经元对某个输出的权重；与之对应的保存它们两个修正量的数组dw[Neuron][In] 和dv[Out][Neuron]。数组o[Neuron] 记录的是神经元通过激活函数对外的输出，OutputData[Out] 存储BP神经网络的输出。 初始化主要是涉及两个方面的功能，一方面是对读取的训练样本数据进行归一化处理，归一化处理就是指的就是将数据转换成0~1之间。在BP神经网络理论里面，并没有对这个进行要求，不过实际实践过程中，归一化处理是不可或缺的。因为理论模型没考虑到，BP神经网络收敛的速率问题，一般来说神经元的输出对于0~1之间的数据非常敏感，归一化能够显著提高训练效率。可以用以下公式来对其进行归一化，其中加个常数A 是为了防止出现0 的情况（0不能为分母）。 y=(x-MinValue+A)/(MaxValue-MinValue+A) 另一方面，就是对神经元的权重进行初始化了，数据归一到了（0~1）之间，那么权重初始化为（-1~1）之间的数据，另外对修正量赋值为0
神经网络算法的软件应用研究
第1期（总第125期）机械管理开发 2012年2月No.1（S UM No.125） M EC HANIC AL M ANAGEM ENT AND DEVELOPM ENT Feb.2012 0引言 从第一台计算机发明以来，以计算机为中心的信息处理技术得到迅速发展，然而，计算机在处理一些人工智能的问题时遇到很大困难。一个人很容易辨认出他人的脸庞，而计算机却很难做到。这是因为传统的信息处理，都有精确的模型做指导，而人工智能却没有，很难为计算机编写明确的指令或程序。大脑是由生物神经元构成的巨型网络，本质上不同于计算机，是一种大规模的秉性处理系统，它有学习、联想、记忆、综合等能力，并有巧妙的信息处理方法。神经元不仅是组成大脑的基本单元，而且是大脑进行信息处理的基本单元。 人工神经网络（Artificial Neural Netw ork-ANN ）是对人脑最简单的一种抽象和模拟，是模仿人的大脑神经系统信息处理功能的一个智能化系统，也是人们进一步解开人脑思维奥秘的有力工具。智能是指对环境的适应和自我调整能力，人工神经网络是有智能的。预测作为决策的前提和基础，对最终决策方案的选择具有至关重要的作用。1神经网络的观念介绍1.1 神经网络的模型与内涵 神经网络的学习可分为有导师学习和无导师学习。有导师学习是指基于知识系统，在实际的学习过程中，需要通过给定的输入输出数据，所进行的一种学习方式。无导师学习是指通过系统自身的学习，来达到期望的学习结果，所进行的一种学习。该学习不需要老师为系统提供各种精确的输入输出信息和有关知识，而只需提供系统所期望达到的目标和结果。 1）MP 模型。每个神经元的状态由M P 方程决定，U i =f （(ΣT ij *V j )-θi ）.其意义是每个神经元的状态是由一定强度（权值Tij ）的外界刺激（输入Vj ）累加后经过细胞体加工（激励函数f (x)）产生一个输出。神经元的模型，见图1 。 图1神经元的模型 2）联想学习。Hebb 定理：神经元i 和神经元j 之间，同时处于兴奋状态，则他们间的连接应该加强，即 △Wij =αS i *S j.. 1.2 神经网络的几何意义与样本 1）神经网络的几何意义。N 个神经元（j =1..n ）对神经元i 的总输入I i 为：I i =ΣW ij x j -θi 令I =0，得到一个几何上的超平面。从几何角度看，一个神经元代表一个超平面。超平面将解空间分为3部分：平面本身、平面上部、平面下部，神经元起到分类的作用。 2）线性样本和非线性样本。现举两例说明：OR （逻辑加法）：输入为((0,0),(0,1),(1,0),(1,1)),期望输出为(0,1,1,1)，见图2（a ）。XOR （异或运算）： 输入为((0,0),(0,1),(1,0),(1,1)),期望输出为(0,1,1,0)，见图2（b ）。非线性样本在最早的感知机模型中遇到了障碍，因为感知机的两层网络结构不能对非线性样本 进行超平面的划分。 （a ）样本能够均匀的分布 （b ）不存在一个超平面 在超平面的两侧 能将样本区分开 图2超平面的划分举例 3）非线性样本转化为线性样本。一个超平面不 收稿日期：；修回日期：作者简介：白 鹏（），男，山西太原人，在读工程硕士，研究方向：计算机软件开发。 神经网络算法的软件应用研究 白 鹏 （太原理工大学计算机科学与技术学院，山西 太原 030024） 摘 要：B ackPropagation 神经网络是重要的人工神经网络，有强大的非线性映射、自学习、泛化容错能力，并能充分 考虑主观因素，具有启发式搜索的特点。主要介绍BP 网络算法用JAVA 语言的实现方式及其在预测股票价格方面的应用。 关键词：神经网络；人工神经网络；预测中图分类号：TP391.9 文献标识码：A 文章编号：1003-773X （2012）01-0201-03 2011-04-142011-09-101979-201
人工神经网络与应用实验指导2010
西北农林科技大学研究生教学参考书 《人工神经网络与应用实验指导》 信息工程学院 二〇一〇年十二月十三日
实验一 MATLAB ANN工具箱及感知器实现 一、实习目的和意义 使学生熟悉并掌握Matlab基本运算编程和运行，掌握人工神经网络工具箱帮助、示例等资源，掌握自主学习Matlab编程的能力，并能设计实现感知器，为后续处理打下基础。 二、实习内容 1、熟悉Matlab基本运算编程，掌握人工神经网络工具箱帮助、示例等资源。 （1）学会给矩阵赋值及常用矩阵运算； （2）学会在命令窗口单步执行命令；编写m文件及运行的方法； （3）掌握命令后“；”的显示控制作用，掌握清除命令窗口clc、图像窗口clf、内存和函数clear等命令的用法。 （4）学会用plot(x,y)绘制图形的方法；绘制双曲正切S函数的一阶导数曲线。 （5）掌握人工神经网络工具箱帮助、示例等资源。 2、设计一个感知器，并运行，分析结果、理解感知器算法。 三、实习参考 （1）Matlab基本运算 Matlab区分大小写，Abc，ABC，abc表示不同的矩阵名。在矩阵A中，同一行中的内容用逗号分隔，而采用分号来表示换行。一般情况下，用于同行中分隔的逗号是可以由空格来代替的。 基本的赋值语句：A＝[1，2，3；4，5，6；7，8，0] 矩阵加减法运算：C=A+B 和C=A－B。 矩阵的转置：A T＝A’。 矩阵的点乘：C=A.×B 矩阵的除法：x=A./B。 矩阵乘法:C=A×B 对一个矩阵单个元素赋值和操作:
A （：，j ）表示A 矩阵的第j 列元素；A （i ，：）表示A 矩阵的第i 列全部元素。 在命令窗口中，输入 help 命令，如help plot ，则会给出相关的帮助信息。 （2）S 曲线函数式为x e x f y -+==11 )(，设x 在[-10，10]之间每隔0.1取一个值。用 plot()绘制S 曲线。可编写m 文件（polt_s.m ）如下： %画S 曲线 x=[-10:0.1:10]; %给x 赋值 y=1./(1.0+exp(-x)) %计算y plot(x,y) %绘制x-y 关系曲线（S 曲线） hold on %保持图形，在原图上继续绘制 y1=y*(1.-y); %计算S 曲线的一阶导数 plot(x,y1,'--r') %绘制S 曲线的一阶导数曲线 （3）设计一个二维输入矢量分为两类。 %gzq1.m %P 输入向量,T 为目标向量 P=[-1.0 -0.5 +0.3 -0.1; -0.5 +0.5 -0.5 +1.0] T=[1 1 0 0]; plotpv(P,T); %绘制感知器的输入输出矢量 disp('按任意键继续.') pause %按任意键继续 net=newp([-1 1;-1 1],1); %NEWP 建立一个感知器. plotpv(P,T); %绘制输入向量 plotpc(net.IW{1},net.b{1}); %绘制初始分类线 net.adaptParam.passes = 3; net = adapt(net,P,T); %ADAPT 返回一个最佳分类的网络ner plotpc(net.IW{1},net.b{1}); %绘制训练后的分类线
什么是神经网络算法
算法起源 在思维学中，人类的大脑的思维分为：逻辑思维、直观思维、和灵感思维三种基本方式。 而神经网络就是利用其算法特点来模拟人脑思维的第二种方式，它是一个非线性动力学系统，其特点就是信息分布式存储和并行协同处理，虽然单个神经元的结构及其简单，功能有限，但是如果大量的神经元构成的网络系统所能实现的行为确实及其丰富多彩的。其实简单点讲就是利用该算法来模拟人类大脑来进行推理和验证的。 我们先简要的分析下人类大脑的工作过程，我小心翼翼的在网上找到了一张勉强看起来舒服的大脑图片 嗯，看着有那么点意思了，起码看起来舒服点，那还是在19世纪末，有一位叫做：Waldege 的大牛创建了神经元学活，他说人类复杂的神经系统是由数目繁多的神经元组成，说大脑皮层包括100亿个以上的神经元，每立方毫米源数万个，汗..我想的是典型的大数据。他们 相互联系形成神经网络，通过感官器官和神经来接受来自身体外的各种信息（在神经网络算法中我们称:训练）传递中枢神经，然后经过对信息的分析和综合，再通过运动神经发出控制信息（比如我在博客园敲文字），依次来实现机体与外部环境的联系。 神经元这玩意跟其它细胞一样，包括：细胞核、细胞质和细胞核，但是它还有比较特殊的，比如有许多突起，就跟上面的那个图片一样，分为：细胞体、轴突和树突三分部。细胞体内有细胞核，突起的作用是传递信息。树突的作用是作为引入输入信息的突起，而轴突是作为输出端的突起，但它只有一个。 也就是说一个神经元它有N个输入（树突），然后经过信息加工（细胞核），然后只有一 个输出（轴突）。而神经元之间四通过树突和另一个神经元的轴突相联系，同时进行着信息传递和加工。我去...好复杂....
神经网络算法的应用
神经网络算法的应用 别以为名字中带“网络”二字，神经网络就是一种设备，事实上神经网络是一种模拟人脑结构的算法模型。其原理就在于将信息分布式存储和并行协同处理。虽然每个单元的功能非常简单，但大量单元构成的网络系统就能实现非常复杂的数据计算，并且还是一个高度复杂的非线性动力学习系统。1 神经网络的结构更接近于人脑，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络的用途非常广泛，在系统辨识、模式识别、智能控制等领域都能一展身手。而现在最吸引IT巨头们关注的就是神经网络在智能控制领域中的自动学习功能，特别适合在需要代入一定条件，并且信息本身是不确定和模糊的情况下，进行相关问题的处理，例如语音识别。 神经网络的发展史 神经网络的起源要追溯到上世纪40年代，心理学家麦克库罗克和数理逻辑学家皮兹首先提出了神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人就是神经网络研究的先驱。随着计算机的高速发展，人们以为人工智能、模式识别等问题在计算机面前都是小菜一碟。再加上当时电子技术比较落后，用电子管或晶体管制作出结构复杂的神经网络是完全不可能的，所以神经网络的研究一度陷于低潮当中。到了20世纪80年代，随着大规模集成电路的发展，让神经网络的应用成为了可能。而且人们也看到了神经网络在智能控制、语音识别方面的潜力。但是这一技术的发展仍然缓慢，而硬件性能的发展以及应用方式的变化，再加上谷歌、微软、IBM等大公司的持续关注，神经网络终于又火了起来。本该在上世纪80年代就出现的诸多全新语音技术，直到最近才与我们见面，神经网络已经成为最热门的研究领域之一。 机器同声传译成真 在国际会议上，与会人员来自世界各地，同声传译就成了必不可少的沟通方式。但是到目前为止，同声传译基本上都是靠人来完成的，译员在不打断讲话者演讲的情况下，不停地将其讲话内容传译给听众。用机器进行同声传译，这个往往只出现在科幻电影中的设备，却成为了现实。 在2012年底天津召开的“21世纪的计算-自然而然”大会上，微软研究院的创始人里克·雷斯特在进行主题演讲时，展示了一套实时语音机器翻译系统。这个系统在里克.雷斯特用英文演讲时，自动识别出英文字词，再实时翻译成中文，先在大屏幕上显示出来，同时用电脑合成的声音读出。最令人惊奇的是，与常见的合成语音声调非常机械不同。在演示之前，雷斯特曾经给这套系统输入过自己长达1个多小时的录音信息，所以由电脑合成的中文语音并不是机械声，而是声调听上去和雷斯特本人一致。 这套实时语音机器翻译系统就是基于神经网络算法，由微软和多伦多大学历时两年共同研发。这个被命名为“深度神经网络”的技术，模仿由不同层次神经元构成的人脑，组成一个多层次的系统。整个系统共分为9层，最底层用来学习将要进行分析的语音有哪些特征，上一层就将这些分析进行组合，并得出新的分析结果，这样经过多次分析处理之后，增加识别的准确性。而最上面的一层用来分析出听到的声音究竟是哪个音组，再通过和已注明音组的语音库里的数据进行比对，从而将正确的结果反馈出来。经过如此复杂精密的处理之后，系统对于语音的识别能力就会有显着的提升，其性能优于以往的办法。 根据微软的测试，运用了这种“深度神经网络”技术的实时语音翻译器，相比旧系统出错率至少降低30%，最好的情况下能达到8个单词仅错1个，这是一个非常不错的成绩了。这个实时语音翻译器已经能支持包括普通话在内的26种语言，不过这个实时语音翻译器目前还不成熟，使用之前必须先在系统中输入1个小时以上的音频资料，让系统识别发言人声