人工神经网络及其应用

1, x 0 f ( x) 0, x 0
其结构如下图所示：
u1 uj uj wn un ∑ θ w1
x
f（x）
y
设感知器的权系W，输入向量u为
W [1
2
u1 u n ], u 2 un
感知器的输出为（uj：感知器的第j个输入；w0=-θ；u0=1）
wij uiu j
这一规则与”条件反射“学说一致，并已得到神经细胞学说
的证实。α是表示学习速率的比例常数。
1.4 神经网络的互联模式 根据连接方式的不同，神经网络的神经元之间的连接有如 下几种形式。 1）前向网络 前向网络结构如下图。神经元分层排列，分别组成输入层、 中间层（也称为隐含层，可以由若干层组成）和输出层。 每一层的神经元只接受来自前一层神经元的输入，后面的 层对前面的层没有信号反馈。输入模式经过各层次的顺序 传播，最后在输出层上得到输出。感知器网络和BP网络均 属于前向网络。
2）有反馈的前向网路 其结构如下图。输出层对输入层有信息反馈，这种网络可 用于存储某种模式序列。如神经认知机和回归BP网络都属 于这种类型。
3）层内有相互结合的前向网络 其结构如下图。通过层内神经元的相互结合，可以实现同 一层内神经元之间的横向抑制或兴奋抑制。这样可以限制 每层内可以同时动作的神经元素，或者把每层内的神经元 分为若干组，让每一组作为一个整体进行运作。例如，可 以利用横向抑制机理把某层内具有最大输出的神经元挑选 出来，从而抑制其他神经元，使之处于无输出的状态。
y f ( j u j ) f ( j u j )
j 1 j 0 n n
它与 MP 模型不同之处是，权值可以进行调整，学习是采用有导师的学 习算法。 基本学习算法步骤如下： ) （1）设置权系的初值 j (0)( j 0,1, , n ，为较小的随机非零值。 （2）给定输入/输出样本对，即导师信号，u p / d p ( p 0,1, , L)
wenku.baidu.com
3 线性神经网络 自适应线性神经元，是由美国 Standford 大学 Widrow 教授于 20 世纪 60 年代初提出的。与感知器不同的是主要在于其神 经元有一个线性激活函数，这允许输出可以是任意值，而 不仅仅只是像感知器中那样只能取0或1。学习算法为δ规则。 δ规则也称为最小方差法，其算法步骤如下： （1）设置初始权系W(0)。 （2）给定输入/输出样本对，即导师信号
E p (t ) j (t ) / up 2
1 1 E p (t ) d p y p (t ) [d p y p (t )]2 e 2 p (t ) 2 2 2 1 1 J (t ) [d p y p (t )]2 e2 (t ) p 2 p 2 p
2 感知器模型


感知器是一种早期的神经网络模型，由美国学者 F.Rosenblatt 于 1957 年提出。感知器中第一次引入了学 习的概念，使人脑所具备的学习功能在一定的程度上 得到了模拟，所以引起了广泛的关注。 下面介绍一下单层感知器 单层感知器分为：单层单神经元感知器和单层多神经 元感知器。我们在这里只介绍前者。 单神经元感知器具有一个处理单元，非线性作用函数 f（· ）是非对称型阶跃函数，见下式：
j (t ) e p (t )u jp
将 代入上式可得
j (t 1) j (t )
e p (t )u jp up
2
式中，α为常值，0<α<2，可使算法收敛。 η随着输入样本up自适应地调整。 （5）当 J (t ) E (t ) 时，算法结束。
式中，t：第t次调整向量。 （5）若 y p (t ) d p ，则学习结束；否则，返回（3）。 可见，学习算法结束后，将样本模式，以连接权值和阈 值的形式，分布记忆（存储）与感知器中。 单层感知器（单、多神经元）的局限性：只能解决简单 的分类问题，也就是只有在输入矢量是线性可分时，单 层感知器才对输入模式进行有效的分类有效。线性不可 分问题只能用多层感知器来解决。
4）相互结合型网络（全互联或部分互联） 相互结合型网络结构如下图。这种网络在任意两个神经元之 间都可能有连接。在无反馈的前向网络中，信号一旦通过， 某神经元，该神经元的处理就结束了。而在相互结合的网络 中，信号要在神经元之间反复传递，网络处于一种不断改变 状态的动态之中。信号从某初始状态开始，经过若干次变化， 才会达到某种平衡状态。根据网络的结构和神经元的特性， 网络的运行还有可能进入周期震荡或其他如混沌等平衡状态。
u1 p u 1, u p A 2 p up , d p 0, u p B unp
（3）求感知器的输出
y p (t ) f [ j (t )u jp ]
j 1
n
（4）权值调整
j (t 1) j (t ) [d p y p (t )]uip j (t ) e pu jp (t 1) (t ) e p
人工神经网络 及其应用
1、神经网络概念 2、感知器模型 3、BP神经网络 4、神经网络应用实例
1 神经网络概念
2.1 生物神经元模型 脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心， 它一般又由细胞核、细胞膜和细胞质组成。树突胞体上短而多分 支的突起，相当于神经元的输入端，是神经元的主要接受器，它 主要用来接受信息。轴突是胞体上最长枝的突起，也称神经纤维。 它的端部有很多神经末梢，传出神经冲动。轴突的作用主要是传 导信息，它将信息从轴突起点传到轴突末梢（精神末梢）。 轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通 过突触实现神经元之间的信息传递。突触是神经元之间的连接接 口，每一个神经元约有104~105个突触。 一个神经元，通过其轴突的神经末梢，经突触，与另一个神经元 的树突连接，以实现信息的传递。由于突触的信息传递特性是可 变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成 了神经元之间连接的柔性，称为结构的可塑性。
i 0 i 1 n n
( x0 j , w j 0 1)
-1 w j1
. . w jn ) .
y j f (u j )

其中：
j
x1
w ji 为连接权值
f ( ) 为激活函数
x n
j为阈值
( ) f f (. )
yj
2. 常用的作用函数 神经元模型的作用函数，用以模拟神经细胞的兴奋、抑制以
1.6 神经网络的特性 神经网络的全称是人工神经网络，它采用物理上可实现的器件或采用计 算机来模拟生物体中神经网络的某些结构和功能，并应用于工程领域。 神经网络的着眼点不在于利用物理器件完整地复制生物体中的神经细胞 网络，而是抽取其中可利用的部分来克服目前计算机或其他系统不能解 决的问题，如学习、控制、识别和专家系统等。随着生物和认知科学的 发展，人们对大脑的认识和了解越来越深入，神经网络必然会获得更加 广阔的发展空间和应用范围。 虽然ANN与真正的生物神经网络有差别，但由于它汲取了生物神经网络 的部分有点，因此具有一些固有的特性。 1、ANN在结构上与目前的计算机本质不同，它是由很多小得处理单元 互相连接而成的，每个处理单元的功能简单，但大量简单的处理单元集 体的、并行的活动得到预期的识别、计算的结果，具有较快的速度。 2、ANN具有非常强的容错性，即局部的或部分的神经元损坏后，不会 对全局的活动造成很大的影响。 3、ANN记忆的信息存储在神经元之间的连接权值上，从单个权值中看 不出存储信息的内容，因而是分布式的存储方式。 4、ANN的学习能力十分强大，它的连接权值和连接的结构都可以通过 学习得到。
1.5 神经网络的学习方式 神经网络的学习也成为训练，指的是通过神经网络所在环境的 刺激作用调整神经网络的参数（权值和域值），使神经网络以 一种新的方式对外部环境做出反应的一个过程。能够从环境中 学习和在学习中提高自身性能是神经网络的最有意义的性质。 根据学习过程的组织方式不同，学习方式分为两类：有监督学 习和无监督学习。 1 ）有监督学习：对于监督学习，网络训练往往要基于一定数 量的训练样本。训练样本通常由输入矢量和目标矢量组成。在 学习和训练过程中，网络根据实际输出与期望输出的比较，进 行连接权值和域值的调节。通过将期望输出成为导师信号，它 是评价学习的标准。最典型的有监督学习算法是BP算法，即误 差反向传播算法。 2）无监督学习：对于无监督学习，则无教师信号提供给网络， 网络能够根据其特有的结构和学习规则，进行连接权值和域值 的调整。此时，网络的学习评价标准隐含于其内部。
u p / d p ( p 0,1, , L)
u p [u0 p , 1p , （3）计算网络的目标函数 Ju ：
, unp ]T / d p
神经元在第p组样本输入下的输出yp为
y p (t ) j (t )u jp
j 0
n
（4）δ规则： 用于权值调整的自适应学习算法为
j (t 1) j (t )
1.3 人工神经元模型（MP模型） 1943年，美国心理学家Mc Culloch和数学家Pitts共同提出 “模拟生物神经元”的被称为MP的人工神经元模型。它 是一个多输入/多输出的非线性信息处理单元。 1 人工神经元的输入与输出关系:
u j w ji xi w ji xi j
及阈值等非线性特性。
3.
学习规则 MP 模型在发表时并没有给出一个学习算法来调整神经元之 间的来连接权值。但是，我们可以根据需要 ，采用一些常见 的算法来调整神经元连接权，以达到学习的目的。下面介绍 的Hebb学习规则就是一个常见学习算法。 Hebb 学习规则：神经网络具有学习功能。对于人工神经网 络而言，这种学习归结为：若第i个和第j个神经元同时处于兴 奋状态，则它们之间的连接应当加强，即：
1.7 神经网络在控制领域取得的进展 1、基于神经网络的系统辨识 基于神经网络的系统辨识，就是将神经网络作为被辨识系统P的模型 P ， 逆模型 P 1 。 （1）可在已知常规模型结构的情况下，估计模型的参数。 （2）利用神经网络的线性、非线性，可建立线性、非线性系统的静态、 动态、逆动态和预测模型，重点在于非线性系统的建模与辨识。 2、神经网络控制器 神经网络作为实时控制系统的控制器，对于不确定、不确知系统及扰动 进行有效的控制，使控制系统达到所要求的动态、静态特性。 3、神经网络与其它算法相结合 神经网络与专家系统、模糊逻辑、遗传算法、小波理论等相结合由于控 制系统，可为系统提供参数和非参数模控制器模型。 4、优化计算 在常规控制系统的设计中，常遇到求解约束优化问题，神经网络为这类 问题提供了有效的途径。 5、控制系统的故障诊断 随着对控制系统安全性、可靠性、可维护性要求的提高，对系统的故障 检测与诊断问题的研究不断深入。近年来，神经网络在这方面的应用研 究取得了相应的进展。
p p
线性神经网络的结构如下（m个线性神经元）：
u1 w11 ∑ uj -θ ∑ un wmn -θ
1
x1
f（x）
y1
u n×1 W m×n x m× 1 -θ m×1 y m×1
xm
f（x）
ym
1
m
网络的输出为y=Wu-θ 权值系数调整算法为
W (t 1) W (t ) (d y)uT W (t ) euT
1.2 生物神经元工作状态 神经元具有两种常规工作状态：兴奋与抑制。当 传入的神经冲动经整合后使细胞膜电位升高，超 过动作电位的阈值时，细胞进入兴奋状态，产生 神经冲动并由轴突经神经末梢传出；当传入的神 经冲动经整合后使膜电位下降低于阈值时，细胞 进入抑制状态，不产生神经冲动。 由于神经元结构的可塑性，突触的传递作用可增 强与减弱，因此神经元具有学习与遗忘的功能。