神经网络建模及Matlab中重要的BP网络函数

神经网络建模及Matlab中重要的BP网络函数一、神经组织的基本特征

1．细胞体是一个基本的初等信号处理器，轴突是信号的输出通路，树突是信号的输入通路。信号从一个神经细胞经过突触传递到另一个细胞。

2．不同的神经元之间有不同的作用强度，称为联接强度。当某细胞收到信号时，它的电位发生变化，如果电位超过某一阈值时，该细胞处于激发态，否则处于抑制状态。

3．两神经元之间的联接强度随其激发与抑制行为相关性的时间平均值正比变化，也就是说神经元之间的联接强度不是一成不变的。这就是生物学上的Hebb律。

∑t j ij t S w )(二、人工神经元的M-P 模型（McCulloch 、Pitts,1943）

1．构造一个模拟生物神经组织的人工神经网络的三要素：

（1）．对单个神经元给出定义；

（2）．定义网络结构：决定神经元数量及连接方式； （3）．给出一种方法，决定神经元之间的联接强度。

2．M-P 模型

其中，t 表示时间

S i (t)表示第i 个神经元在t 时刻的状态，S i (t)=1表示处于激发态，S i (t)=0表示处于抑制态

w ij 表示第j 个神经元到第i 个神经元的联接强度，称之为权，可正可负

表示第i 个神经元在t 时刻所接收到的所有信号的线性迭加。

μi 表示神经元i 的阈值, 可以在模型中增加一个S k (t)=1神经元k ，并且w ik =-μi ,则阈值可归并到和号中去。

注：

1．M-P 神经元虽然简单，但可以完成任何计算。

2．神经元的状态可以取[0，1]中的连续值，如用以下函数代替θ(x):

⎩⎨⎧<≥=-=+∑0

0011x x x t S w t S i j

j ij i )()

)(()(θμθ

∑=>+=-j j ij h t S w h e

h g )

()(0 11 2ββ

三、多层前传网络

1.特点：

➢ 相邻层全互连

➢ 同层没有连接

➢ 输出与输入没有直接联系

2．各层神经元个数的确定

输入层、输出层的神经元个数由研究对象的输入、输出信息来确定。

隐含层：101 ≤≤++=l l n n n I O H ,

3．符号说明

μ：表示一个确定的已知样品的标号；

i, j, k ：分别对应于输出层、隐含层、输入层的下标；

:μi O 将第μ个样品的原始数据输入网络时，相应输出单元状态； :μj H 将第μ个样品的原始数据输入网络时，相应隐含单元状态； :μk I 将第μ个样品的原始数据输入网络时，相应输入单元数据；μi Wi1 ∑ Wi2

W i3 I 2 H 2 H 3 I 3 O 1 H 1 I 4

I 1 O 2 输出层O i 输入层I k

隐含层H j

权W jk

权W ij

w ij ：从隐含层第j 个神经元到输出层第i 个神经元的联接强度； w jk ：从输入层第k 个神经元到隐含层第j 个神经元的联接强度；

4．网络数据流程

对应于输入层的输入：μμμI n I I I ,,, 21

隐单元j 的输入是：∑=k k jk j I w h μμ

对应的输出是：

)()(∑==k k jk j j I w g h g H μμμ 输出单元i 收到的迭加信号是：

∑∑∑==j k

k jk ij j j ij i I w g w H w o )(μμμ 输出单元i 的输出是：

))(()()(∑∑∑===j k k jk ij j j

ij i i I w g w g H w g o g O μμμμ

显然输出是所有权w={w ij ,w jk }的函数 四、向后传播算法(Back-Propagation)

设样品μ在输出单元i 上的理想输出为μi T ，则函数：

∑∑∑∑-=-=μμμμ

μμ,,))](([][)(i k k

jk j ij i

i i i

I w g w g T O T w E 221221

表示了在一定的权下，理想输出与实际输出的差异。因此，确定权w 的问题化为求E(w)的极小值问题。可以采用最速下降算法。

最速下降算法步骤：

1）任取初始点w 0，计算出w 0的负梯度方向：-▽E(w 0)

2）取新点w 1=w 0+△w=w 0-η▽E(w 0),使E （w 1）

3）判断

其中△w 的计算如下：

对于隐单元到输出单元的权的修正量为

μμ

μμμμμμδηηηj i j i i i w E ij H H h g O T w ij ∑∑='-=-=∂∂)(][∆

其中])[(μμμμδi i i i O T h g -'= 对于输入单元到隐单元的权的修正量为

μμ

μμμμμμμμμμμμδηδηηηημμk j k j ij i i k j ij i i i i

w H H E w E jk I I h g w I h g w h g O T w jk j j

jk ∑∑∑∑='=''-==-=∂∂∂∂∂∂)()()(][,, ∆ 其中μμμδδi

ij i j j w h g ∑'=)(

五、Matlab 中 BP 神经网络的实现

1．BP 神经网络的初始化

各层神经元个数,各层神经元之间的连接强度, 各层神经元的传递函数

1）.人工初始化 如下例

例 1.有一个三输入两层神经网络,隐层有两个对数S 形神经元,输出层有一个正切S 形神经元,用于预测两个一元目标矢量.

p=[0 0.5 -0.2;1 0.2 0.3]';%输入

t=[0.5,-0.5];%理想输出

r=3;s1=2;s2=1;%输入层、隐层、输出层的神经元个数 w1=rands(s1,r);％输入层到隐层的连接强度

b1=rands(s1,1); ％隐层的阈值

w2=rands(s2,s1); ％隐层到输出层的连接强度