第2章 神经网络基础知识

2.4.4 LMS学习规则(最小均方)
学习信号：
r d j Wj X
T
权调整公式： W 权分量调整公式：
j
(d j Wj X ) X
T
wij (d j Wj X ) xi
T
LMS是δ学习规则的特例 特点：有导师学习
2.4.5 Correlation（相关）学习规则
学习信号： 权调整公式：
双极性S型函数
(3)分段线性转移函数
0 f(x)= cx xc＜ x x≤0 0 ＜ x≤ xc
f (x) 1.0
(2.9) 1
0
xc
x
(4)概率型转移函数
1 P(1) x/T 1e
温度参数
玻尔兹曼热力学模型
人工神经元－信息处理单元


i
f ( xi )
人工神经元－信息处理单元

W (1) W (0) (d 1 o1 ) f (net1 ) X 1 (0.526, 0.974, 0.948, 0)T
(2)
net W (1) X 1.948
2 T 2
o f (net )
2 2
2
1 e 1 e
net 2 net 2
oj
x1 w1j ┆wij xi ┆wnj xn
(b)输入加权
oj
x1 w1j ┆wij xI ┆wnj xn
oj ∑
x1 w1j ┆ wij xI ┆ wnj xn
oj ∑ f
(c)输入加权求和
(d)输入-输出函数
(a)表明人工神经元有许多输入信息，一个输出信息； (b)表示突触强度和性质不同，导致作用不同，即权重不同； (c)表明信号整合； (d)总和超过阈值时，神经元被激活。
要求：只适应二进制神经元 特点：有导师学习
2.4.3 δ学习规则
学习信号：r [d j f (WjT X )] f (WjT X )o j [d j o j ] f (net j ) 权调整公式： Wj
(d j o j ) f (net j ) X (d j o j ) f (net j ) xi
2.3 人工神经网络模型
两种分类方法：拓扑结构、信息流向 2.3.1网络拓扑结构类型 1、层次型结构：3种
单 纯 层 次 u 型 结 构
y
输 出 层 到 输 入 层 有 连 接

层 内 有 连 接 层 次 型 结 构
u
y
2、互连型结构
全互连型结构
局 部 互 连 型 网 络 结 构
〇 〇 〇 〇
2.2.3神经元的转移函数
主要区别为转移函数，常用的有四种： (1)阈值型转移函数
f(x)=
1
0
x≥ 0
x＜ 0
(2.7)
M-P模型属于此类。
单极性阈值函数
双极性阈值函数
(2)非线性转移函数
1 f(x) x 1e
1e 2 f(x) 1 x x 1e 1e
x
单极性S型函数
r dj
Wj d j X
权分量调整公式：
wij d j xi
要求：权值初始化为 0 特点：有导师学习
2.4.6 Winner-Take-All学习规则
T* T W X max ( W j i X) 学习信号： i 1,2,..., n
权调整公式：
Wj ( X Wj ) X
解：设转换函数为符号函数f(x)=sgn(net) (1) net1 W (0)T X 1 (1, 1,0,0.5)(1, 2,1.5,0)T 3
W (1) W (0) sgn(net1 ) X 1 (2, 3,1.5,0.5)T
(2) net 2 W (1)T X 2 (2, 3,1.5,0.5)(1, 0.5, 2, 1.5)T 0.25
第二章 神经网络基础知识
• • • • 2. 1 人工神经网络的生物基础 2. 2 人工神经元模型 2. 3 人工神经网络模型 2 .4 神经网络学习
• 2. 1 人工神经网络的生物基础
• 神经元(Neuron)也称神经细胞，它是生 物神经系统的最基本单元，它和人体中其 他细胞的关键区别在于具有产生、处理和 传递信号的功能。
W (2) W (1) sgn(net 2 ) X 2 (1, 2.5,3.5, 2)T
(3)
net W (2) X (1, 2.5,3.5,2)(0,1, 1,1.5) 3
3 T 3 T
W (3) W (2) sgn(net 3 ) X 3 (1, 3.5, 4.5,0.5)T
3 T 3
o f (net )
3 3
3
1 e 1 e
net 3 net 3
0.842
1 f (net ) [1 (o3 ) 2 ] 0.145 2
W (3) W (2) (d 3 o3 ) f (net 3 ) X 3 (0.505, 0.974, 0.929, 0.016)T
2.4.2 Perceptron学习规则
学习信号：
r d j oj
权调整公式： Wj
[d j sgn(Wj X )]X
T ij
权分量调整公式：w
[d j sgn(Wj X )]xi
T
由于采用符号函数，符合期望时不调整，否则， 权值特征公式为： Wj 2 X
Wj (t 1) Wj (t ) r[Wj (t ), X (t ), d j (t )]X (t )
2.4.1 Hebb学习规则
学习信号：
r f (Wj X )
T
权调整公式： Wj
f (Wj X ) X
T ij
权分量调整公式：w
f (Wj X ) xi o j xi
利用矩阵表示如下：
net'j=WjTX
其中：
(2.4)
Wj=(w1,w2,…,wn)T X=(x1,x2,…,xn)T
令
则有
x0=-1，w0=Tj -Tj = x0w0
net j T j net j

i 0
n
wij xi W T j X
(2.5) (2.6)
oj=f(netj)=f (WjTX)
• 2.1.1 生物神经元结构 • 每个神经元都包括四个部分：细胞体(cell body)、树突 (dendrite)和轴突(axon)和突触(synapse)。 每个神经元大约有1000~100000个突触。若干神经元 以突触相连构成神经网络。
b) 突触结构图
(a) 简单神经元网络图 c) 简化后的网络示意图 图2. 1 简单神经元网络及其简化结构图
〇 〇 〇 〇
〇 〇 〇 〇
〇 〇 〇 〇
还有一种稀疏连接型
2.3.2网络信息流向类型：2种
前 馈 型 网 络
○ ○ ○ ○ ○
○
○ ○ ○ ○ ○
○
〇
反 馈 型 网 络
〇 〇 〇 〇
〇
拓扑结构是神经网络特征的第二大要素
2.4 神经网络学习
神经网络能够通过对样本的学习训练， 不断改变网络的连接权值以及拓扑结构，以 使网络的输出不断地接近期望的输出。这一 过程称为神经网络的学习或训练，其本质是 可变权值的动态调整。
四、生物神经网络
以确定方式和拓扑结构互连而成，完 成信息采集、存储、综合处理等功能。
人类社会关系亦如此。
2. 2 人工神经元模型 2. 2. 1 神经元的建模 最早提出且影响巨大的是1943年McCulloch和 W.Pitts提出的M-P模型，具有6点假设：
(1) 每个神经元都是一个多输入单输出的信息处理单元；
(2) 神经元输入分兴奋性输入和抑制性输入两种类型；
(3) 神经元具有空间整合特性和阈值特性； (4) 神经元输入与输出间有固定的时滞, 主要取决于突触
延搁； (5) 忽略时间整合作用和不应期；
(6) 神经元本身是非时变的，即其突触时延和突触强度
均为常数。
x1 ┆ xi ┆ xn
(a)多输入单输出
1 e net f (net ) 解：设转换函数为： 1 e net
(1)
net1 W (0)T X 1 2.5
f ( x)
o f (net )
1 1
1
1 e 1 e
net1 net1
1 [1 f 2 ( x )] 2
0.848
1 f (net ) [1 (o1 )2 ] 0.14 2

i
f ( xi )
信息输入
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理：加权求和
人工神经元－信息处理单元


i
f ( xi )
信息传播
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理：非线性
人工神经元－信息处理单元


i
f ( xi )
信息输出
转换函数是神经网络特征的第一大要素。
* *
权分量调整公式：
wm ( xi wim )
要求：权值归一化 特点：胜者为王、无导师学习
2.4.4 Outstar学习规则
权调整公式：
息处理机理
• ������
一、信息的产生
研究认为，神经元间信息的产生、传递和处理 是一种电化学活动。由膜内外离子浓度决定。
神经元状态： 膜电位：
静息 兴奋 抑制
极 化polarization 去极化depolarization 超极化hypeypolarization