模式识别 第11章 人工神经网络以及在模式识别中的应用

1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评， 认为它连最简单的线性不可分问题——异或问题都解决不了； 早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重 要性；
第四阶段：第二高潮期（1983~1990年）
1982年，J. Hopfield提出了循环网络的概念； 1986年提出了多层感知器的反向传播算法，较好地解决了 多层网络的学习问题。 1990年12月在北京举行了国内首届神经网络大会；
(1)
连接权值：
T
wi
f

i
d

激活函数：
输出： y f wT x
激活阈值：
b
11.3.1 人工神经元的基本概念（续）
激活函数：对神经元输入的一种变换；
y f wT x f net
（1） 线性函数 y=k*net+c
x
1
w1
x 2
w2 wn
y
第11章 人工神经网络以及在模 式识别中的应用
Chapter 11: Artificial neural networks and its application in pattern recognition
本章主要内容
11.1 人工神经网络的发展历程
11.2 生物神经元的机理
11.3 人工神经元的基本概念及学习算法
已经得到证明,如果输入样本线性可分,无论感知器的初始权向 量如何取值,经过有限次调整后,总能稳定到一个权向量,该权向 量确定的超平面能将两类样本正确分开.
能够将样本正确分类的权向量并不唯一,一般初始权向量不同, 训练过程和所得到的结果也不同,但都可满足误差为零的要求.
例. 单计算节点感知器有3个 输入,现给定3对训练样本: X1=[-1 1 -2 0]T d1=-1; X2=[-1 0 1.5 -0.5]T d2=-1;
轴突（Axon） 胞体(Soma) 胞体(Soma) 突触（Synapse） 胞体：是神经细胞的本体，用于普通细胞的生存；
枝蔓(树突)：含有大量分支，用于接受其它神经元的信号；
轴突： 用于输出信号，可与多个神经元联结；
突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。
11.2.2 生物神经元的工作机制
感知：获取外界信息，是智能的基础；
学习：取得经验与积累知识，是人类不断发展的基本能力；
理解：分析与解决问题，是智能的高级形式；
11.1.2 人工神经网络研究的必要性
计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、 识别、联想、决策和适应环境等人脑具备的能力。
计算机能否象人脑那样工作 ？人工神经网络做了一个有益的尝试。 人工神经网络是对人类大脑功能的一种模拟；
双层前馈网（感知器）不能解决异或问题。 （1）在第4章已经讲过感知器；
x2 1
x1
（2）1969年Minsky出版《感知器》一 书，对感知器提出了严厉的批评；
多层前馈网能解决异或问题。
-1
0 -1
1
异或问题
(经典的线性不可分问题)
感知器的学习算法 感知器采用感知器学习规则进行训练,用t表示学习步的序号,权 值看作t的函数. t =0对应学习开始前的初始状态(此时权值为初 始值),训练过程如下: (1)对各初始权值w0j(0),w1j(0),…wnj(0),j=1,2…m(m为计算层 的节点数)赋予较小的非零随机数; (2)输入样本对{Xp,dp},其中Xp=[-1 x1p x2p … xnp]T,dp为期望输 出向量(教师信号),下标p代表样本对的模式序号,设样本集中 的样本总数为P,则p=1,2, … ,P;
b
T
w b, w1, w2 ,, wd
1, x ,, x , x （4）当net很大时近似于阶梯函数； x
(1)

i
d

T
例题：
11.3.2 人工神经元的学习规则
学习规则是为了求取连接权值 wi ；
Hebb规则： 如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴 奋状态，那么这两个神经元间的连接强度（权值）应增强。
神经元i
wij ej y j x
i
神经元j
误差修正规则的定量描述： 令第 j 个神经元的期望输出为 e j ，实际输出为 y j ，则第 j 个输 入结点与第 i 个神经元间的权值修正量为：
wij ej y j x
i
11.3.3 用人工神经元进行两类样本分类
wij ui u j
神经元i 神经元j
Hebb规则的定量描述：
假设第i和第j个神经元的状态分别为 u i 和 u j ，则两个神经 元间的权值修正量为 wij ui u j 为学习因子.
11.3.2 人工神经元的学习规则(续)
误差修正规则： 使网络中某一神经元的实际输出在均方意义上最逼近于期望输出。
第二阶段：第一高潮期（1950~1968年）
1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸 工程实践，引起了人们的极大关注。
人们乐观地认为几乎已经找到了智能的关键。许多部门都开始 大批地投入此项研究，希望尽快占领制高点。
11.1.3 人工神经网络的研究历史（续）
第三阶段：反思期（1969~1982年）
左脑（逻辑思维） 右脑（形象思维）
11.1.3 人工神经网络的研究历史
第一阶段：萌芽期（20世纪40年代）
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈 值加权模型，简称M-P模型，成为人工神经网络研究的开端。 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变 的假说——Hebb学习律，为神经网络奠定了基础。
（3） Sigmoid函数 y
x 2 x
1
w1 w2 wn
net
x
d
y
y f wT x f net
1 1 e net
连接权值： 激活函数： 激活阈值：
wi
f
优点： （1）非线性，单调增函数； （2）无限次可微函数； （3）当net很小时近似于线性函数；
11.1.3 人工神经网络的研究历史（续）
第五阶段：再认识与应用研究期（1991年~ ）
当前人工神经网络存在的主要问题： （1）局部极小问题； （2）模型选择问题； （3）计算速度和准确度问题； 当前人工神经网络的研究任务：
（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法；
（2）开发现有网络应用，并在应用中根据实际运行情况对网络加以 改造，以提高网络的训练速度和运行的准确度。 （3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
11.3.1 人工神经元的基本概念（续）
输入： 输出：
x x , , x , x
(1)

i
d

T
x
1
w1
x 2
i y f wi x b i 1
d
w2 wn
y
x
T
d
w b, w1, w2 ,, wd
1, x ,, x , x x
基 本 开 发 方 设计规则、框架、程序 定义人工神经网络的结构原型，通过样 法 ；用样本数据进行调试 本数据，依据基本的学习算法完成学习 （由人根据已知的环境 ——自动从样本数据中抽取内涵（自动 去构造一个模型） 适应应用环境）
适应领域
模拟对象
精确计算：符号处理 ， 非精确计算：模拟处理，感觉，大规模 数值计算 数据并行处理
x
1
g x wT x
w1
w1 类
y
w2 类
x
x 2
w2 wn
g x 0 g x 0
x
d
测试样本 x 训练： 根据前面所讲的规 则，对神经元进行 训练，得到最佳的 权值 w 。 测试：
d i y sgn w x sgn wi x b i 1
T
在第二次实验时会涉及；
11.4 前馈神经网络的类型与拓扑结构
11.4.1 前馈神经网络的拓扑结构
x
1
双层前馈网 （感知器）
x
2
y1
ym
x
d
前馈神 经网络 多层前馈网 （多层感知器，MLP）
（输入层）
（隐层）
（误差反传网，BP）
…
…
…
… …
（输出层）
（输入层） （隐层）
11.4.2 前馈神经网络的类型
X3=[-1 -1 1 0.5]T d3=1. 设初始权向量 W(0)=[0.5 1 -1 0]T η=0.1
x
d
y
连接权值： 激活函数： 激活阈值：
wi
f
o c o
b
T
net
w b, w1, w2 ,, wd
1, x ,, x , x x
(1)

i
d

T
11.3.1 人工神经元的基本概念（续）
（2） 阶梯函数 y
x
1
w1
x 2
w2 wn
y

net
x
11.4 前馈神经网络的类型与拓扑结构
11.5 前馈神经网络的反向传播算法 11.6 径向基函数网络 11.7 神经网络在模式识别中的应用
11.1 人工神经网络的发展历程
11.1.1 人类大脑的优势
人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一 种非线性并行信பைடு நூலகம்处理系统。