神经网络的介绍
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在被人摒弃的10年中，有几个学者仍然在坚持研究。这其中 的棋手就是加拿大多伦多大学的GeofferyHinton教授。2006年， Hinton在《Science》和相关期刊上发表了论文，首次提出了 “深度学习”的概念。很快，深度学习在语音识别领域暂露头角。 接着，2012年，深度学习技术又在图像识别领域大展拳脚。 Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络 成功地对包含一千类别的一百万张图片进行了训练，取得了分类 错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充 分证明了多层神经网络识别效果的优越性。
触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1
❖ 翼长 ❖ 1.64 ❖ 1.82 ❖ 1.90 ❖ 1.70 ❖ 1.82 ❖ 1.82 ❖ 2.08
值 和最大学习次数M。
第二步,随机选取第 k 个输入样本及对应 期望输出
x( k ) x 1 ( k ) ,x 2 ( k ) ,,x n ( k )
d o( k ) d 1 ( k ) ,d 2 ( k ) ,,d q ( k )
第三步，计算隐含层各神经元的输入和 输出
n
h ih (k ) w ih x i(k ) b h h 1 ,2 , ,p
第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对应 的期望输出，返回到第三步，进入下一轮学习。
应用之例：蚊子的分类
• 已知的两类蚊子的数据如表1：
❖ 翼长 ❖ 1.78 ❖ 1.96 ❖ 1.86 ❖ 1.72 ❖ 2.00 ❖ 2.00 ❖ 1.96 ❖ 1.74
差函数对隐含层各神经元的偏导数 h ( k ) 。
e who
e yio
yio who
o(k)hoh(k)
e e hih(k) wih hih (k) wih
n
hih (k )
wih
(
i1
wihxi (k) bh ) wih
xi (k)
e
( 1 2
q o 1
(do (k )
yoo (k ))2 )
m
y f ( wixi b)
i1
b为阈值，f（X）是激发函数；它可以是线性函数，也可 以是非线性函数．
常见的三类激发函数
单位阶跃函数 ：
f (x) 1 0,,
x0 x0
S型激发函数：
f (x)11ex ,
0f(x) 1 ;
tanh型激发函数：
f
(x)
eexx
ex ex
,
1f(x) 1 .
m w b,L in ( bw ) x i ,M y i(w .x i b )
感知机的算法是基于梯度下降法的对损失函 数的最优化算法。
单层感知机的缺点
单层感知器是线性可分模型 感知器的输出只能取-1或1（0或1）.只能用来解
决简单的分类问题。 当感知器输入矢量中有一个数比其他数都大或
小得很多时，可能导致较慢的收敛速度。
学习的过程： 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。
学习的本质： 对各连接权值的动态调整
学习规则： 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
实现了非线性分类
隐藏神经元的功能
隐藏神经元扮演者着特征检测算子的角色。随着学 习过程通过多层感知器不断进行，隐藏神经元开始逐 步“发现”刻画训练数据的突出特征。它们是通过输入 数据非线性变换到新的称为特征空间的空间而实现的。
BP网络与多层感知机的差别
感知机和BP网络都可具有一层或多层隐含层，其主要差 别也表现在激活函数上。
神经网络的介绍
内容安排
一、历史回顾 二、单层感知机与多层感知机 三、BP网络 四、卷积神经网络 五、内容小结
2
历史回顾
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在
提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机(Perceptron）。
e e y io w ho y io w ho
p
(
yio(k) who
h
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo (k)
(do(k)yoo(k))f(yio(k)) o(k)
第五步，利用隐含层到输出层的连接权 值、输出层的 o ( k ) 和隐含层的输出计算误
BP网络的激活函数必须是处处可微的，因此它不能采用 二值型的阀值函数{0，1}或符号函数{－1，1}
BP网络经常使用的是S型的对数或正切激活函数和线性 函数
BP网络的寻找最优参数w和b,采用的是实际输出和期望 输出的误差的最佳平方逼近的思路
17
BP神经网络模型
三层BP网络
输入层
隐含层
输出层
hih (k )
q
(do(k)yoo(k))f(yio(k))who
o1
hoh(k) hih(k)
q
( o(k)who)f(hih(k)) h(k)
o1
第六步，利用输出层各神经元的 o ( k ) 和隐含 层各神经元的输出来修正连接权值 w ho ( k ) 。
who(k)weho o(k)hoh(k)
为第一层的输出，同时作为第二层的输入。
其中， i 为阈值，f 为激励函数
若令 a0(3)1 （作为一固定输入）
w 1(j,3)j
j 1,2
（阈值作为固定输入神经元相应的权系数）
单层感知机的介绍
单层感知器是用于线性可分模式分类的最简单的神经网络模型。 用来调整这个神经网络中自由参数的算法最早出现F.Roseblatt
（1958,1962）提出的用于脑感知模型的一个学习过程中。
6
网络模型结构
其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系 数；输入与输出具有如下关系：
其中 w i(j,3)i(j) 为阈值
分析如下：
u 1 (1 ) w 1 (1 ,1 )a 0(1 ) w 1 (1 ,2 )a 0(2 )1 (1 ) u 1 (2 ) w 1 (2 ,1 )a 0(1 ) w 1 (2 ,2 )a 0(2 )1 (2 )
a1(1)f(u1(1))
a 1(2)f(u1(2))
多层感知机的介绍
多层感知器相对于单层感知器，输出端从一个变到了多 个；输入端和输出端之间也不光只有一层，可以有多层: 输出层和隐藏层。
网络模型结构
例：如图是一个含有两个输入，三个感知机隐层神经元和一 个输出神经元的三层感知机网络，若取
x1
y1
y2
z
x2
y3
y3
y1
y2
y1=sgn(2x1+2x2+1) y2=sgn(-x1+0.25x2+0.8) y3=sgn(0.75x1-2x2+1.4) z = sgn(y1+y2+y3-2.5)
隐含层与输出层的连接权值: 隐含层各神经元的阈值: b h
w
ho
输出层各神经元的阈值: b o 样本数据个数: k1,2, m
激活函数: f ( )
误差函数：
e1 2o q (1do(k)yo(k)2 )
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内 的随机数，设定误差函数e，给定计算精度
将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
学习的过程： 信号的正向传播
修正各单元权 值
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不 符
wN1 ho
whNo
o(k)hoh(k)
第七步，利用隐含层各神经元的 h ( k ) 和输入层 各神经元的输入修正连接权。
wih(k)weihhihe(k)hiwh(ihk)h(k)xi(k) wiNh1wiNhh(k)xi(k)
第八步，计算全局误差
E21 mkm 1oq 1(do(k)yo(k))2
年Rumelhart等提出的误差反向传播法，即BP法影响最为广泛。 直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算 法。
(4)低潮(90年代初-2000年初) SVM算法诞生，与神经网络相比：无需调参；高效；全局最
优解。基于以上种种理由，SVM成为主流，人工神经网络再次 陷入冰河期。
(5)第三次热潮（2006年开始）
hoh (k )
hih (k )
hoh (k )
hih (k )
( 1 2
q o 1
(do (k )
f(
yio (k )))2 )
hoh (k )
hoh (k )
hih (k )
( 1 2
q o 1
((do (k )
p
f(
h 1
whohoh (k )
bo )2 ))
hoh (k )
hoh (k )
(2)低潮(70-80年代初)
20世纪60年代以后，数字计算机的发展达到全盛时期，
人们误以为数字计算机可以解决人工智能、专家系统、模式
识别问题，而放松了对“感知器”的研究。人工神经网络进
入低潮期。
3
(3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield网络.1986
触角长 类别 1.38 Af 1.38 Af 1.38 Af 1.40 Af 1.48 Af 1.54 Af 1.56 Af
目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1
输入数据有15个，即p=1,…,15; j=1, 2; 对应15个 输出。
建模：（输入层，中间层，输出层，每层的元素 应取多少个？）
建立神经网络
规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表 示属于Af类。
设两个权重系数矩阵为：
W 1 w w 1 1((1 2,,1 1 ))
w 1(1,2) w 1(2,2)
w 1(1,3) w 1(2,3)
W 2 w 2 ( 1 , 1 ) w 2 ( 1 , 2 ) w 2 ( 1 , 3 )
误差反传
误差以某种形式在各层表示－－－－修正各层单元 的权值
网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
BP网络的标准学习算法
网络结构
输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
x 输入向量;
hi 隐含层输入向量；
ho 隐含层输出向量;
yi 输出层输入向量;
yo 输出层输出向量;
ห้องสมุดไป่ตู้
x 1 ,x 2 , ,x n
h i1 ,h i2 , ,h ip
h o 1 ,h o 2 , ,h o p
y i1 ,y i2 , ,y iq
y o 1 ,y o 2 , ,y o q
d 期望输出向量;
od 1 ,d 2 , ,d q
输入层与中间层的连接权值: w i h
单层感知器工作原理
对于只有两个输入的判别边界是直线（如下式所示）,选择 合适的学习算法可训练出满意的结果，当它用于两类模式的 分类时，相当于在高维样本空间中，用一个超平面将两类样 本分开。
w 1x1w 2x2b0
x2 类l2
类l1 x1
判决边界 w1x1+w2x2+b=0
感知机的学习策略：
f(x ) sg w .x n b )(
i 1
h o h ( k ) f ( h i h ( k ) ) h 1 , 2 ,, p
p
y io (k ) w h o h o h (k ) b o o 1 ,2 , q
h 1
y o o ( k ) f ( y i o ( k ) ) o 1 , 2 , q
第四步，利用网络期望输出和实际输出， 计算误差函数对输出层的各神经元的偏 导数 o ( k )。
x1
-
y1
z1
1
T1
x2
y2
z2
-
2
T2
xN1
-
wih
yN2
whj
zN3 N3
TN 3
激活函数
必须处处可导
一般都使用S型函数
使用S型激活函数时BP网络输入与输出关 系
输入 n e t x 1 w 1 x 2 w 2 ... x n w n
输出
yf(net)11enet
BP网络的标准学习算法
触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1
❖ 翼长 ❖ 1.64 ❖ 1.82 ❖ 1.90 ❖ 1.70 ❖ 1.82 ❖ 1.82 ❖ 2.08
值 和最大学习次数M。
第二步,随机选取第 k 个输入样本及对应 期望输出
x( k ) x 1 ( k ) ,x 2 ( k ) ,,x n ( k )
d o( k ) d 1 ( k ) ,d 2 ( k ) ,,d q ( k )
第三步，计算隐含层各神经元的输入和 输出
n
h ih (k ) w ih x i(k ) b h h 1 ,2 , ,p
第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对应 的期望输出，返回到第三步，进入下一轮学习。
应用之例：蚊子的分类
• 已知的两类蚊子的数据如表1：
❖ 翼长 ❖ 1.78 ❖ 1.96 ❖ 1.86 ❖ 1.72 ❖ 2.00 ❖ 2.00 ❖ 1.96 ❖ 1.74
差函数对隐含层各神经元的偏导数 h ( k ) 。
e who
e yio
yio who
o(k)hoh(k)
e e hih(k) wih hih (k) wih
n
hih (k )
wih
(
i1
wihxi (k) bh ) wih
xi (k)
e
( 1 2
q o 1
(do (k )
yoo (k ))2 )
m
y f ( wixi b)
i1
b为阈值，f（X）是激发函数；它可以是线性函数，也可 以是非线性函数．
常见的三类激发函数
单位阶跃函数 ：
f (x) 1 0,,
x0 x0
S型激发函数：
f (x)11ex ,
0f(x) 1 ;
tanh型激发函数：
f
(x)
eexx
ex ex
,
1f(x) 1 .
m w b,L in ( bw ) x i ,M y i(w .x i b )
感知机的算法是基于梯度下降法的对损失函 数的最优化算法。
单层感知机的缺点
单层感知器是线性可分模型 感知器的输出只能取-1或1（0或1）.只能用来解
决简单的分类问题。 当感知器输入矢量中有一个数比其他数都大或
小得很多时，可能导致较慢的收敛速度。
学习的过程： 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。
学习的本质： 对各连接权值的动态调整
学习规则： 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
实现了非线性分类
隐藏神经元的功能
隐藏神经元扮演者着特征检测算子的角色。随着学 习过程通过多层感知器不断进行，隐藏神经元开始逐 步“发现”刻画训练数据的突出特征。它们是通过输入 数据非线性变换到新的称为特征空间的空间而实现的。
BP网络与多层感知机的差别
感知机和BP网络都可具有一层或多层隐含层，其主要差 别也表现在激活函数上。
神经网络的介绍
内容安排
一、历史回顾 二、单层感知机与多层感知机 三、BP网络 四、卷积神经网络 五、内容小结
2
历史回顾
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在
提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机(Perceptron）。
e e y io w ho y io w ho
p
(
yio(k) who
h
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo (k)
(do(k)yoo(k))f(yio(k)) o(k)
第五步，利用隐含层到输出层的连接权 值、输出层的 o ( k ) 和隐含层的输出计算误
BP网络的激活函数必须是处处可微的，因此它不能采用 二值型的阀值函数{0，1}或符号函数{－1，1}
BP网络经常使用的是S型的对数或正切激活函数和线性 函数
BP网络的寻找最优参数w和b,采用的是实际输出和期望 输出的误差的最佳平方逼近的思路
17
BP神经网络模型
三层BP网络
输入层
隐含层
输出层
hih (k )
q
(do(k)yoo(k))f(yio(k))who
o1
hoh(k) hih(k)
q
( o(k)who)f(hih(k)) h(k)
o1
第六步，利用输出层各神经元的 o ( k ) 和隐含 层各神经元的输出来修正连接权值 w ho ( k ) 。
who(k)weho o(k)hoh(k)
为第一层的输出，同时作为第二层的输入。
其中， i 为阈值，f 为激励函数
若令 a0(3)1 （作为一固定输入）
w 1(j,3)j
j 1,2
（阈值作为固定输入神经元相应的权系数）
单层感知机的介绍
单层感知器是用于线性可分模式分类的最简单的神经网络模型。 用来调整这个神经网络中自由参数的算法最早出现F.Roseblatt
（1958,1962）提出的用于脑感知模型的一个学习过程中。
6
网络模型结构
其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系 数；输入与输出具有如下关系：
其中 w i(j,3)i(j) 为阈值
分析如下：
u 1 (1 ) w 1 (1 ,1 )a 0(1 ) w 1 (1 ,2 )a 0(2 )1 (1 ) u 1 (2 ) w 1 (2 ,1 )a 0(1 ) w 1 (2 ,2 )a 0(2 )1 (2 )
a1(1)f(u1(1))
a 1(2)f(u1(2))
多层感知机的介绍
多层感知器相对于单层感知器，输出端从一个变到了多 个；输入端和输出端之间也不光只有一层，可以有多层: 输出层和隐藏层。
网络模型结构
例：如图是一个含有两个输入，三个感知机隐层神经元和一 个输出神经元的三层感知机网络，若取
x1
y1
y2
z
x2
y3
y3
y1
y2
y1=sgn(2x1+2x2+1) y2=sgn(-x1+0.25x2+0.8) y3=sgn(0.75x1-2x2+1.4) z = sgn(y1+y2+y3-2.5)
隐含层与输出层的连接权值: 隐含层各神经元的阈值: b h
w
ho
输出层各神经元的阈值: b o 样本数据个数: k1,2, m
激活函数: f ( )
误差函数：
e1 2o q (1do(k)yo(k)2 )
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内 的随机数，设定误差函数e，给定计算精度
将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
学习的过程： 信号的正向传播
修正各单元权 值
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不 符
wN1 ho
whNo
o(k)hoh(k)
第七步，利用隐含层各神经元的 h ( k ) 和输入层 各神经元的输入修正连接权。
wih(k)weihhihe(k)hiwh(ihk)h(k)xi(k) wiNh1wiNhh(k)xi(k)
第八步，计算全局误差
E21 mkm 1oq 1(do(k)yo(k))2
年Rumelhart等提出的误差反向传播法，即BP法影响最为广泛。 直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算 法。
(4)低潮(90年代初-2000年初) SVM算法诞生，与神经网络相比：无需调参；高效；全局最
优解。基于以上种种理由，SVM成为主流，人工神经网络再次 陷入冰河期。
(5)第三次热潮（2006年开始）
hoh (k )
hih (k )
hoh (k )
hih (k )
( 1 2
q o 1
(do (k )
f(
yio (k )))2 )
hoh (k )
hoh (k )
hih (k )
( 1 2
q o 1
((do (k )
p
f(
h 1
whohoh (k )
bo )2 ))
hoh (k )
hoh (k )
(2)低潮(70-80年代初)
20世纪60年代以后，数字计算机的发展达到全盛时期，
人们误以为数字计算机可以解决人工智能、专家系统、模式
识别问题，而放松了对“感知器”的研究。人工神经网络进
入低潮期。
3
(3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield网络.1986
触角长 类别 1.38 Af 1.38 Af 1.38 Af 1.40 Af 1.48 Af 1.54 Af 1.56 Af
目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1
输入数据有15个，即p=1,…,15; j=1, 2; 对应15个 输出。
建模：（输入层，中间层，输出层，每层的元素 应取多少个？）
建立神经网络
规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表 示属于Af类。
设两个权重系数矩阵为：
W 1 w w 1 1((1 2,,1 1 ))
w 1(1,2) w 1(2,2)
w 1(1,3) w 1(2,3)
W 2 w 2 ( 1 , 1 ) w 2 ( 1 , 2 ) w 2 ( 1 , 3 )
误差反传
误差以某种形式在各层表示－－－－修正各层单元 的权值
网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
BP网络的标准学习算法
网络结构
输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
x 输入向量;
hi 隐含层输入向量；
ho 隐含层输出向量;
yi 输出层输入向量;
yo 输出层输出向量;
ห้องสมุดไป่ตู้
x 1 ,x 2 , ,x n
h i1 ,h i2 , ,h ip
h o 1 ,h o 2 , ,h o p
y i1 ,y i2 , ,y iq
y o 1 ,y o 2 , ,y o q
d 期望输出向量;
od 1 ,d 2 , ,d q
输入层与中间层的连接权值: w i h
单层感知器工作原理
对于只有两个输入的判别边界是直线（如下式所示）,选择 合适的学习算法可训练出满意的结果，当它用于两类模式的 分类时，相当于在高维样本空间中，用一个超平面将两类样 本分开。
w 1x1w 2x2b0
x2 类l2
类l1 x1
判决边界 w1x1+w2x2+b=0
感知机的学习策略：
f(x ) sg w .x n b )(
i 1
h o h ( k ) f ( h i h ( k ) ) h 1 , 2 ,, p
p
y io (k ) w h o h o h (k ) b o o 1 ,2 , q
h 1
y o o ( k ) f ( y i o ( k ) ) o 1 , 2 , q
第四步，利用网络期望输出和实际输出， 计算误差函数对输出层的各神经元的偏 导数 o ( k )。
x1
-
y1
z1
1
T1
x2
y2
z2
-
2
T2
xN1
-
wih
yN2
whj
zN3 N3
TN 3
激活函数
必须处处可导
一般都使用S型函数
使用S型激活函数时BP网络输入与输出关 系
输入 n e t x 1 w 1 x 2 w 2 ... x n w n
输出
yf(net)11enet
BP网络的标准学习算法