第三章监督学习神经网络

图 3.1
前馈神经网络
3.1.2
函数链神经网络
在函数链神经网络（FLNN）中，输入单元实现了激活函数（或者变换函数） 。一个函 数链神经网络即为将输入层单元扩展为高阶函数单元的前馈神经网络[314,401]。一个 I 维 的输入层从而被扩展到函数单元 h1 , h2 , hl 是输入参数向量 ( z1 , 之间的权值矩阵 U 被定义为：
第 3 章 监督学习神经网络
23
⎛ J +1 ⎛ L ⎞⎞ ok , p = f o ⎜ ∑ wkj f y ⎜ ∑ v jl hl ( z p ) ⎟ ⎟ ⎝ l =1 ⎠⎠ ⎝ j =1
k j
（3.3）
使用输入单元的高阶组合可能会带来更短的训练时间并且还会提高精度（例如，参见 文献[314,401]） 。
k j,p k j
（3.1）
其中 f O 和 f y 分别是输出单元 ok 和隐层单元 yi 的激活函数。 wki 是输出单元 ok 和隐层单
k
j
元 yi 之间的权值。zi,p 是输入模式 zp 的输入单元 zi 的值。第（I+1）个输入单元和第（J+1） 个隐层单元是代表下一层中的神经元的阈值的偏置单元。 请注意每一个激活函数可以是不同的函数。并不需要所有的激活函数都必须是同一 类型。同样，每一个输入单元可以实现一个激活函数。通常假定输入单元具有线性激活 函数。
22
计算智能导论（第 2 版）
ok , p = f o (neto )
k k ,p
⎛ ⎞ = f o ⎜ ∑ wkj f yj (net y ) ⎟ ⎝ j =1 ⎠ I +1 ⎛ J +1 ⎞ = f o ⎜ ∑ wkj f y (∑ v ji zi , p ) ⎟ i =1 ⎝ j =1 ⎠
J +1
3.1.1
前馈神经网络
图 3.1 展示了一个标准的前馈神经网络，它包含 3 层：一个输入层（注意一些关于神 经网络的文献中并不将输入层记为一层） 、一个隐层和一个输出层。虽然该图仅给出了一个 隐层，但一个前馈神经网络可以有多个隐层。然而，已经证明了使用单调递增可微函数的 单隐层前馈神经网络能够逼近任意的连续函数，只要隐层具有足够多的隐层神经元[383]。 一个前馈神经网络也可以在输入层和输出层之间建立直接（线性）连接。 对于一个任意给定的输入模式 z p ，一个前馈神经网络的输出是通过网络中一个单个的 向前传递得到。对于每一个输出单元 ok ，我们得到（假定在输入层和输出层之间不存在直 接连接） ：
图 3.2
函数链神经网络
3.1.3
乘积单元神经网络
乘积单元神经网络的神经元是计算输入信号的加权乘积而不是加权和[222,412,509]。 对于乘积单元，网络输入通过（2.5）式计算。 人们已经提出了不同类型的乘积单元神经网络。在其中一种乘积单元神经网络中，每 一个输入单元都被连接到一些求和单元以及一些乘积单元的一个专用组。另一种类型的乘 积单元神经网络交替（alternating）乘积单元层和求和单元层。由于当多个隐层均含有乘积 单元时的数学复杂性，本节只阐述隐层仅具有乘积单元，且不含求和单元时的情形。输出 层仅含有求和单元，并且假定网络中的所有神经元均使用线性激活函数。则对于每一个隐 层单元 y j , 其网络输入为（注意没有包括偏置） ：
24
计算智能导论（第 2 版）
net y
j,p
= ∏ zi , p
v ji i =1
I +1
（3.5）
其中对于所有的模式 z I +1, p = −1 ，v j , I +1 代表失真度。 引入失真度的目的是在训练中动态地调 整激活函数以使其更好地逼近训练数据所代表的真实函数。 如果 zi , p < 0 ，则 zi , p 可表示为复数 zi , p = ι 2 | zi , p | (ι = −1) ，用其替换式（3.4）中的相应 项，得到：
第 3 章 监督学习神经网络
单个神经元对于所能够学习的函数类型有很多限制。一个（实现求和单元）的单个神 经元仅能被用于线性可分函数。当需要学习非线性可分函数的时候，就需要一个分层的神 经元网络。训练这些分层的网络比训练一个单个的神经元更为复杂，并且训练可以是监督 学习、非监督学习或者是增强学习。本章讨论监督学习。 监督学习需要一个训练集，该训练集由输入向量和与每一个输入向量相关联的目标向 量组成。神经网络学习器使用目标向量来决定其已经学习的程度，并且通过目标向量指导 权值的调整从而降低整体误差。本章考虑监督学习下不同的神经网络类型，包括标准多层 神经网络、函数链神经网络、简单反馈神经网络、时延神经网络、乘积单元神经网络以及 级联神经网络。第 3.1 节首先介绍这些不同的神经网络结构。第 3.2 节讨论了对于监督训练 的不同的学习规则。第 3.4 节将对集成神经网络进行一个简短的讨论。
, hL 。其中 L 是函数单元的总数且每一个函数单元 , z I ) （见图 3.2） 。输入层和函数单元层
（3.2）
, z I ) 的一个函数，即 hl ( z1 ,
⎧1 如果函数单位 hl 依赖于 zi uli = ⎨ ⎩0 其他
对于函数链神经网络，vjl 是隐层单元 yi 和函数链 hl 之间的权重。 除了要考虑额外的函数单元层以外，每一个输出 ok 的激活的计算方法与前馈神经网络 是相同的。
3.1
神经网络的类型
人们已经建立了各种各样的多层神经网络。诸如标准多层神经网络、函数链神经网络 和乘积单元神经网络这类的前馈神经网络接收外部的信号并通过在各层传播这些信号以获 得神经网络的结果（输出） 。前馈神经网络并不存在到前面各层的反馈连接。另一方面，反 馈神经网络拥有这样的反馈连接以建模被学习问题的时域特征。时延神经网络则记忆一个 先前观察= ∏ zi , p
v ji i =1 I
I
= ∏e
i =1
i
v ji ln( zi p )
,
= e∑ 其中 zi,p 是输入单元 zi 的激活值，vji 是输入单元 zi 和隐层单元 yj 之间的权重。
v ji ln( zi p )
,
（3.4）
上述的乘积单元网络输入信号计算公式的另一种形式是在乘积中包括“失真度” ，例如