08第八章___神经网络的参数优化设计方法

１

第8章 神经网络的参数优化设计

在神经网络的泛化方法中，研究最多的是前馈神经网络的结构优化设计方法（剪枝算法、构造算法及进化算法等，我们将在以后各章讨论）。除了结构设计，其余前馈神经网络的泛化方法还有主动学习、最优停止法、在数据中插入噪声、神经网络集成及提示学习方法等，由于这些方法中神经网络的结构是固定的，因此神经网络性能是通过参数优化改善的，我们称这些方法为神经网络的参数优化设计方法。本章介绍最主要的参数优化设计方法，并给出了每种方法的算法实现和仿真例子。

8.1 主动学习

8.1.1 原理

按照学习机器对训练样本的处理方式，可将学习方式分为两类：被动学习方式和主动学习方式。被动学习是常用的学习方式，常被称为“从样本中学习” （Learning from samples ）,该方式被动地接受训练样本，并通过学习从这些样本中提取尽可能多的信息。与被动学习相反，主动学习属于更高层次的、具有潜意识的学习。主动学习对训练样本的选择是主动的，通常通过对输入区域加以限制，有目的地在冗余信息较少的输入区域进行采样，并选择最有利于提高学习机器性能的样本来训练分类器，从而提高了整个训练样本集的质量。由上一章的讨论，训练样本质量对神经网络的泛化能力有极大影响，甚至超过网络结构对泛化能力的影响。因此采用主动学习方法，是改进神经网络泛化能力的一个重要方法。

主动学习机制大部分用于分类或概念学习[Baum1991，HwCh1990，SeOp1992]。在单概念学习中，Mitchell[Mitch1982]关于版本空间(Version Space)的论述有着较大的影响。下面，我们先简要介绍一下这一理论。

如果X 为一线性空间，概念c 定义为X 中点的集合。对目标概念t ，训练样本可写为()()x x t ,，其中X ∈x 为样本输入，()x t 为对x 的分类。如果t ∈x ，则()1=x t ，称()()x x t ,为t 的正样本；如果t ?x ，则()0=x t ，此时称()()x x t ,为t 的负样本。显然，对线性空间内的任何两个可分概念1c 和2c ，如果()()x x 1,c 是1c 的正样本（负样本），则()()x x 11,c ?必然是2c 的负样本（正样本），即任意两个可分概念的正负样本之间可以互相转换。如果某概念c 对x 的分类与目标概念对其的分类()x t 相等，即()()x x t c =，

２

称概念c 与目标概念的样本()()x x t ,是一致的(Consistent)。

给定目标概念的一个训练样本集（包括正样本和负样本），在其限制下进行概念学习后，将得到一个学习后的概念，该概念应尽可能接近目标概念。这个学习后的概念被称为归纳。学习的过程也就是从目标概念的样本集得到归纳的过程。于是，每个归纳都代表一个点集，且该归纳与训练样本集一致，即该点集中包含了所有的正样本输入，而不包括任何一个负样本输入。显然，与同一个训练样本集一致的归纳可能有多个，而所谓版本空间，即是与给定训练样本集一致的所有可能归纳的空间。版本空间的概念也可描述如下：对概念类C 和给定训练样本集T ，版本空间定义为集合C 的一个子集T C ，其中{}中所有样本一致与且T c C c C T ,∈=。

Mitchell[Mitch1982]假定T C 是一个偏序结构，并把单个概念的学习过程看成是

T C 中的搜索过程。在版本空间理论中，称归纳1c 比归纳2c 更一般(more general)，当

且仅当12c c ?。对两个不相等的归纳1c 和2c ，如果12c c ?且21c c ?，则称1c 和2c 是不可比的。T C 中最小（most general ）元素G 定义为：

{}c c C c C c G T T ′?∈′∈=有且对所有,。类似地，定义最大（most specific ）元素S 为：{}

c c C c C c S T T ?′∈′∈=有且对所有,。 在Cohn[Cohn1994]的基于版本空间理论的神经网络选择采样方法中，需用两个BP 网分别实现归纳S 和G ，称为S-net 和G-net ，然后进行以下操作：在空间按一定概率产生一个输入x ，并通过检查x 是否落入S 和G 的差集G S ?（被称为不确定区域）中，我们便可以判断x 点处的样本是否能提供新的信息。若G S ??x ，则抛弃x ；否则进

行一次采样，即询问x 的分类()x c 。

如果()1=x c （正样本），则推广（Generalize ）G ，结果使G ∈x ；否则如()0=x c （负样本），则特化（Specialize ）S ，结果使S ?x 。可见，由于每次采样都在较好的位置进行，故每个样本都能得到新的信息，从而改进了整个训练样本集的质量，使最终的神经网络有较好的泛化能力。

主动学习机制一般通过“询问”（Query ）的方式实现，步骤如下：

(1) 在输入定义域内按某种概率取一点x ;

(2) 判断该点是否位于不确定区，如果不位于不确定区，则抛弃该点;否则“询问”该点

输出y （进行一次采样）;

(3) 把),(y x 加入样本集进行训练，直至采到足够的样本。

主动学习也可用于函数逼近，Mackay[Mack1992c ]讨论了贝叶斯框架下候选样本输入点信息的几个测度，可用于函数逼近问题的选择采样。

8.1.2 仿真例子：三角形概念学习

在本例中，我们用神经网络实现三角形概念的主动学习，Cohn[Cohn1994]曾用两个

３

BP 网（分别实现归纳S 和G ，称为S-net 和G-net ）学习该例子。但是，由于Sigmoidal 神经元具有全局特性，给定位不确定区域带来了困难，因此Cohn 使用了背景样本（Background Samples ），但同时也带来了参数不易整定的问题；使用BP 网的另一个问题是神经网络规模无法确定。事实上，如果采用RBF 网进行概念的主动学习，则利用RBF 网的局部特性和采用在线学习方式，上述问题均可得到解决。

在本例子中，我们也用两个RBF 网实现选择采样，这两个子网分别实现归纳S 和G ，沿用Cohn 的叫法，我们也称之为S-net 和G-net 。为测试了学习系统的泛化能力，我们选择采样和随机采样策略进行了比较。随机采样时，我们在)2,2()2,2(?×?范围内随机产生200个均匀分布的样本输入，对每个样本输入都“询问”该点输出；选择采样时，我们也在)2,2()2,2(?×?范围内随机产生样本输入，但只对那些位于不确定区域的样本输入才“询问”该点输出。两种采样策略都产生200个训练样本。每次采到一个新样本后，我们都先为该样本分配一个新隐节点，新隐节点的节点中心为新样本输入，输出权值为网络对该样本的偏差，扩展常数取固定值；然后进一步优化网络结构，即用梯度法调整网络各隐节点中心和输出权值，并合并网络中重叠的隐节点（如果有的话）。

随机采样和选择采样系统的学习参数设置如下：梯度法训练时学习率0.05，每个新增隐节点的扩展常数为

0.4，两个隐节点中心之间的距离小于0.01时合并这两个隐节点。

图8.1 随机采样得到的200个样本

为测试学习系统的泛化误差，我们还在区间)2,2()2,2(?×?内产生16814141=×个等间隔分布的测试样本。图8.1和8.2所示分别为某次试验中随机采样和选择采样得到的200个样本。由图可见，与随机采样相比，由于每个样本都位于不确定区域，因此选择采样得到的样本更多地集中在两类样本地交界处，即三角形概念地边界附近，这也与我们的期望是一致的。另外，在该次试验中，采用选择采样策略时两个子网的最终隐节点数为84和23，对所有测试样本的测试误差（泛化误差）为1.90%；而采用随机采样策略时，两个子网的最终隐节点数为171和28，测试误差则为4.52%。

图8.2 选择采样得到的200个样本

图8.3 两种学习方式的测试误差曲线

为进一步对比两种学习系统的泛化能力，我们记录了两种学习方式下，随着训练样本的增加，学习系统对所有测试样本的测试误差的变化曲线，如图8.3所示。可见，随着训练样本的增加，两个学习系统的泛化性能都在改善，但相比之下选择采样系统的泛化误差显然更小（图8.3中曲线2），说明选择采样对泛化能力的改善是很明显的，同时也说明了训练样本对神经网络泛化能力的影响。

8.2 在样本输入中添加随机噪声

8.2.1 噪声添加方法

由上一章结论可知，在样本输入中添加随机噪声，也可以改善神经网络的泛化能力，而且噪声方差较小时，样本输入加噪声方法类似于神经网络结构设计的正则化方法，而正则化系数则与噪声方差有关。

样本输入加噪声方法既可以用于在线学习，也可以用于批处理方式离线学习；网络

４

５

类型可以是BP 网，也可以是RBF 网；参数学习算法可以是BP 算法，也可以是RBF 的梯度训练算法。假定有N 个训练样本，分别为()μμμy z

,x =，N ,...,2,1=μ，则在线BP 学习算法中样本输入插入噪声的算法如下：

（1）从N 个训练样本随机选择一个样本()μμμy x z

,=； （2）根据密度函数()μρζ

得到样本输入噪声矢量； （3）令()μμμμζy z ,+=x 。

此后即可按在线梯度法进行权值修正。对于批处理方式，则每一轮次训练时所有样本输入均应同时按上述方式加入噪声。输入噪声密度函数()μ

ζρ

通常选均值为零的高斯分布或均匀分布，噪声方差则由具体问题决定。 8.2.2 仿真例子

神经网络训练的目标函数为[An1996]：

()2)8.0(3sin )(+=x x y （8.1） 训练样本和测试样本产生方式如下：训练样本数15个，其输入i x 为区间[]1,1?内的等间隔点，输出由上式计算，并添加噪声i e 。噪声i e 服从均值为0，方差为0.4的正态分布；测试样本数201个，其输入i x 也为区间[]1,1?内的等间隔点，输出由上式计算。泛化误差定义为训练后的神经网络对所有测试样本的误差平方和。

我们用RBF 网进行训练，采用梯度法进行批处理方式学习（见第4章）。另外，RBF

网的隐节点数取25，初始输出权值取]1.0,1.0[?内随机值，

初始数据中心取]0.1,0.1[?内随机值，初始扩展常数取]3.0,1.0[内随机值，最大训练次数1000。数据中心、扩展常数和输出权值均用梯度法求解，它们的学习率均为006.0。训练时插入样本输入的噪声服从均值为0，方差为0.1的高斯分布。

图8.2为某次训练的结果。图中虚线为目标函数曲线，“+”为输出加噪声的15个训练样本，点划线为输入未加噪声训练得到的神经网络函数曲线，实现则为输入添加高斯噪声训练后得到的神经网络函数曲线。由图可见，未加输入噪声的拟合曲线几乎穿过所有的训练样本，由于训练样本输出含有噪声，因此产生了明显的过拟合，而加输入噪声的拟合曲线则平滑的多，而且尽管该曲线与目标曲线存在泛化误差，但泛化误差的值比未加输入噪声的拟合曲线要小的多，因此噪声起到了平滑作用。

图8.3是该次训练的学习曲线。由图可见，在输入噪声的作用下，训练误差不能象

不加输入噪声那样单调下降。事实上，当训练数据被循环地作为网络的输入时，由于每

次添加的噪声不同，迫使神经网络不能精确地拟合训练数据，从而使噪声起到了平滑作用，防止了过拟合。

图8.2 输入噪声的平滑效应

图8.3 输入加噪声训练的学习曲线

为了更全面地对比加噪声和不加噪声训练的性能差别，我们将两种方法均进行了100次测试，每次测试时除了一种方法加噪声，另一种方法不加噪声，其它所有条件完

全相同（网络结构、数据中心、权参数初始值等）。我们记录了两种方法得到的神经网

络的训练误差和测试误差的均值和标准差（100次试验），如表8.1所示。由表可见，尽

管加噪声训练的平均训练误差比不加噪声训练时大很多，但得到的神经网络的泛化误差

却小的多，因此加噪声训练方法改善神经网络泛化能力的效果还是很明显的。

表8.1 两种方法的训练结果对比

无输入噪声加输入噪声

平均训练误差0.2412 3.1552

训练误差方差0.3857 1.3569

平均测试误差25.4992 17.9888

测试误差方差9.6339 8.4818 由上一章的泛化理论的讨论可知，加噪声训练时噪声方差对训练效果有很大影响，

６

其作用类似于正则化系数。为了验证这一点，我们令输入噪声方差在0.001－0.18之间变化（间隔为0.002），共90个值，对每个噪声方差值，我们均作100次试验，并计算其平均测试误差。图8.4是输入噪声方差与测试误差之间的关系曲线。由该图可见，输入噪声方差过大或过小，测试误差均会变大。在输入噪声方差为0.1左右时，测试误差最小。

G。

相关的仿真程序见附录

8.3 神经网络集成

8.3.1 原理

由上一章可知，由于选择不同的初始权值，使最终神经网络的泛化能力体现出一定的随机性。利用这一特性也可以改善神经网络的泛化能力，神经网络集成（或称多神经网络，或表决网）便是这种思路的体现。于是我们可以先训练一组只有初始权值不同的子网，然后通过各子网“表决”（Voting）的方式（如加权和）得到学习系统的输出。

当神经网络集成用于分类器时，集成的输出通常由个体网络的输出投票产生。通常采用绝对多数投票法(某分类成为最终结果当且仅当有超过半数的神经网络输出结果为该分类)或相对多数投票法(某分类成为最终结果当且仅当输出结果为该分类的神经网络的数目最多)。理论分析和大量试验表明，后者优于前者。因此，在对分类器进行集成时，目前大多采用相对多数投票法。

当神经网络集成用于回归估计时，集成的输出通常由各网络的输出通过简单平均或加权平均产生。Perrone等人[PeCo1993]认为，采用加权平均可以得到比简单平均更好的泛化能力。但是，也有一些研究者认为[SoKr1996]，对权值进行优化将会导致过配(overfitting)，从而使得集成的泛化能力降低，因此，他们建议使用简单平均。

此外还存在多种结合方式。例如，有的研究者进一步利用神经网络这样的学习系统，通过学习来对多个子网的输出进行结合。

７

８

8.3.1 仿真例子：广义异或问题

该例子是标准异或问题的推广，标准异或问题的真值表见第二章2.3节。在标准异或问题中，输入1x 和2x 取离散量－1或＋1，而在广义异或问题中，输入()21,x x 可以在区间[][]1,11,1+?×+?内任意取值，而输出为()21x x sign y =，其中()?sign 为符号函数。

我们在区间[][]1,11,1+?×+?内产生500个训练样本，并用标准BP 算法训练单隐层的BP 网。该算法与第三章3.3.3节中用于三分类的BP 算法类似，只是计算节点改用双极性Sigmoid 函数。训练过程中其它参数如下：网络采用8个隐节点，初始权值和阈值取[]1.0,1.0?内均匀分别的随机数，权值调整的学习率为0.005，训练1000次后结束。由于受不同初始权值的影响，每次训练得到的神经网络性能均不相同。在某一次试验中，我们训练了5次，得到了5个不同性能的神经网络，它们的测试误差分别为0.0360，0.2644，0.0473，0.0616，0.0800。图8.5的（a ）、（b ）、（c ）、（d ）、（e ）分别绘制了这5个网络的对区间[][]1,11,1+?×+?内16814141=×个等间隔分布的测试样本的分类图，可见这5个网络的性能差别很大，甚至会出现象8.5（b ）这样整个象限（第四象限）都误识的情况。

图8.5 5个子网和集成对广义异或问题的测试结果

如果将这5个单独训练后的子网进行集成，并采用简单多数表决，则测试误差为0.0233，相应的分类图如8.5（f ）所示。采用神经网络集成，尽管方法较为简单，却能

极大的改进了系统的性能。

如果我们把集成中的子网个数从5增加到50，可以预见，我们得到的测试误差也将减小。我们某次试验的的测试误差是0.0168，这也与文献[HaSa1990]的结论是一致的。

该例子的仿真程序见附录H。

8.4 基于先验知识的泛化方法

前面已经介绍过，对目标概念的先验知识可以表示成神经网络参数先验分布的形式，并导出了结构设计的正则化方法。先验知识也可以通过在学习过程中嵌入提示来表示[Abu1990，Abu1993b]。提示能成功应用的关键是如何在学习中插入提示。Abu-Mostafa[Abu1995]建议把提示转化为虚拟样本（Virtual samples），然后以虚拟样本和普通样本作为共同的训练样本集，完成神经网络的训练。

使用提示将显著改善神经网络的泛化能力。在证券市场预测时使用对称性提示[Abu1995]，及在手写数字识别时使用最小Hamming距离作为提示[AlRe1991]都获得了成功。

先验知识也可以以其余方式嵌入学习。比如说，如果已知神经网络的相邻输入数据点之间存在着一定的空间相关性，则神经网络权值之间的光滑性也将影响神经网络的泛化能力。此时如果对神经网络的结构或者连接权值加以一定的限制，使之能体现这些相关性，则有助于提高神经网络的泛化能力。Jean和Wang[JeWa1994]在目标函数中增加一个权值光滑性限制项，达到了改进泛化的目的。事实上，在模式分类神经网络中，当权值之间不连续或存在随机性时，输入模式的轻微变化（如模式的变形或位移）将使隐节点输出发生大的变化，最终会导致泛化能力变差[OhLe1995]。

8.5 最优停止法

8.5.1 原理

考虑在适当的时间停止学习，也是改进泛化能力的重要方法。根据上一章中的测试误差-泛化误差图，当神经网络的泛化误差达到最小（最优停止点）时，我们便应该停止神经网络的学习。

Sjoberg和Ljung[SjLj1995]研究了正则化方法和最优停止方法对神经网络模型参数的影响，并指出最优停止方法也是一种隐式的正则化方法。 Cataltepe等人[CaAbu1999]则认为，最优停止方法所设计的神经网络之所以有好的泛化能力，是因为最优停止法倾向于设计低复杂性的神经网络。

用最优停止法设计神经网络的关键是确定学习算法在何时停止学习。为了得到最优停止点，通常把所有样本数据分为两部分，一部分为训练数据，另一部分为测试数据，并以测试误差代替神经网络的泛化误差，当测试误差达到最小时，就停止网络的训练。该方法实际上就是最简单的交叉测试（Cross-Validation，简称CV）方法。

应该指出，简单CV方法并不是任何时候都适用的。根据Muller等人[MuFi1996]的

９

１０研究，假定总样本数为t ，神经网络的自由参数个数为m ，当t 小于或接近于m 时，此时从不多的样本中再分出一个测试样本集，减少了用于训练地样本，因而使用简单CV 方法反而会较大地影响神经网络泛化能力，此时用下面的留一CV 法较好;当t 相对m 较

大时（如m t m 304<<）

，用简单CV 方法将会有较好的效果;当t 相对于m 充分大时，可以不用CV 方法。

为了在样本较少的情况下也能使用CV 方法，两种改进的CV 方法是留一CV 法

（Leave-one-out CV 法）和v 重CV 法（v -fold CV 法）

。假定有l 个样本，则留一CV 法工作方式如下:每次取一个样本用于测试，其余1?l 个用于训练，共有l 种取法，对每一轮次都按l 种取法训练l 次，当测试数据误差总和最小时停止训练。v -fold CV 法与此类似，只是每次用于测试的样本有v 个，但这在一定程度上可以减少学习时间。

如何确定简单CV 方法中测试样本数占总样本数的比例， 也是一个困难的问题。Amari 等人[AmMu1997]和Kearns[Kear1997]研究了CV 方法中测试样本数占总样本数比例对神经网络泛化能力的影响。 Amari 等人[AmMu1997]认为当测试样本数占总样本数的比例为)

1(2112???m m 时，神经网络将有最小的泛化误差。 8.5.2 仿真例子：Hermit 多项式逼近

在第四章，我们给出了一个设计RBF 网的梯度算法，并用于逼近Hermit 多项式。在那个例子中，我们的停止准则是训练误差小于给定值，或训练达到最大训练次数。这里我们用最优停止算法设计RBF 网，并逼近同一目标函数。因此这里给出的算法是第4章RBF 网梯度设计算法的改进算法。

与第四章的例子不同，本例中训练样本和测试样本产生方式如下：总样本数100=N ，其中样本输入i x 服从区间[]4,4?内的均匀分布，样本输出为()i i e x F +，其中i e 为添加的噪声，服从均值为0，方差为0.3的正态分布，

()() ?+?=2exp 211.122

x x x x F 。这100个样本中，我们用前75个样本进行训练，余下25个样本进行测试。另外，RBF 网的隐节点数取10，初始输出权值取]1.0,1.0[?内随机值，初始数据中心取]0.4,0.4[?内随机值，初始扩展常数取]3.0,1.0[内随机值，最大训练次数5000。数据中心、扩展常数和输出权值均用梯度法求解，它们的学习率均为001.0。

在学习过程中，为简单起见，我们认为如果当前测试误差不再下降，则测试误差就达到最小点，并认为可以停止学习。为保证算法更可靠的停止在测试误差最小点，一种更好的方法是以连续多个测试误差的均值不再下降作为停止准则。

１１

图8.6 三种RBF 网学习算法对Hermit 多项式的逼近

图8.7 训练过程中测试误差和训练误差的变化

图8.6和图8.7显示了某次训练的结果。图8.6中的“＋”号为产生的所有100个训练样本，曲线1为目标函数曲线，曲线2为产生过拟合后的神经网络曲线，曲线3为采用最优停止法得到的神经网络曲线。在训练过程中，神经网络进行了334次训练后测试误差开始上升，此时测试误差为2.9829。如果此时停止训练，并定义神经网络的泛化误差为()()()∑=?10112101

1i i i x NN x F （i x 为[]4,4?内0.08为间距取101个点），则神经网络的泛化误差为0.8047，图8.6中的曲线3为此时的神经网络函数曲线。

此时如果我们让神经网络继续训练，直至完成3000次训练后结束，则可以预见，神经网络可能产生过拟合，此时的神经网络曲线为图8.6中的曲线2，相应的泛化误差为

2.5280。可见3000次训练后神经网络产生了明显的过拟合。事实上，如果让神经网络进行更多的训练，则过拟合将更严重。

图8.7显示了训练过程中测试误差和训练误差的变化情况。由图可见，在训练过程

中，随着训练时间的加长，训练误差确实是单调下降的，但测试误差确实是存在最小点的（在本例是第334次权值修正时）。这也与上一章的结论是一致的。

该例子的仿真程序见附录I。

１２

１３