11第十一章_进化神经网络方法

１第11章 进化神经网络方法 11.1 进化神经网络简介 进化方法具有较好的全局搜索能力，比较适用于寻找最佳的神经网络结构或参数。Maniezzo[Mani1994]对进化方法在神经网络设计中的应用现状有过介绍。进化方法主要有纯结构进化方法和结构与权同时进化两种方法，但纯结构进化方法由于计算量较大，实际中较少采用，此处只介绍结构与权同时进化的方法。 Schaffer等[SchCa1990]的染色体由多层前向网的层数、各层节点数及BP算法的学习参数即学习率、动量项及初始权值范围构成，并通过BP算法和染色体的交叉运算得到较为满意的神经网络。高桥裕树等[高-中1996]则在染色体中增加了对sigmodal函数斜率的编码，并对染色体进行通常的选择、交叉和变异运算。但以上两种算法的计算量将随着问题规模的变大而急剧增加。Maniezzo[Mani1994]也对结构和连接权值直接编码，但为减少计算量，每个染色体长度可变，即每个染色体中均有若干粒度（granularity）位用于表示权参数的长度，并在通常的再生、交叉、变异的基础上增加了GA单纯形（GA simplex）操作，结果较大地提高了算法的效率。 使用进化编程（evolutionary programming）也是很常见的进化方法。Mcdonnell等[McWa1993]直接用该方法搜索神经网络的结构及权值。Yao等[YaLi1997]则侧重于进化神经网络的行为，该进化方法产生子代的方法主要是变异操作：节点和权的删除及添加，并在进化过程中惩罚高复杂性的网络。为增加算法的快速性和全局收敛性，还采用了部分训练及BP和模拟退火混合训练方法，但整个算法的计算量依然很大。 进化算法具有很好的全局搜索能力，往往能找到最佳的网络结构。由于进化方法属于启发式搜索算法，故其最大缺点是计算量较大。 本章给出一种RBF网设计的进化优选算法[魏-徐2000，魏-徐2001b]，该方法针对OLS算法不能设计最小结构神经网络的缺点而提出，具有较高的效率。

11.2 进化优选算法

11.2.1 OLS算法设计RBF网的缺点 在第四章，我们介绍了RBF网及其学习算法。我们知道，给定了一组训练样本，RBF网的学习算法应该解决以下问题：①结构设计，即确定网络应该有多少个隐节点；

②确定各径向基函数中数据中心jC及扩展常数iδ的值；③确定输出权值。一般情况下，如果知道了网络的隐节点数、数据中心和扩展常数，RBF网从输入到输出就成了一个线性方程组，此时输出权值可用最小二乘法求解。 在第四章，我们还介绍了RBF网设计的正交最小二乘（OLS）算法。在用OLS算 ２

法设计RBF网时，网络的数据中心从训练样本输入中选取，且RBF函数采用最常见的高斯型函数，扩展常数取固定值，输出权值可用最小二乘法求解。

假定共有N个学习样本，其输入为)(NsXXX21，，，L=

，相应的样本输出，即

教师信号为)(21NTyyyy，，，L=。RBF网的学习问题，就是要找到最优的隐节点数和相应的数据中心、输出权值和扩展常数，使样本输入下的网络输出能以给定误差逼近教师信号。如前所述，数据中心从样本输入中选取，且各基函数取相同的扩展常数δ，

故所有隐节点的RBF函数均为()222δtet−=Φ。 考虑最简单的情况，即把所有的样本输入都选为RBF网的数据中心。此时RBF网

共有N个隐节点，且所有隐节点的输出完全可以确定下来。当输入为Ni，，，L21,=iX时，第j个隐节点的输出为： )(jcX−Φ=iijh （11.1）

其中jjXc=为该隐节点的中心。称][ijh=H，NNR×∈H为RBF网的隐层输出阵。 OLS算法的主要思想是选择隐层输出阵H的若干列的线性组合：

∑=×=mnii

iRaN

mmnnaaaaaaaa121011−−−−LL ∑==Mkkw1ˆ

khy （11.2）

来近似逼近教师信号y，且逼近误差0ˆε<−yy。式11.2中kh为H的第被选中的列，M为被选中的总列数，0ε为目标误差，kw为加权系数，对应RBF网的输出权值。

实现上述思想的关键是选择H的合适的列。OLS方法使用了Gram-Schmidt正交化

方法（见第4章）。但是，该方法并不一定能找到满足目标误差0ε的最少个数的列[ShPi1996]。由于OLS算法与主成分分析方法在形式上类似，文[ShPi1996]把OLS算法与主成分分析方法作了比较后发现，由于H的列向量不是正交的，它们对y的能量贡

献也相互影响，尽管正交最小二乘算法在每一步都试图找到一个有最大能量贡献的基矢量，但这并不保证最终能找到具有最小个数的基矢量组。我们可以考虑以下反例。 下面的分析将发现，选择最优的H的列是一个组合优化问题，而OLS方法只是相 ３

当于采用“最大投影法则”的一种启发式算法，因此不能保证找到最优列。事实上，如果如果我们改变正交化次序，则每个数据中心的能量贡献将发生变化，但根据下面的定

理2，M个数据中心的能量贡献之和将保持不变，即()012ε−=∑=yyyqTTiMi。所以，神

经网络的逼近误差只与选择哪些数据中心有关，而与这些数据中心被选中的次序（即正交化次序）无关。

11.2.2 进化优选算法的数学基础

为了描述选择什么样列的才是“最优的”，先引入排列阵和选择阵的概念： 定义1[ShPi1996] 任给MNR×∈A，称'A是A的一个排列阵，如果'A的所有列向量和A只有排列秩序的不同。 可见，'A

与A的列向量是一样的，因此：

APA'= （11.3）

其中P是单位阵MI的一个排列阵。对上面的NNR×∈H，H共有！N个不同的排列阵。 定义2[ShPi1996] 任给NNR×∈A，称MNR×∈MS是A的一个选择阵，如果MS的

M个列向量由式（11.3）中P的M个列向量组成。

用选择阵右乘H，就可以选择H的某些特定列。 借助选择阵的概念，（11.2）式可表示为

WHSyWHSyMW0M−=−=∈MRminε （11.4）

可见，逼近误差ε（即最小二乘误差）只是H、MS和y的函数：)(y,SH,Mg=ε。

当H和y给定时，ε只与MS有关，这意味着式（11.2）的逼近问题，本质上是如何确

定选择阵M

S的问题。

对于H的选择阵，我们有以下定理： 定理 1 假定MNR×∈MS，)1(+×+∈MNR1MS为H的两个选择阵，且1MS+由MS增

加一列构成，令1MHS+和M

HS的逼近误差分别为1+Mε和Mε，则MMεε≤

+1。

证明：令WHSyWHSy1MW1M1M+∈+++−=−=+1min1MR

M

ε，同理， ４

MMWHSy−=Mε，令=+0M'1MWW，显然1++∈MR'1MW，于是

'1M1MWHSy+++−≤1Mε

，又MM'1M1MWHSWHS=++，故MMεε≤+1成立。证毕。

由定理1可以看到，如果1MS+由MS增加一列构成，则随着M的增加，逼近误差数列NMM,...2,1,=ε，是单调不增的。当NM=时，0=Nε。 定理 2 假定MNR×∈MS为H的某一选择阵，令MHSH=ˆ，'Hˆ为Hˆ的任意排

列阵，则Hˆ和'Hˆ有相同的逼近误差。 证明：不妨设PHH'ˆˆ=，MMR×∈P。令00eWHy+=ˆ，且0W和0e是以Hˆ为隐节

点输出阵时RBF网的输出权矢量和最小二乘误差矢量，此时Hˆ的逼近误差为WHyeeW0T0ˆminmin−==∈MRε

。如果取'Hˆ的输出权值为0'WPW1−=，则

minˆminˆˆˆε=−=−=−=−∈−WHyWHyWPPHyWHy

W001''

MR

，因此Hˆ和'H

ˆ

有相同的逼近误差。证毕。 推论 1 变换Hˆ任意两列的顺序，RBF网的逼近误差不变。 在设计一个用于函数逼近的RBF网时，通常是给定一个目标误差0ε及一组样本，要求设计出满足目标误差要求的具有最小结构的网络。对应于这一要求，我们可以给出最优选择阵的定义：

定义3 给定一个目标误差0

ε，令集合{}0min|ε<−=HSWySWSel，如果

Sel∈0S，且满足以下条件：)()(,SSS0colcolSel≤∈∀，其中)(Scol表示选择阵

S

的列向量数，则称0S是H的一个最优选择阵。 最优选择阵是满足0

εε<

的所有选择阵中具有最小列向量数的选择阵。

由于Hˆ的列向量数M就是RBF网的隐层节点数，故找到了最优选择阵，也就能设计出最小的网络结构。于是，结合最优选择阵的概念，针对本章中RBF网学习问题，可