基于聚类分析的综合神经网络集成算法

第 27卷 第 1期 文章编号 : 1006 - 9348 ( 2010) 01 - 0166 - 04
计 算 机 仿 真
2010年 1月
基于聚类分析的综合神经网络集成算法
齐新战 1 ,刘丙杰 2 ,冀海燕 2
(1. 海军潜艇学院作战指挥系 ,山东 青岛 266071; 2. 海军潜艇学院导弹兵器系 ,山东 青岛 266071)
一 [10 ] 。但是 FCM 算法也有其自身的缺点 ,文献 [ 10 ]深入研
究了 FCM 算法的缺陷 ,主要是对噪声数据敏感 ,其主要原因
是聚类中心计算采用了最简单的均值计算 :
N
∑ x
=
1 N
xi
i =1
(1)
当有噪声或游离值时 , 聚类中心会发生改变 。由于中位
数对噪声和游离值的干扰不敏感 ,本文采用样本的中位数表
示聚类中心 。聚类算法采用 FCM 算法 。
假设待分类的样本集合为 X = { ( x1 , d1 ) , ( x2 , d2 ) , …, ( xn , dn ) } ,其中 xi表示输入 , di表示输出 , n为样本数量 。因为 神经网络处理的是输入数据 , 所以仅仅对样本的输入聚类 。
输入样本 的 每 个 元 素 由 一 组 特 征 表 示 xk = { xk1 , xk2 , …, xkm } , m 为特征数量 , 通常情况下 , m 和神经网络的输入层神 经元个数相同 。FCM 算法具体步骤如下 :
1) 数据的标准化 。有标准差标准化和极差标准化两种方
法 [11 ] ,本文采用极差标准化 :
xij
= xij - xj Rj
(2)
Xj (n
+ 1) , 2
n
is
odd
xj =
(3)
xj
= Xj (
n ), n 2
is even
Rj
=
m ax
0 < i≤n
(
xij
)
-
m in
0 < i≤n
(
xij
k
∑ d iff ( d, cj ) =
| di - cji | , 0 < j < m
(7)
i =1
集成权值为 :
Wj =
d iff ( d, cj )
m
,0 < j <m
(8)
∑d iff ( d, cj )
j=1
m
∑ 满足 : w i > 0, w j = 1。 j=1
假设网络 j的输出为 V j,则集成结果为 :
收稿日期 : 2008 - 10 - 01 修回日期 : 2008 - 10 - 30
— 166 —
经网络的方法进行改进 。李凯等 [2 ]以及李国正等 [3 ]提出基 于聚类技术的选择性 NNE算法 ,该算法通过计算个体神经 网络之间的差异度对神经网络进行聚类 ,剔除相关神经网 络 ,减小 NNE规模 ,实验表明这种算法是可行的 。M d. 等 [4 ] 提出一种新的集成算法 CNNE,该算法首先建立一个较小的 NN E,然后通过增加个体神经网络隐含层神经元及增加个体 神经网络来创建最优的网络结构 。W ang[5 ]通过增加一个偏 差对 Zhou[1 ]的算法进行了改进 ,在一定程度上提高了 NNE 的精度 。 Pitoyo[6 ]提出了一种从不完全样本中学习的自适应 NNE算法 ,该算法通过消除不正确样本达到提高神经网络精 度的目的 。 Yao[7 ]提出一种用进化计算方法调整权值的 NNE 算法 。
本文设计了一个综合神经网络集成算法 InNNE。该算 法首先利用聚类分析技术将样本分类 ,对不同类别的样本采 用不同的个体神经网络训练 ,个体神经网络的数目等于样本 类别数目 。这样可以达到不同的神经网络学习不同类的样 本 ,可以提高神经网络个体之间的差异性 [8 ] ,从而提高 NNE 的泛化能力 。NNE中的个体神经网络学习的样本不一样 ,对 一个问题的不同侧面的认识能力也不一样 ,所以对于不同的 输入数据 ,个体神经网络的处理能力是不同的 。固定的 NNE 权值可能会降低某些神经网络个体的性能 ,从而导致整体 NNE性能下降 。 InNNE根据输入数据与样本类别之间的相 关程度自适应调整集成权值 ,这样可以提高 NNE 的精度 。 文献 [ 2, 3 ]中也将聚类分析技术应用于 NNE,所不同的是 , 文献 [ 2, 3 ]用聚类技术对个体神经网络进行聚类 ,选择差异 度较大的神经网络作为集成网络的个体 ,网络集成权值还是 固定的 ,而且没有研究神经网络生成算法 。
An In tegra ted Neura l Net work En sem ble A lgor ithm Ba sed on C luster ing Technology
Q I X in - zhan1 , L IU B ing - jie2 , J I Hai - yan2
(1. Commd. Dep t. Navy Submarine Academy, Q ingdao Shandong 266071, China; 2. M issile Dep t. Navy Submarine Academy, Q ingdao Shandong 266071, China )
2 样本聚类
所谓聚类就是将物理或抽象的集合分组成相似对象组
成的多个类的过程 ,使得同一类中对象间的相似度最大化 , 不同类中的对象间的相似度最小化 [9 ] 。本文将利用模糊聚
类分析对样本分类 , FCM ( Fuzzy C - means) 算法是模糊聚类
分析中最主要的一个 ,其以被证明的最有效的聚类方法之
1 引言
由于神经网络集成 (Neural Network Ensemble, NNE) 在 泛化 能 力 上 的 优 良 性 能 以 及 精 度 的 大 幅 提 高 , NNE 自 从 1990年被提出以来 ,得到了众多学者的广泛研究 。NNE研 究主要集中在三个方面 :如何生成个体神经网络 ,如何集成 个体神经网络以及如何确定 NNE的结构 。 Zhou[1 ]提出了一 种基于遗传算法的选择性 NNE, GASEN , GASEN 利用遗传算 法选择差异度大的神经网络 ,而不是将所有的个体神经网络 都集成 。实验表明这种算法泛化能力和精度都高于普通算 法如 Boosting和 Bagging。但是该算法并没有对产生个体神
假设样本被分为 m 类 , 分别为 X1 , X2 , …, Xm , 其中心为 c1 , c2 , …cm ,每一个中心的特征为 ci1 , ci2 , …cik , 注意 , 这里使 用的中心特征值是同一类中对象各个特征的中位数 , 而不是 经过标准化以后的数据 ,这样可以减少游离数据对特征中心 的影响 。输入数据为 d = { d1 , d2 , …, dk } , d与各个每一类的 距离为 :
摘要 :研究神经网络集成是一种有效实用的分类方法 ,权值是影响神经网络集成性能的重要因素 。为了克服神经网络集成 固定权值的缺陷 ,提出一种基于聚类分析的综合神经网络集成算法 。算法首先将样本分类 ,每类样本中加入其他样本类一 定数量的中心样本 ,不同的神经网络学习不同类的样本 。根据输入数据与样本类别之间的相关程度自适应调整集成权值 。 算法不仅用于自适应调整集成权值 ,而且是一种产生个体神经网络的训练方法 。四个数据集上的仿真试验证实了算法的有 效性 。 关键词 :神经网络集成 ;聚类分析 ;泛化性能 中图分类号 : TP181 文献标识码 : A
)
(4)
2) 求样本之间的模糊相似矩阵 ,有相关系数法和距离表
示法等 ,本文采用后者产生相似矩阵 :
1 d12 … d1 n1… NhomakorabeaD=
(5)
1 dn - 1, 1
1
m
∑ dij =
～
～
| x ik - x jk |
(6)
k =1
D 为对称矩阵 ,其中 dij = dji , dii = 1。
3) 模糊相似矩阵 D ’的形成 。由于 D 仅仅满足自反性和
m
∑ V =
w jV i
(9)
j=1
算法的具体步骤如下 :
ABSTRACT:D ifferent component neural networks (NN s) in an ensemble in which different training sets have differ2 ent performance for the same input data. The weights of an ensemble impact greatly on the performance of ensemble. The fixed weights may weaken the performance of some component NN s which can have better performance and lower weights, An Integrated neural network ensemble ( InNNE) is p roposed in the paper, which is an integrated ensemble algorithm not only for dynam ically adjusting weights of an ensemble, but also for generating component NN s based on clustering technology. InNNE classifies the training set into different training subsets w ith clustering technology, which are used to train different component NN s. The weights of an ensemble are adjusted by the correlation of input data and the center of different training subsets. InNNE can increase the diversity of component NN s and decrease generalization error of ensemble. The paper p rovides both the analytical and experimental evidence to support the no2 vel algorithm. KEYW O RD S:Neural network ensemble; Clustering analysis; Generalization performance