分类器融合中模糊积分理论研究进展

收稿日期:2007-01-25　基金项目:国家自然科学基金重点项目(60234030)资助;国家基础研究项目(A 1420060159)资助;国家自然科学基金青年基金项目(60404021)资助.　作者简介:孔志周,男,1974年生,博士研究生,讲师,研究方向为信息融合、数据挖掘;蔡自兴,男,1938年生,教授,博士生导师,C CF 会员,研究方向为人工智能、机器人学、智能控制等.分类器融合中模糊积分理论研究进展孔志周1,2,蔡自兴11(中南大学信息科学与工程学院智能系统与软件研究所,湖南长沙410083)2(湖南大学统计学院,湖南长沙410079)E -mail :zh izk @yahoo .com .cn摘　要:将模糊积分理论与多分类器融合方法中其他两种研究热点方法进行了比较.介绍模糊积分的基本模型及通用求解过程.讨论目前分类器融合领域模糊积分理论的几个研究方向的发展现状和面临的问题,分析模糊积分理论基本模型和几种扩展模型的求解算法.提出了分类器融合领域模糊积分理论未来理论和应用研究中的开放课题.关键词:分类器融合;模糊积分;模糊测度;模糊密度中图分类号:T P 18 文献标识码:A 文章编号:1000-1220(2008)06-1093-06Prospect of Research in Fuzzy Integral for Classifiers 'FusionK ON G Zhi -zhou 1,2,CAI Zi -xing 11(Center of I ntellige nt System and S of tw are ,Colleg e of Inf ormation S cienc e and E ngineer ,Central S outh Univ ersity ,Changsha 410083,China )2(Colleg e o f Statistics ,H unan Univ er sity ,Chang sha 410079,China )Abstract :F uzzy Integ ra l is compared with o ther tw o methods w hich ar e ho t in study ing of classifiers'fusio n.T he st andar d mod-el o f F uzzy I nt eg r al and its g eneral solut ion ar e intro duced .T hen ,t he stat e o f the a rt and t he challenge pro blems in Fuzzy Inte-gr al resear ch field are discussed.T he algo r ithms for st andar d and ex tended F uzzy Integ ra l mo dels a re briefly analy zed.F inally ,the open area s o f theor etic and applied r esearch in F uzzy I nteg r al ar e bro ught fo rw ar d .Key words :fusion of classifier s;fuzzy integr al;fuzzy measur e;fuzzy densit y1　引　言在数据挖掘、机器人导航控制、自动目标识别(包括人脸识别)、多目标跟踪、机器学习等领域中,一个普遍关心的核心问题是如何借助某种方法,降低分类的不确定性[1].不确定性的降低对提高分类精度、鲁棒性,高效实现分类任务将是非常重要的,尤其是在机器人导航控制、自动目标识别、多目标跟踪中.分类不确定的研究主要分两个方向:改进已有理论或寻找新的方法;信息融合方法.从计算简单和概念清晰来看,信息融合方法自然成为人们首先追寻的方向.信息融合方法在多分类器中应用,即多分类器融合,避开了单个分类器所能达到性能的限制,通过适当的融合方法将相应的表现良好的分类器输出进行融合,这样就可以利用多种分类方法之间具有的互补性,产生精确度更高、性能更好的结果,从而降低分类的不确定性.模糊积分是与勒贝格积分相类似的新的积分理论,是定义在模糊测度上的非线性函数,利用了非负单调的集合函数,即模糊测度来取代加权值,综合考虑了多个分类器相互作用,从多个分类器的一致和相互冲突的结果中找出最大一致性的结果,是在不确定条件下进行强有力推理的方法.模糊积分是近些年发展起来的一种信息融合方法,在信号处理、目标识别与跟踪、机器人导航、文本挖掘等许多领域有广泛应用,如[2-6].它为证据的融合找到了一种非线性方法,使得对融合证据的独立性要求放宽,只要求单调性,不要求可加性.基于模糊积分,使得被融合信息各成分之间的关系得到充分体现,突出了问题的本质.模糊积分的主要应用包括,计算机视觉[2];目标检测[3];语言识别[4];目标识别[5];综合评估[6];手写体识别[7];EEG 等医学数据处理等.由于分类问题具有不确定性,如何在开放、动态的环境下实现高效、可信的不确定知识的共享与利用,正成为A I 的研究热点[1].2　模糊积分与其他方法的比较2.1　分类器融合方法研究进展多分类器融合方法是目前信息融合的热点[8],旨在利用各分类器检测的信息互补性和不同的处理方法以获得对分类对象的全面检测信息,从而提高分类精度和可靠性.综合D ymit r R ut a 等[9]、L udm ila I.K uncheva 等[10]关于分类器融合方法的分类,可分为以下四类:训练方法、单分类标号方法、类排序方法、软输出融合方法等,如图1(见下页).分类器融合的根本目的在于利用分类器之间的互补性来降低分类的不确定性.随着分类器不确定性研究的深入,开始由基于数据的方法向基于知识的方法转变[11,12].以模糊积分小型微型计算机系统Jour nal o f Chinese Computer Systems 2008年6月第6期V o l .29N o .62008理论[13-16]、贝叶斯推理[17]、证据推理[18-19]为代表的智能化融合方法在分类器融合的研究中占有很大比重,体现了其在多分类器融合领域的独特优势.[11,12]更明确提出了模糊积分(F uzzy Integ ra l)、证据推理(Dempst er-shaffer Co mbinatio n)、贝叶斯推理(A v erag e Bayes Combination )三种方法是今后发展的趋势.2.2　模糊积分的优势基于模糊集理论的模糊积分融合方法可以很好的描述由不确定现象,使数学模型更贴近实际情况,因而在上述三种热点研究方法中占有独特的优势.图1　分类器融合方法分类图F ig.1　M ethods o f classifier fusio n与模糊积分方法相比,贝叶斯推理需要先验信息,而这种先验信息通常难以获得,或者即使获得,也不够准确;当有多个可能的假设和多个条件相关事件时,计算复杂,要求对立的假设彼此不相容,无法分配总的不确定性.尤其重要的是,贝叶斯推理方法也未考虑到分类器的可靠性问题.与模糊积分方法相比,D-S 证据推理虽然不需要先验信息,但要求所使用的证据必须相互独立,这就使问题复杂化,而且更为致命的问题是计算复杂度随着测量维数的增加以指数形式递增,容易出现“维数灾”.同样,D-S 证据推理也未考虑到分类器的可靠性问题.而基于模糊集理论的模糊积分融合方法可以很好的表达和处理不确定性问题.该方法通过综合考虑客观证据与人的主观评判,将主客观之间的信息进行最佳的匹配,由此获得问题的最优解,既避免了需要给定先验信息,又充分考虑分类器间差异导致的不同可靠性.模糊积分作为一种基于模糊密度的非线性决策融合方法,它不仅合成各分类器提供的客观结果,还考虑到分类器本身在融合过程中的重要程度.它通过定义模糊密度可得到单个分类器或分类器集合的任意子集在融合系统中的重要程度,积分过程转化为分类器所提供的客观结果关于分类器重要程度的积分.它能够很好的体现分类器之间的交互作用,用它作为融合工具已在许多应用领域取得较好的效果.从信息融合的角度来看,模糊积分方法提供了一种基于信源(分类器)重要性程度的信息合成方法.它在决策级融合中起到非常重要的作用.3　有关概念和基本模型3.1　基本模糊积分模型设X =(x 1,x 2,…,x n )是n 个分类器、T =(t 1,t 2,…,t m )是m 个类别,s →(i )=(s 1,s 2,…,s m )T 是记录I 的m 维源信号向量,分量间是相互独立的,则s →(i )的模糊密度可以表示为P (s →)=(p(s 1),p(s 2),…,p(s m )).设W →(i )=(w 1,w 2,…,w n )T 是记录I 的n 维观测信号向量,其每个观测信号分量都是m 个独立的源信号的线性组合,即W →(i )=A ×s →(i ),这里A 是一个未知的n ×m 混合矩阵,此时W →(i)的各个分量之间不再相互独立.模糊积分的目标是找到一个对W →(i )做线性变换的m ×n 矩阵G ,使得W →(i )经变换后得到的新向量y →(i )=(y 1,y 2,…,y m )T 的各个分量之间尽可能的独立,即y →(i )=G ×w →(i )为源信号向量s →(i )的最佳估计.3.2　基本模糊测度模糊测度有很多种具有特殊构造的模糊测度类型,比如可能性测度,必要性测度,信任度,似真度和g 模糊测度等等,这里主要介绍一下基本的、也是在融合中应用较多的g 模糊测度.设 A ,B ∈X ,若A ∩B = ,则g (A ∪B )=g (A )+g (A )+ g (A )g (B ).设有限集合A i =(x 1,x 2,…,x i ),模糊密度,即单点集上的模糊测度值为g i =g ({x i }),则g (A i )可由下式递归求得: g (A 1)=g ({x 1})=g 1(1) g (A i )=g i +g (A i -1)+ g i g (A i -1)(2)其中 >-1且 ≠0可以按照下式确定: +1=ni =1(1+ g i )(3)条件 >-1且 ≠0导致了方程3具有唯一确定的解.3.3　模糊积分的通用求解过程一般认为,求解模糊积分的通用步骤包括3步[20]: 基信息的生成,如可采用Bagg ing 、Boo st ing 及最近的DECORA T E (diver se ensemble cr eation by o ppositio nal rela-beling o f ar tificial tr aining ex ample)等方法.选择或定义模糊测度类型,建立模糊密度函数,该函数可根据初始密度动态选择基信息,计算模糊测度.该函数可采取某种最优化方法来进行学习.用某种积分方法组合模糊测度信息,计算融合结果.4　模糊积分的已有算法4.1　模糊积分相关的现状及研究小组1094 小　型　微　型　计　算　机　系　统 2008年目前,在国际上有专门针对多分类器融合的国际学术会议:从2000年开始每年召开一次的国际会议M CS(M ultiple Classifier Sy stems)至今已开过6届,论文均被Spr inger出版;从1998年开始的由美国陆军研究部、IEEE信号处理学会等多个I EEE学会共同发起每年召开一次的信息融合国际会议ISIF,至今已开过9届.近年来,在神经网络、模糊信息处理、信号处理、机器学习、人工智能、数据挖掘、模式识别等领域许多顶尖的国际杂志都可看到关于模糊积分理论的论文.表1　有代表性的研究机构和专家表T able1　R epr esent ativ e aca demic institutio ns and exper ts 研究机构专　家英国萨里大学J.Kittler日本东京工业大学M ich io Su geno韩国延世大学Sung-Bae Cho;Kim,J.H加拿大W indsor大学M ich el Grab isch,Jean-M arie Nicolas美国密苏里大学哥伦比亚分校　M.Ahmadi,M.Sid Ahmed,M.S hrid-h ar,J.Cao,James M.Keller,Jeffrey Os born,S ans anee Auephanw iriyak ul法国巴黎大学Chris toph e Lab reuche,M ich el Grab isch中国南京大学、河北大学、国防科学技术大学周志华、王熙照、庄钊文　4.2　基本模糊积分方法4.2.1　Sug eno模糊积分设一可测空间(X, ),g为X上的一个模糊测度,且设f: X→[0,1]为定义在集合X上的非负实值可测函数,A ,则f(x)相对于模糊测度g在A上的Sugeno模糊积分为:∫f(x) g(・)=sup inf[a,g(A∩H a)](4)其中,H a={x f(x)≥a}.当X为有限集时的Sugeno模糊积分可计算如下:设有限集合A i=(x1,x2,…,x i),并且满足f(x1)≥f(x2)≥…f(x n),则有∫f(x) g(・)=max ni=1min[f(x i),g(H i)](5)其中,H i={x i,x i+1,…,x n}.在模式识别中,函数f k(x i)可看作是目标属于类k的局部估计,给定与一组特征相关联的分类器x i,Sugeno模糊积分可由公式(5)计算出更高分辨率的多分类器融合结果.4.2.2　Choquet模糊积分与Sug eno模糊积分完全忽视次要因素的影响不同,Cho-quet模糊积分考虑了各种影响因素.设g为X上的一个模糊测度,且设f:X→[0,1]为定义在集合X上的非负实值可测函数,并且满足f(x1)≥f(x2)≥…f (x n),则f(x)相对于g的Cho quet积分为:∫f(x) g(・)=∑ni=1g(A i)(f(x i)-f(x i+1))(6)其中f(x n+1)=0,g (A i)由公式(1)、(2)、(3)求得.4.2.3　W eber模糊积分Weber模糊积分是在Sug eno模糊积分基础上的推广与拓展,是关于可分解测度的积分.应用较多的是K eller和T ahani提出的S分解测度.给定一个反三角模S,则S分解测度g具有以下属性:若A ∩B= ,则g(A∪B)=S(g(A),g(B)).参数化反三角模t-co nor m:S(x,y)=(x p+y p-x p y p)1/p　p>0(7) T(x,y)=1-S((1-x),(1-y))(8)则Weber模糊积分可计算为:∫f(x) g(・)=∪i[T(f(x i),g({x1,…,x n}))](9) 4.3　扩展模糊积分方法正是由于模糊积分解决不确定问题方面的独特优势,很多人对基本模糊积分进行了扩展,可见综述文献[21],主要的扩展方法有以下两种.4.3.1　广义Choquet模糊积分广义Choquet模糊积分是建立在广义模糊测度空间上,并将这种积分整体看成可测空间上取值于模糊数(值)的集函数.设设一可测空间(X, ),g为X上的一个模糊测度,且设f:X→[0,1]为定义在集合X上的凸函数,即x,y∈[0,1]和0 < <1,有:f( x+(1- )y)≥ f(x)+(1- )f(y)(10)令[f(x)] =[[f(x)] ,[f(x)] ],其中0≤ ≤1,则f(x)相对于模糊测度g的广义Choquet模糊积分为:∫f(x) g(・)=∪∈[0,1][∫f(x) g(・)] (11)其中:[∫f(x) g(・)] =[∫[f(x)] g(・),∫[f(x)] g(・)] 4.3.2　格值模糊积分在数值模糊测度与模糊积分中,所涉及到的数值是取值于[0,1]或[0,∞],而二者均为特殊的完备格,格值模糊积分是把模糊测度取值于格,就得到了格值模糊积分.它采用格上的自然并“∨”与交“∧”运算,是Sug eno模糊积分的推广.设 是一个Fuzzy -代数, 为 上的模糊测度,映射T:D →[0,∞]称为一个广义反三角模.f为非负可测函数,A～∈ ,则f在A～上的格值模糊积分被定义为: ∫A～f d n=inf f≤S Q A～(S)(12)其中,S=∑i=1a i x A～,a in≠a j(i≠j),A～i∩A～j= ～,∪ni=1A～i=X,Q A～(S)=∧i=1T[a i, (A～∩A～c i)].而特征函数x A～可计算为: x A～(x)=0 A～(x)=I1 A～(x)=x∈X4.4　模糊积分已有解法在模糊积分融合求解中,主要存在三个关键问题:一是如何定义适当的模糊测度来对高不确定性、高冲突性信息进行度量;一是如何定义适当的模糊密度来更好的表现各分类器自身在融合系统中具有的重要程度;一是如何对分类器间的类间关系进行模糊测度度量,以便进行融合结构优化.4.4.1　模糊测度10956期 孔志周等:分类器融合中模糊积分理论研究进展 模糊测度可以很好地刻画事件的不确定性.现有的主要及新的模糊测度:g 模糊测度:Sug eno于1974年提出的基本模糊测度-g 模糊测度.在2.2节业已描述.Dy mitr Ruta等[9]于2000年指出,当 >0,g 模糊测度蜕变为信任度(belief); ≤0,g 模糊测度蜕变为似真度(plausibility).可能性(po ssible)与必要性(necessar y)测度:Z adeh分别于1978年、1979年提出了可能性(possible)与必要性(nec-essar y)测度.严格来说,可能性(po ssible)与必要性(necessa ry)测度应该是信任度(belief)与似真度(plausibilit y)的特例.S分解测度:W eber于1984年提出了.S分解测度在4.2.3节业已描述.S分解测度的最大化算子就是可能性测度.确切性(specificity)测度:Y ag er于1990年首次提出,并分别于1991年、1998年逐步完善.可信性(cr edibility)测度:刘宝碇于2002年首次提出.可信性测度重要性测度的区间估计.当然,近几年也有人研究了一般化的模糊测度,如T ril-las、Alsina于1999年提出的F uzzy-M easur e等.目前,在模糊积分融合领域,高不确定性、高冲突性信息的测度和度量是一个急待解决的问题.但目前还没有见到有关此方面的研究论述.一个可借鉴的研究方向是Jean Dezer t[22]于2002年提出的DSmT新理论,该理论利用可能性(possible)测度来对冲突性信息进行度量,取得了较好的效果.4.4.2　模糊测度中的模糊密度优化计算模糊测度时,常常需要先建立模糊密度函数,以便模糊密度,过去常常采用的是静态的模糊密度,近几年集中于动态模糊密度的研究.由于动态模糊密度没有明确的普适解,很多人提出了使用神经网络方法、规化方法、启发式方法、随机搜索方法、训练方法来动态确定模糊密度.现有的模糊密度优化的主要解法及改进有:4.4.2.1　神经网络方法:王熙照等[23]采用神经网络确定模糊密度,通过实验证明其有效性.然而神经网络的泛化能力对融合系统的性能有很直接的影响,因此,选择合适的神经网络是该方法的关键问题之一.另外,训练神经网络时的期望输出确定方法对融合系统的性能也有影响.同时,还通过实验得出结论:在基于Sug eno积分的多分类器融合系统中忽略模糊密度的单调性后的分类正确率不低于忽略前的分类正确率.当目标类别多时会使分类器的精度和稳健性大受影响,难以保证其可靠性的.4.4.2.2　规化方法:如Gr abisch等[24]提出了确定模糊密度的两种规划模型,一种是线性规划模型,一种是二次规划模型,并在[25]中对二次规划模型进行了推广;王熙照等[26]采用组合线性规划确定模糊密度.具体步骤为,先利用线性规划来学习模糊密度,其次将第一阶段的线性规划转化为二次规划,再来确定一个模糊密度,并将融合精度进行比较.并通过实验得出结论:二次规划确定的模糊密度的融合精度高于基于线性规划确定的模糊密度的融合精度,但基于g 模糊密度的融合精度性能非常不稳定,有时甚至会降低融合精度,无法保证模糊密度的单调性.4.4.2.3　启发式方法:James M.K eller等[27]、姚明海等[28]分别给出了基于混淆矩阵的两种不同的确定模糊密度方法.王熙照等[16]采用了一种启发式方法确定模糊密度.通过实验认为这种方法虽然在一定程度上降低了分类的不确定性与其他确定模糊密度的方法相比,并没有体现出显著的优势.并认为:研究分类器的多种不确定性对合理确定模糊密度、以及如何将这些不确定性进行结合以提高融合系统的性能是一个尚未得到很好解决的问题,可以作为以后继续研究的内容.4.4.2.4　随机搜索方法:James M.K eller等于1997年提出了利用遗传算法用于模糊密度的确定.在此基础上,刘汝杰等[29]、王震源等[30]进行了进一步扩展和应用.4.4.2.5　强化学习方法:James M.K eller,Jeffrey O sbor n[31]于1996年提出R ewar d/Punishment确定模糊密度.4.4.3　类间关系度量一般地,类间关系度量可采取统计方法度量.如,通过计算两两分类器间的互信息量,确定分类器之间相互依赖的程度;通过kappa统计,以 -err or图表示分类器之间的差异,等等.但统计类方法含有较大的假设和近似,在分类器受噪声影响情况下不能进行恰当的度量.并且,也不能很好地反映不确定性中的模糊性、粗糙性.目前此方面的研究较少,现有的主要方向有:4.4.3.1　g 模糊测度中的 因子:王熙照等[32]通过理论证明的方式,对三个分类器二类别问题进行了分析,试图通过对 g (模糊密度累加和)来判定分类器间的相互关系,进行了有益的尝试.4.4.3.2　条件(conditio nal)测度:L.Gar mendia等[33]近几年研究 -T-conditio na lity和 -T-inconditio nality来进行模糊关系度量.5　待完善的研究领域5.1　模糊积分方法的融合理论诠释问题尽管模糊积分在融合多分类器信息方面有着广泛应用,但是,目前还没有提供一个圆满的理论解释,也缺乏不同模糊积分融合方法之间的比较,没有发掘各种模糊积分方法内在的相关成分.模糊积分融合方法背后隐藏的实质的研究必将极大推动神经网络、模糊信息处理、信号处理、机器学习、人工智能、数据挖掘、模式识别等领域的发展.5.2　实时动态模糊密度的理论指导方法在分类器融合中,代表各分类器的重要性的动态模糊密度的确定是非常重要的.尽管目前出现了诸如神经网络方法、规化方法、启发式方法、随机搜索方法、强化学习方法等优化方法,但效果总体上都不是很理想,尤其是在高噪声、有限训练数据或高维样本、高类别数的情况下.当然,更缺乏这些方1096 小　型　微　型　计　算　机　系　统 2008年法相互间的比较.总之,实时动态模糊密度优化的研究与应用必将推动基于优化方法的一套完备理论指导体系的形成.5.3　基分类器性质不同的影响研究分类器融合中一个显著的领域是基分类器是异质、同质的.异质有两种形式:一是指基分类器输入训练数据属性的不同而形成的异质,如两个决策树,一个输入属性a1…a m,一个输入属性a m+1…a n;一是指基分类器个体类型不同,如神经网络和贝叶斯.前者融合方式在实践中应用较多,但有关如何选择属性的方法却研究很少;后者融合方式在理论上基本上处于空白,难度也很大,但前景非常广阔,也更有意义.5.4　基分类器的类间关系度量基分类器之间的类间关系是融合计算获得更好效果的前提,也是基分类器生成和融合计算中选择的关键问题.目前,在一个具体问题求解过程中参与融合的分类器数目和类型的生成与筛选仍无确定的方法.而实时参与融合分类器过多或过少都会给整体的分类性能带来不好的影响.若能够对基分类器之间的类间关系进行很好度量,对新的融合方法和集成学习的进一步发展都将带来很大的益处.今后的研究难点在于实现对分类器间的可分性度量(如前述 因子、条件测度等),并建立目标函数,当该函数取极值时分类器间的可分性最大.5.5　有序分类的模糊积分融合有序分类问题是一个非常重要的研究领域,也是应用前景非常广阔的领域.如各种信用评级、综合评分等.它与通常的无序分类在应用上有些不同,类别号含有序列因素.在此领域采用的一般方法是L o gist ic回归.有序分类问题在利用模糊积分融合方法来分类时,对不确定性度量更加敏感.谢禹等[34]于2004年将Sugeno模糊积分应用于有序分类问题,但缺乏对不确定性(尤其是模糊性)的完善度量.5.6　高冲突信息、高不确定性的模糊积分融合方法对高冲突信息、高不确定性信息的度量和处理是近几年研究的热点和难点问题.目前已经成为许多应用领域的瓶颈问题.若各信息源中含有高冲突信息,则模糊积分融合后的结果将会矛盾信息基本忽略,从而引出不合常理的结果.Jean Dezert[22]于2002年提出解决这种问题的新理论,主要的创新就是在框架中加入和保留冲突信息.因此,如何在模糊积分融合时保留和恰当积分将是今后必须解决的问题.同样,若各信息源中含有高不确定性信息,则模糊积分融合后的结果将会呈现非常高的不确定性.对此类问题的研究必将极大提高分类的性能,提高在不确定、不完备环境中的识别能力.目前对高不确定性信息、高冲突信息的一个可行的研究方向是先进行适当度量,然后利用多阶段选择机制进行选择,最后进行模糊积分.至于度量方法可通过比较基于几何原理的相似度度量、基于集合的相似度度量、基于匹配的相似度度量三种方法,确定何种度量适用于何种模糊积分情况;多阶段选择机制可借鉴[35-38]的研究成果.6　结　论模糊积分理论是一种多用途的信息融合方法.它的应用包括等.基于模糊积分方法的分类器融合的广泛应用促使这个领域研究的流行,但是还存在许多需要解决的问题.我们将研究高不确定性信息、高冲突信息的度量和处理,进而建立新的求解模型和算法.另外,拟将Sug eno模糊积分、Cho quet模糊积分和Weber模糊积分分别应用于移动机器人目标识别;将Cho quet模糊积分应用于有序分类问题等.References:[1]Li De-yi,Du Yi.Uncertainty artificial intellig ence[M].Beijing:National Defens e In dustrial Publis hing House,2005,248-248. [2]T ah ani,Hos sein.M ultiple class ifier fu sion usin g the fu zzy inte-gral[D].U nivers ity of M iss ou ri-Colum bia,M ay1991.[3]Hocaog lu,Ali Kok sai.Choquet integral-based morph ological op-erator s with applications to object d etection and information fu-sion[D].U nivers ity of M iss ouri-Colum bia,Decem ber2000. [4]Auephanw iriyak ul,s ans an ee.A study of linguistic pattern recog-nition and s ens or fusion[D].U nivers ity of M issou ri-Columb ia,Augu est2000.[5]Liu Yong-xiang,Li Xiang,Zhuang Zhao-w en.T arget iden tifica-tion of decision layer information fu sion based on choquet fuzzy integral[J].Journal of Electric In form ation,2003,25(5):1175-1199.[6]Li Yan-peng,Li Xiang,Zh uan g Zhao-w en.T arget identificationeffect evalu ation based on choquet fuzz y integral[J].Jou rnal of Sys tematic Imitation,2005,17(5):695-699.[7]Beiraghi S,Ahmadi M,S hridhar M,et al.Application of integralsin fusion of classifiers for low error rate handw ritten numerals recognition[A].Pattern Recognition[C].Proceed ings15th In-ternational Conference on,2000,2,487-490.[8]Predd J B,Ku lkarni S R,Poor H V,et al.Scalab le alg or ith ms foraggregating dis parate forecasts of probability[C].Proceed ings of th e Ninth In ternation al Conference on In form ation Fusion,Florence,Italy,2006,1-8.[9]Dymitr Ruta,Bogdan Gabr ys.An overview of clas sifier fusionmethods[J].Computing and Information S ystems,2000,7(1):1-10.[10]L udmila I,Kuncheva J ames C.Bezdek Rob ert,et al.Decisiontemplates for multiple clas sifier fusion:an ex perim ental com-parison[J].Pattern Recognition,2001,34(2):299-314. [11]Dymitr Ruta,Bogdan Gabrys.An overview of clas sifier fusionm ethods[J].Com puting and Information S ystem s,2000,7(1):1-10.[12]Xie Hua,Xia Shu n-ren,Zh an g Zh an-chao.Study development ofmu lti-class ifier fusion m ethods in medical image identification [J].Journal of International Biomedicine Engineer ing,2006,29(3):152-157.[13]Ronald M ahler.Random sets:u nification an d com putation forinformation fus ion-a retrospective as sess ment[C].Proceed ings10976期 孔志周等:分类器融合中模糊积分理论研究进展 of the7th Intern ational Inform ation Fusion Confer ence.Stock-h olm,Sw eden:ISIF.2004,1,1-20.[14]Li Xue-fei,Feng Hui-min,Huang Dong-m ei,et al.Some aspectsof clas sifier fus ion based on fuzzy integrals[C].Proceedings of the Fourth Internation al Conference on M achin e L earning and Cybernetics,Guang zhou,2005,18-21.[15]Wang Xi-zh ao,Chen J un-fen.M ultiple n eural netw orks fusionmodel bas ed on choquet fuzzy in tegral[C].Proceedings of the Th ird Internation al Confer ence on M achine L earning an d C y-bern etics.S hanghai,2004,4,2024-2027.[16]Wang X Z,W ang X J.A new methodology for determin ing fuzz ydens ities in th e fus ion model based on fuzz y integr al[C].Pro-ceedings of the Th ird Intern ational Confer ence on M achine Learning and C ybernetics,2004,4,2028-2031.[17]Stefan Arnb or g.Royal institute of technology r ob ust bayes ian-ism:relation to evidence theory[J].Journal of A dvances in In-form ation Fusion,2006,1(1):63-74.[18]S hun Huai-jiang,Hu Zhon g-shang,Yang J ing-yu.Stud y on mul-ti-clas sifier fus ion meth ods b as ed on evidence theory[J].Journ al of Computer.2001,24(3):231-235.[19]Dai Guang-zh on g,Pan Quan,Zh ang Shang-ying,et al.T he de-velopm ent and ex isting problems of evidence reas oning[J].Con-trol Theory and Application.1999,16(4):465-469.[20]M ichel Grabis ch,Jean-M arie Nicolas.Clas sification by fu zzy in-tegral:per formance an d tests[J].Fuz zy S ets and Sys tems, 1994,65:255-271.[21]Zhang Dei-li,Guo Cai-mei,Wu Cong-xin.Developm ent of fuzz yintegral th eory[J].Fuzzy S ystem and M ath ematics.2003,17(4):1-10.[22]J ean Dezert.Foundations for a n ew th eory ofplaus ible and para-doxical reasoning[J].Information&Security,2002,9,90-95. [23]Wang Xi-zhao,Feng Hui-min.Nonnegative set fun ctions inmultiple class ifier fu sion[C].Proceed ings of the Thir d Interna-tional Confer ence on M achin e Learn ingan d Cybern etics,2004,4:2020-2023.[24]Grabisch M,Sugeno M.M ulti-attribu te clas sification us ing fuzz yin tegral[C].1s t IEEE Int.Conf.on Fuzz y S ystems,S an Diego,M arch8-12,1992:47-54.[25]M ichel Grabis ch,Jean-M arie Nicolas.Clas sification by fu zzy in-tegral:Performance and tes ts[J].Fu zzy S ets and Sys tems, 1994,65(3):255-271.[26]W ang Xi-zh ao,Chen Jun-fen.M u ltiple neural netw ork s fusionmodel based on choquet fuzzy integral[C].Pr oceedings of the T hird International Conference on M achine Learning and Cyber-netics.Shanghai,2004,4,2024-2027.[27]Jam es M Keller,Paul Gader,Hoss ein Tahani,et al.Advances infuz zy integration for pattern recognition[J].Fu zzy S ets and Sys-tems,1994,65(2-3):273-283.[28]Yao M in-hai,He T ong-neng.A multi-classifier fusion meth odbased on fuzz y integral[J].Journal of Zhejiang Indu strial Uni-ver sity,2002,30(2):156-159.[29]Liu Ru-jie,Yu ang Bao-zong,Tang Xiao-fang.A m ulti-clas sifierfus ion meth od of w hich the fuzzy density evaluation is realizedby genetic arith metic[J].J ou rnal of E lectrics,2002,30(1):145-147.[30]W ang Zhen-yuan,Kw ong-s ak Leung,Jia W ang.A genetic algo-rithm for determinin g n on additive s et fun ctions in infor mation fusion[J].Fuzzy Sets and Sys tems,1999,102(3):463-469. [31]J ames M.Keller,Jeffrey Os born.T raining the fuzzy integral[J].International Journal of Approxim ate Reas oning,1996,15(1):1-24.[32]M a Shu-h ua,W ang Xi-zhao.Fuzzy integral and its application inmu lti-class ification pr ob lem[D].Dis sertation of M aster,Hebei Un ivers ity.2004.[33]Gar mendia L,Salvador A,T rillas E,et al.On m easurin g -T-in-conditionality of fuzzy relations[J].Journal of Soft Computing-A Fusion of Foundations,M eth odologies and Ap plications,2005,9(3):164-171.[34]Xie Yu,Wang Ya-ling,Ling Hong-jin,et al.Study on enterpris ecredit grading method based on fuzz y integral[J].C hina S oft Scien ce,2004,9:145-149.[35]T ed E.S enator.M ulti-stage class ification[C].Proceedin gs ofthe Fifth IE EE In ternation al Conference on Data M inin g, ICDM’05:386-393.[36]H la Zouari,Laurent Heutte,Yves Lecou rtier.Controlling th edivers ity in clas sifier ens emb les through a m easure of agr eement [J].Pattern Recogn ition.2005,38(11):2195-2199.[37]Giorgio Giacinto,Fabio Roli.Dynam ic classifier selection[C].Proceedings of the First Intern ational W or kshop on multiple classifier s ystem s,Cagliar i,ITALIE,2001,177-189.[38]Zhou Zhi-Hua,Wu Jian-xin,Wei Tang.Ens emb ling neural net-w orks:many could be better than all[J].Ar tificial In telligence, 2002,137(1-2):239-263.附中文参考文献:[1]李德毅,杜　.不确定性人工智能[M].北京:国防工业出版社.2005,248-248.[5]刘永祥,黎　湘,庄钊文.基于Ch oquet模糊积分的决策层信息融合目标识别[J].电子信息学报,2003,25(5):1175-1199.[6]李彦鹏,黎　湘,庄钊文.基于Sugeno模糊积分的目标识别效果评估[J].系统仿真学报,2005,17(5):695-699.[12]谢　华,夏顺仁,张赞超.医学图像识别中多分类器融合方法的研究进展[J].国际生物医学工程杂志,2006,29(3):152-157. [18]孙怀江,胡钟山,杨静宇.基于证据理论的多分类器融合方法研究[J].计算机学报.2001,24(3):231-235.[19]戴冠中,潘　泉,张山鹰,等.证据推理的进展及存在问题[J].控制理论与应用.1999,16(4):465-469.[21]张德利,郭彩梅,吴从　.模糊积分论进展[J].模糊系统与数学.2003,17(4):1-10.[28]姚明海,何通能.一种基于模糊积分的多分类器联合方法[J].浙江工业大学学报,2002,30(2):156-159.[29]刘汝杰,袁保宗,唐晓芳.用遗传算法实现模糊密度赋值的一种多分类器融合算法[J].电子学报,2002,30(1):145-147.[32]马树华,王熙照.模糊积分及其在多分类问题中的应用[D].硕士论文,河北大学,2004.[34]谢　禹,王雅林,林洪进,等.基于模糊积分的企业信用评级方法研究[J].中国软科学,2004,9:145-149.1098 小　型　微　型　计　算　机　系　统 2008年。