基于NaiveMIDEA算法的模糊分类系统

！　！　＝　ＣＮ１２一ｌ３５２／Ｎ　实　验　室　科　学　ＬＡＢ０ＲＡＴ０ＲＹ　ＳＣＩＥＮＣＥ　第１６卷第２期２０１３年４月　Ｖｏ１．１６　Ｎｏ．２　Ａｐｒ．２０１３　

基于Ｎａ￣＇ｖｅ　ＭＩＤＥＡ算法的模糊分类系统　高小霞，霍纬纲　（中国民航大学计算机科学与技术学院，天津　３００３００）　

摘要：阐述了Ｎａｉｖｅ　ＭＩＤＥＡ分布估计算法的相关内容及多目标优化问题中的一些基本概念，提出了基于　Ｎａｉｖｅ　ＭＩＤＥＡ分布估计算法的模糊分类系统构建方法。通过在Ｉｒｉｓ，Ｐｉｍａ，Ｗｉｎｅ三个标准数据集的仿真实验表　明，该方法比基于遗传算法的模糊分类器在准确率和解释性方面更有效。　关键词：分布估计算法；Ｎａ＇ｆｖｅ　ＭＩＤＥＡ；模糊分类　中图分类号：ＴＰ３０１　文献标识码：Ｂ　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２—４３０５．２０１３．０２．０３９　

Ｆｕｚｚｙ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　Ｎａｉ＇ｖｅ　ＭＩＤＥＡ　ａｌｇｏｒｉｔｈｍ　

ＧＡＯ　Ｘｉａｏ—ｘｉａ，ＨＵＯ　Ｗｅｉ—ｇａｎｇ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｉｖｉｌ　Ａｖｉａｔｉｏｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎａ，Ｔｉａｎｊｉｎ　３００３００，　Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｅｌａｂｏｒａｔｅｄ　ｔｈｅ　ｃｏｎｔｅｎｔｓ　ｏｆ　Ｎａ＇ｉｖｅ　ＭＩＤＥＡ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ａｎｄ　ｔｈｅ　ｃｏｎｃｅｐｔｓ　ｏｆ　ｍｕｌｔｉ——ｏｂｊｅｃｔｉｖｅ　ｅｖｏｌｕｔｉｏｎａｒｙ　ｐｒｏｂｌｅｍ　ａｎｄ　ｐｒｏｐｏｓｅｄ　ｔｈｅ　ｆｕｚｚｙ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　Ｎａｉ＇ｖｅ　ＭＩＤＥＡ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｌｇｏｒｉｔｈｍ．Ｆｕｚｚｙ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　Ｎａｉ＇ｖｅ　ＭＩＤＥＡ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｓｉｍｕｌａｔｉｏｎ　ｅｘｐｅｒｉｍｅｎｔ　ｏｎ　Ｉｒｉｓ，Ｐｉｍａ，Ｗｉｎｅ　ｂｅｎｃｈｍａｒｋ　ｄａｔａｓｅｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｐｐｒｏａｃｈ　ｗａｓ　ｅｆｆｅｃｔｉｖｅ　ｔｈａｎ　ｔｈａｔ　ｂａｓｅｄ　ｏｎ　ｇｅｎｅｔｉｃ　ａｌｇｏ—　ｒｉｔｈｍ．　Ｋｅｙ　ｗｏｒｄｓ：ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｌｇｏｒｉｔｈｍ；Ｎａｉｖｅ　ＭＩＤＥＡ；ｆｕｚｚｙ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　

分布估计算法是在遗传算法的基础上发展起来　的一类优化算法…，结合了进化算法和统计学习的　知识，是当前进化计算领域的研究热点。在传统的　遗传算法中用种群表示优化问题的一组候选解，然　后将种群中的个体进行选择、交叉和变异等操作获　得下一代解并从中选择优秀的解，反复进行，实现种　群的进化。而在分布估计算法中每一代群体都用一　个概率分布来描述，然后对概率模型按照某种策略　随机采样产生新的群体，如此反复实现进化目的。　有文献指出分布估计算法能比遗传算法更加有效的　解决高维问题，降低时间复杂性　Ｊ。为此，本文利　用Ｎａ＇ｆｖｅ　ＭＩＤＥＡ分布估计算法构建模糊分类系统。　１　Ｎａ＇ｉｖｅ　ＭＩＤＥＡ分布估计算法概述　Ｎａ￣＇ｖｅ　ＭＩＤＥＡ分布估计算法的概率模型是一个　混合模型＿３　Ｊ，构成混合模型的每一个组成部分都是　一个单变量概率模型，利用这种混合概率分布描述　的多目标Ｐａｒｅｔｏ最优解分布性较好。为了进一步提　高进化过程中群体的多样性，Ｎａ＇ｆｖｅ　ＭＩＤＥＡ算法采　用了一种特殊的选择机制，详细描述见文献　。　１．１　Ｎａｉ＇ｖｅ　ＭＩＤＥＡ的概率模型　Ｎａｉｖｅ　ＭＩＤＥＡ混合概率分布是ｋ（ｋ＞１）个概　率分布的加权和，每个概率分布都是混合概率分布　的一个组成部分。混合概率模型表示如下：　ｋ一１　ｐｍｉｘｔｕｒｅ（ｚ）＝∑　Ｐ　（ｚ）其中Ｚ＝（　。，ｚ　．．ｚＨ）是　

表示分布估计算法中所有随机变量的向量，ＪＢ　是混　合系数，　０，ｉ　Ｅ｛０，１，…，　一１｝且∑　卢　＝　１。混合系数　的设置有不同的方法，最普通的方　法就是设置　为第　个聚类在所有类别中所占的比　例。混合系数确定后下一步就是选择聚类算法，将　群体分为ｋ个类别，每个聚类都用一个单变量概率　ｌ一１　分布　（ｚ）来表示：Ｐ　（Ｚ）＝ＨＰ（Ｚ　），在解决多　

ｉ＝Ｏ　目标问题［４　时，这种混合概率分布可以将Ｐａｒｅｔｏ　

最优边界划分为ｋ个类别，每个类别都描述Ｐａｒｅｔｏ　高小霞，等：基于ＮａＹｖｅ　ＭＩＤＥＡ算法的模糊分类系统　ｌ　ｌ９　最优边界的一个不同的区域，因此从混合概率模型　抽取的下一代解能够很好的分布在Ｐａｒｅｔｏ最优边界　上，以保持群体的多样性。　１．２　ＵＭＤＡ概率模型　本文在利用ＮａＹｖｅ　ＭＩＤＥＡ分布估计算法进行模　糊建模时，描述每个聚类的单变量概率分布为ＵＭ—　ＤＡ（Ｕｎｉｖａｒｉａｔｅ　ｍａｒｇｉｎａｌ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｌｇｏｒｉｔｈｍ）概率模　型。　ＵＭＤＡ算法由德国学者Ｍｔｉｈｌｅｎｂｅｉｎ在１９９６年　提出＿６　。ＵＭＤＡ以一个概率向量ｐ（ｘ）＝（ｐ（ｘ　），　Ｐ（　）…ｐ（ｘ　））描述每一代群体，其中ｉ＝｛１，　２…．ｎ｝，　∈｛０，１｝。Ｐ（　）表示对应的变量取值　为１的概率，新的群体通过对概率向量采样生成。　初始概率向量从一个中心概率开始即Ｐ（　）＝　（０．５，．．．０．５），表示个体中所有变量取值为１的概　率均为０．５，依据此概率产生的初始群体可以均匀　分布在搜索空间，随着迭代次数的增加概率向量的　值逐渐收敛到０或１。算法基本过程如下：　第一步：以概率向量Ｐ（　）＝（０．５，…０．５）抽样　产生Ｍ个个体，组成初始群体Ｄ　，ｚ＝０。　第二步：判断终止条件，如果符合条件则终止算　法，否则继续执行。　第三步：利用某种选择机制从群体Ｄ　中选择　＜Ｍ个优秀个体构成新的群体Ｄ　，依据Ｄ　估　计新的联合概率模型Ｐ　（　）：　ｐ　（　）＝ｐ（ｘ　ｌ　Ｄ　）＝ＨＰｆ（　。）　∑８／ｘ　＝　Ｉ　Ｄ　）　耳　—　一　其中　，（　。＝　ｌ　Ｄ　）＝｛　粪　。　第四步：从概率向量Ｐ　（　）中采样　次，得到　新一代群体。返回第二步。　２以ＮａＹｖｅ　ＭＩＤＥＡ构建模糊分类系统　２．１　多目标优化问题　多目标与单目标优化问题的不同之处在于多目　标优化问题中有多个目标需要同时优化，目标之间　没有先后顺序。通常这些目标是相互冲突的，因此　多目标优化问题解的优劣性不是仅取决于目标函数　值。在多目标优化问题求解的过程中不可能使所有　目标同时达到最优　Ｊ，所以优化的目的就是要找到　Ｐａｒｅｔｏ最优解集。　２．２问题的定义　对于由Ｎ个模糊规则组成的候选规则集，本文　的问题为从该规则集中选取若干规则构成模糊模型　５，并要满足下面的条件：最大化　（Ｓ），最小化　，２（８），最小化，３（ｓ），一般地不存在同时满足上述条　件的最优规则集构成的模糊模型，因此进化的目的　是搜索不被其它任何规则集所支配的Ｐａｒｅｔｏ最优　解。　如果规则集Ｓ　、Ｓ　满足以下三个条件：　

－＜Ｌ（Ｓ　），厂２（Ｓ　）　（Ｓ　），，３（Ｓ　）≥　（Ｓ口）；且满足　ｆｌ（Ｓ　）＜ｆｌ（Ｓ　），　（Ｓ　）＞　（５　），　（Ｓ　）＞　（．ｓ　）三个条件之一，　则规则集Ｓ　被规则集ｓ　支配（ｓ　优于Ｓ　，Ｓ　＜Ｓ口）。　２．３仿真研究　实验数据来自ＵＣＩ机器学习数据集（ｈｔｔｐ：／／　ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／～ｍｌｅａｒｎ／），以ＦＣＭ聚类算法对　原始数据进行模糊化处理　Ｊ，然后采用基于Ａｐｒｉｏｒｉ　原理的方法提取初始模糊规则集¨　，再以ＮａＹｖｅ　ＭＩＤＥＡ分布估计算法为搜索算法构建模糊模型验　证本文方法的有效性。变量及参数设置如表１所　示。实验环境：ＷｉｎＸＰ，ＣＰＵ　３．０ＧＨｚ，２．０ＧＢ内存，　Ｖｉｓｕａｌ　Ｃ＋＋。　表１参数设置　参数名称　参数取值　５０　５０　１２　０　２５／１２　３　

（１）以ＮａＹｖｅ　ＭＩＤＥＡ构建模糊模型算法描述　输入：由　个候选模糊规则构成的模糊规则集；　输出：非支配解集，每个非支配解代表一个模糊　分类模型　步骤一：随机产生含　个个体的初始群体　Ｐ。，长度为ｎ的每个个体上的基因位以概率０．５取　０或１。对Ｐ。中的每个个体计算其目标值。计数变　量ｔ＝０。　步骤二：计算每个个体的支配计数值。　步骤三：从群体Ｐ　中选择Ｌ＃ｔｎｊ个最优解构成　最优解集ｓ　步骤四：从Ｓ　中选择ｌｔｎＪ个最优解构成新的群　体Ｐ…。　步骤五：建立最优解集Ｐ…的混合概率分布　Ｐ　（Ｚ）：　①以Ｋ均值算法将Ｐ…聚为Ｋ类：（ｃｏ，　

警七　１２０　实　验　室　科　学　Ｃ　．，ｃ　）　②依据ｃ　构建单变量相关的ＵＭＤＡ联合概率模　ｎ一１　型ｐｉ（ｚ），Ｐ　（ｚ）＝ｎ　Ｐ（　），ｉ＝（０，１，…ｋ一１），　

Ｊ＝０　ｋ一１　则ｐｍｉｘ．，ｒｅ（ｚ）＝∑卢　Ｐ‘（ｚ），卢　＝了１。　

０　步骤六：基于混合概率分布Ｐ…　（ｚ）采样　。。　

一Ｌｔｎ／次加入新群体Ｐ　：　①以平均概率从（ｃ。，ｃ　…．，ｃ　）中选择一个　类别群体，基于该群体的联合概率分布抽取一个个　体并加入新群体Ｐ　②重复操作Ⅳ　一Ｌ　ｎｊ次　步骤七：计数变量ｔ＝　＋１，如果ｔ＜Ｔ，算法转　步骤（２），否则输出群体Ｐ　中的所有非支配解构造　分类模型。　（２）仿真结果　图１至图３是利用Ｎａｉｖｅ　ＭＩＤＥＡ分布估计算法　构建的模糊分类系统在训练集和测试集的实验结　果。图中横轴为每个分类模型的规则个数和模糊项　个数之和，纵轴为分类错误率。　０．８　…　十　训『练集　０・６　…　集ｊｌ　凳４０　４【。　ｌ　一　０．２　０　ｆ　ｆ　２　４　６　８　１０　模糊舰则个数与模制项个数之和　图１数据集Ｉｒｉｓ上的实验结果　０　８　０．６　壮　拙０　４　Ｏ．２　０　Ｌ　２　ｔ　训练集　测试集　４　６　８　１０　１２　模糊规则个数　模糊项个数之和　图２数据集Ｗｉｎｅ上的实验结果　・　训练集　测试集　哥　４　６　８　１０　１２　１４　模糊规则和Ｉ模糊项个数之和　图３数据集Ｐｉｍａ上的实验结果　从实验结果图可以看出，利用Ｎａｉ＇ｖｅ　ＭＩＤＥＡ分　布估计算法构建的模糊模型在训练集和测试集的实　验结果随着模型中规则个数和模糊项个数的增加分　类错误率基本呈下将趋势，即分类错误率越低，解释　性越差。例如在Ｗｉｎｅ数据集上当规则个数和模糊　项个数之和增加到１　１时，在训练集和测试集上的分　类准确率最高。其它两个数据集上的实验结果也是　如此。　表２至表４列出了利用本文方法分别在Ｉｒｉｓ、　Ｗｉｎｅ和Ｐｉｍａ三个数据集上得到的分类准确率和解　释性相对较高的四个模糊模型，所列内容包括模糊　模型在实验数据的训练集和测试集上的分类错误率　以及模型中包含的规则数目和总的模糊项数目，另　外，在表中也同时列出了Ｇｅｎｅｔｉｃ算法所建模型在三　个数据集上５次实验的平均结果。　表２　Ｎａｉｖｅ　ＭＩＤＥＡ和Ｇｅｎｅｔｉｃ在Ｉｒｉｓ上的实验结果　训练集上　的错误率　０　０３±Ｏ．００９　测试集上　的错误率　Ｏ．０７±０．００５