改进隶属度FSVM方法在多类别分类中的应用

改进隶属度FSVM方法在多类别分类中的应用

任东1，2，于海业1，王纪华2，乔晓军2

（1.吉林大学生物与农业工程学院，长春 130028；2.国家农业信息化工程技术研究中心，北京 100097）摘要：着重研究了模糊决策函数的隶属度计算方法，提出了一种新的隶属度计算方法—基于样本均匀度的隶属度方法。同时，将提出的方法应用于温室作物病害诊断系统中，得到了较好的实验结果，也验证了改进模糊支持向量机优于一般“一对一”和“一对多”的多类别分类方法。研究证明，采用样本均匀度隶属度FSVM方法分类性能最好。

关键词：计算机应用；模糊支持向量机；理论研究；多类别分类；温室植物病害

中图分类号：TP391.41 文献标识码：A 文章编号：1003─188X(2008)01─0016─03

0 引言

模糊支持向量机(FSVM)是一种相对新的方法。该方法用来处理使用“一对一”方法和“一对多”分类方法当中所出现的不可分区域[1]。该方法在“一对一”和“一对多”方法当中引入了一个模糊决策成员函数。对不同的样本采用不同的惩罚权系数，在构造目标函数时不同的样本有不同的贡献，在一定的程度上避免了噪声的影响。

本文首先对几种常用的隶属度进行了分析，然后提出了一种新的隶属度计算方法─基于样本均匀度的隶属度函数；并以北京地区温室内的黄瓜的3种病害图像为研究对象，应用文中提出的方法对图像进行识别分类。

1 隶属度函数的确定

隶属度函数是表示一个对象x属于集合A的程度的函数，记作)

(x

A

。通常情况下，确定隶属度大小的基本原则是以样本所在类中的相对重要性，或对所在类贡献的大小为依据[2]。

1.1 常见的基于距离的隶属度函数

样本到类中心之间的距离是衡量样本对所在类贡献大小的依据之一。目前，在模糊支持向量机中，基于距离的隶属度函数的确定是将样本的隶属度看作是特征空间中样本与其所在类中心之间距离的函数[3]。

隶属度函数中常用的形式是S 型函数和π型函数。

1.1.1 S 型函数的隶属度函数

基于S 型函数的隶属度函数是一种从0到1的单调增长的函数，通常可由c b a ,,3个参数确定Zadeh 定义的标准S 型函数的隶属度

[4]

，即

c

x c x b b

x a a

x a c c x a c a x c b a x i i i i i i i ≥≤≤≤≤≤???

????

-----=1)]/()[(21)]

/()[(2,0),,;(2

2S μ (1)

其中，2

c

a b +=，且在b x i =时隶属度函数等于

0.5。

1.1.2 π型函数的隶属度函数

π型函数是指“中间高两边低”的函数，可以用S 型函数定义，标准π型函数的定义是

??

?≥-≤=c

x c b a x c x c b a x a b a x i i i i i )

,,;(1),,;()',,;(S S πμμμ (2)

1.2 基于样本均匀度的隶属度函数

本文对S 型隶属度函数进行改造。在S 型隶属度函数的基础上，引入样本均匀度的概念，提出了一种新的基于样本均匀度的隶属度函数。在确定样本的隶属度时，既要考虑样本到所在类中心之间的距离，还要考虑类中各个样本之间分布的均匀度，计算公式为

)(),,:()(S i E i i x c b a x x μμμ?= (3)

式中 )(i x μ—样本i x 属于所在类的隶属度；

)(S i x μ—标准基于S 型函数的隶属度函数；

)(i E x μ—基于样本均匀度的隶属度函数，

其作用是作为一个参数来修正利用S 型函数作为样本隶属度函数时可能带来的误差。

其表达式为

∑==

n

i i i E c b a x n x 1

S ),,:(1)(μμ (4) )1,0()(∈i E x μ

2 试验与结果分析

2.1 试验设计

将提出的基于样本均匀度隶属度函数的改进模糊支持向量机用于温室黄瓜病害诊断中。FSVM 采用与“一对一”方法完全相同的训练方式。如果

训练集当中有k 类，则在FSVM 当中共需要训练

2

)

1(-k k 个支持向量机。FSVM 的决策函数构建在此2

)

1(-k k 个决策函数的基础之上。单个SVM 的决策函数为

[5]

b x x K y a x f n

i i i i +=∑=1),()( (5)

在采用模糊支持向量机进行分类时，除了样本的特征与类别标识外，每个样本还增加了隶属度一项。每个样本的特征表示为i x ，类别标识为i y ∈{-1，1}，隶属度为0<)(i x μ≤1。i ξ是支持向量机

目标函数中的分类误差项，则)(i x μi ξ为带权的误

收稿日期：2007-04-08

基金项目：农业科技成果转化资金项目（05EFN211100002）；北京

差项

[6]

。将式（3）中的)(i x μ带入，最优分类面为下面目标函数的最优解为

??

?????+=

∑=n i i i E i S x c b a x C w w 12

)(),,:(21),(ξμμξ? (6) 约束条件为

n

i n

i b Z y i i i T i ,,1,0,,101])[( =≥=≥+-+?ξξω (7)

当)(i x μ很小时，减小了i ξ在目标函数中的影响 ，以致于将相应的i x 看作不重要的样本。如果取所有的隶属度)(i x μ=1，则与一般支持向量机方法一样。在模糊支持向量机方法中，通过对不同样本赋予不同的隶属度)(i x μ，达到对不同的样本采用不同程度的惩罚作用

[7]

。

采用上面的FSVM 方法，从黄瓜的白粉病、霜霉病和枯萎病的每种病害图像中选取40×40像素的样本100个作为训练样本测试样本数目每组100个，共300个测试样本。分类器由3个支持向量机(SVM1，SWM2，SVM3)组成，SVM1用来判断霜霉病；SWM2用来判断白粉病；SVM3用来判断枯萎病。首先利用所取出的样本训练支持向量机，训练SVM1用来判断样本属于霜霉病时，将200个训练样本中属于霜霉病看作一类，表示为+1，将其余的样本标示为-1，依据的基本原理求优化系数i a 后建立对应正常的SVM1。应用同样的方法来训练SWM2和SVM3，其中SWM2用来判别样本是否属于白粉病，SVM3用来判别

样本是否属于枯萎病，不属于上述情况是分类有误。

2.2 结果分析

SVM1，SWM2，SVM3分类的MATLAB 图像如图1～

图3所示。

图1 FSVM1的分类

图2 FSVM2的分类

图3 FSVM3的分类

4.5

4.0 3.5 3.0

2.5 2.0

4.0 4.5

5.0 5.5

6.0 6.5

7.0 7.5

8.0

setosa

versicolor virginica

x

y

setosa

versicolor virginica

7 6 5 4 3 2

1

4.0 4.5

5.0 5.5

6.0 6.5

7.0 7.5

8.0

x y

7 6 5 4 3 2 1

2.0 2.5

3.0 3.5

4.0 4.5

setosa

versicolor virginica

x

y

从图1～图3中可以看出，每种方法都可以将3种病害中的一种与其它两种分开，模糊支持向量机的方法很好地解决了一般多分类方法无法解决的不可分区域问题。

分别采用“一对一”SVM方法、“一对多”SVM方法、S型隶属度FSVM方法、π型隶属度FSVM方法和样本均匀度隶属度函数SVM方法进行测试，确定哪种SVM方法最适合于病害图像的识别。对比结果如表1所示。

表1 改进隶属度FSVM与一般SVM的识别率比较

Tab.1 Comparison of SVM between the number of various train set

识别率/% 92.4 90. 94.3 96.2 98.8

从表1可以看出，样本均匀度隶属度FSVM方法的识别率最高，π型隶属度FSVM次之，然后是S 型隶属度FSVM，一般的“一对一”方法和“一对多”方法分类效果最差。

3 结论

本文研究和分析了模糊支持向量机在多类别分类识别中的应用，在模糊支持向量机方法中，隶属度函数是整个模糊算法的主要问题。本文提出了一种基于样本均匀度的隶属度函数确定方法。样本均匀度的作用是作为一个参数来修正利用S型函数作为样本隶属度函数时可能带来的误差。通过温室植物病害的分类实验，采用样本均匀度隶属度FSVM 方法，其分类效果比采用一般支持向量机方法的错误率低。参考文献：

[1] Lin C F, Wan Sh D. Fuzzy support vector mac-

hines[J].IEEE Transactions on Neural

Networks, 2002,13(2):464-471.