单实例分类算法研究

第33卷第4期2009年8月

南京理工大学学报(自然科学版)

Journal of Nanjing University of Science and Technol ogy (Natural Science )

Vol .33No .4Aug .2009

　收稿日期:2008-10-17 修回日期:2009-05-18　基金项目:国家自然科学基金(60603029)　作者简介:潘志松(1973-),男,博士,副教授,主要研究方向:模式识别,网络安全,E 2mail:Hot pzs@hot m ail .com 。

单实例分类算法研究

潘志松1

,燕继坤2

,杨绪兵3

,缪志敏1

,陈　斌

3

(1.解放军理工大学指挥自动化学院,江苏南京210007;2.西南电子研究所,四川成都610041;

3.南京航空航天大学计算机科学与技术学院,江苏南京210016)

摘　要:针对不平衡分类问题的极端情况,即用于训练的样本极少甚至只有一个实例,该文提出

了一种单实例分类算法,这种方法使用球面作为分类面,在目标类的单实例在球内和反类尽量位于球面外的约束条件下,最大化该分类球面的半径,该方法能够有效地处理线性可分的数据分布。当输入样本分布结构呈高度非线性时,该算法通过核映射将低维输入空间中的非线性可分问题变换为高维特征空间中可能的线性可分问题,并以内积形式刻画,最终在特征空间上通过核技巧获得原问题的解决。通过对标准数据集和实际数据集的实验,验证了单实例分类算法在处理数据不平衡问题上的有效性。

关键词:单实例;核方法;分类;支持向量中图分类号:TP 18 文章编号:1005-9830(2009)04-0444-06

Cl assi fi cati on Algorith m Based on Si n gle Sample

P AN Zhi 2s ong 1

,Y AN J i 2kun 2

,Y ANG Xu 2bing 3

,M I A O Zhi 2m in 1

,CHEN B in

3

(1.I nstitute of Command Aut omati on,P LA University of Science and Technol ogy,Nanjing 210007,China;

2.The W est 2South Electr onics I nstitute,Chengdu 610041,China;

3.Depart m ent of Computer Science and Engineering,Nanjing University of Aer onautics &A str onautics,Nanjing 210016,China )Abstract:I n order t o s olve the extre me situati on that only a few target exa mp les or only one can be used in training the classificati on,a single sa mp le classificati on algorithm is p resented here .Spheri 2cal surfaces are app lied as classified hypers phere,and the largest radius can be obtained encl osing the single sa mp le under the restricti on that all outliers are outside the hy pers phere .It fails when the distributi on of input patterns is comp lex .The classifier app lies kernel means,perfor m ing a nonlinear data transfor mati on int o s ome high di m ensi onal feature s pace,increases the p r obability of the linear separability of the patterns within the feature s pace and theref ore s olves the original classificati on p r oble m.The paper verifies that the algorith m can effectively deal with the unbalanced data classifi 2cati on on vari ous synthetic and UC I datasets .

Key words:single sa mp les;kernel means;classificati on;support vect ors

总第167期潘志松　燕继坤　杨绪兵　缪志敏　陈　斌　单实例分类算法研究　

机器学习中往往假定有几个类,每类有若干训

练实例,而且根据P AC 学习理论,为了达到比较高

的准确率,希望有比较多的训练实例[1]

。但在实际应用中,有时也会出现“单实例”的问题。例如,人脸识别、指纹识别等生物特征一般为每个人采集一个训练样本。这时虽然有很多个类,但每类只有一个训练样本,把这个问题称为“单实例分类问

题”[2]

,这也是数据不平衡分类中的极端问题。

在模式识别应用中,多类别的分类问题可以转化为多个两分类问题,即将c 类问题化为c -1个两分类问题,每个分类器只对其中的两个类别进行分类,这种做法当样本数量较多时比较有效。但是当样本数量稀少,即每个分类器都只有很少的样本用来训练。特别是只有一个样本的时侯,训练得到的分类效果较差甚至不能工作,如图1。针对每一类样本比较少或者只有一个的特点,笔者设想对于每个类别,,而所有其它的样本作为反类实例用于训练,这样就增加了训练样本的个数,可以提高总体分类器的分类能

力,然后再对这些单实例分类器进行集成学习[3,4]

,就可以实现对多类别的分类。所以本文只针对两分类的单实例分类算法展开研究。对于该单实例分类器,它的训练实例的正类为目标类训练实例,即单实例,反类为所有其它类的训练实例的总和。由于两类训练的实例数严重不平衡,因此原问题可

以转化为一个不平衡分类的问题。

图1　单实例问题的多类别情况

对于数据严重不平衡的分类问题,可以借鉴单类分类器的思想。单类分类器的主要目的就是定义一个围绕该目标类物体的边界,接受尽量多的目标类样本,而尽可能地拒绝其它类。Tax 等提出的

支持向量数据描述(Support vect or data descri p ti on,简称S VDD )试图寻找一个封闭的超球面来包围目标集

[4]

,只有落入超球体以内的实例才属于目标

类,超球面的确定仅依靠目标类的训练数据。为了减少错误的接受,要尽量缩小球的体积。超球面由球心a 和半径R 决定,在约束条件下最小化结构风

险误差,和S V M 类似,通过解决二次优化问题可得到a 、R 的解。这样要求数据分布在欧氏空间呈球形分布,如果目标集不是“球形”的,则使用核方法,把特征向量向高维映射,并进一步使用核函数替代内积运算。核方法隐含地通过核函数实现了一个从低维输入空间到高维特征空间的映射,既避免了计算上的维数灾难,又使问题在特征空间中得

到简化并得到有效的解决[5]

。

本文借鉴了单类分类器的思想,提出了“单实例”条件下的分类算法,其也通过一个球形分类面进行分类,但和S VDD 不同的是,该算法从两分类问题出发,用球面包围“单实例”的同时,使得所有的反类都位于球面之外,在这两个条件下,最大化球的半径。由于只有一个“稀少”的正类实例,需要充分利用这一个实例,使之确定在定义的球内,同时最大化求得体积来优化分类器的泛化性能。论文通过推导给出了分类决策面的表达式,并在国际标准数据集上进行了实验,验证了该单实例分类算法的有效性。

1　单实例分类算法

图2给出了单实例分类的示意,考虑两分类的特殊情况:正类实例只有一个,定义标号为“+”,如图所示,但有很多反类实例,标号为“-”。笔者设想用一个球面包围正类,为了使形成的分类面能够正确分类但又不会拒绝正类,所以在使反类都位于球面之外的条件下,使这个球的半径尽可能的大。由于只有一个“稀少”的正类实例,需要充分利用这一个实例,使之尽可能包含在定义的球内

。

图2　单实例分类示意图

设x i (i =1,2,…,n )为反例,x +

为正例。目

的是设计一个球体的分类面,保证反类都位于球面之外和正例样本能够被包含在球内的条件下,使这个球的半径尽可能的大。

符号说明:负类样本x 1,x 2,…,x n ,单个正类

544

　南京理工大学学报(自然科学版)第33卷第4期

样本x +。

原理:生成包含正类样本,且排斥所有负类样本的最大球,球的半径为R,球心为a 。

单实例模型如下:

　m in C -

∑n

i =1

ξi +C +‖x +-a ‖2-R 2

(1)Ⅰ.　s .t .　‖x +-a ‖2

2

(2)‖x i -a ‖2

≥R 2

-ξi i =1,…,n

(3)ξi ≥0　i =1,…,n

(4)

模型解释:约束(2)表示正类样本应该保证

在球内,(3)表示所有负类样本应该排斥在球外,ξi 为松驰因子。

式(1)中的C -和C +是两个平衡因子,对模型的解释是第一项尽可能小的意思是指尽可能保证所有负类样本在球外,第二项是指正类样本在球内,第三项是保证球的半径尽可能大;当C -取得较大时,指负类样本几乎被严格地排斥在球外,当C +较大时,指正类样本尽可能地接近球心。按照现实的情况,并不要求x +位于球心,只要求其位于球的内部即可,这一点由约束条件(2)可得。进一步化简式(1)变为下面的式(5):

　m in C -

∑n

i =1

ξi

-R

2

(5)

Ⅱ.　s .t .　‖x +-a ‖2

2

‖x i -a ‖2

≥R 2

-ξi i =1,…,n

ξi ≥0　i =1,…,n 构造Lagrange 函数如下:

　L (a ,R,ξ

)=C -∑n

i =1

ξi

-R

2

+β(‖x +-a ‖2-R 2

)- ∑n

i =1

αi (‖x i -a ‖2-R 2+ξi )-∑n

i =1

γi ξi (6)

分别求5L 5a ,5L 5R ,5L

5ξi

并令之等于0,得到以下结果:

　C --αi -γi =0　i =1,…,n

(7)　

∑n

i =1

αi

-β=1

(8)　a =

∑n

i =1αi

x

i

-βx +

(9)

同理式(8)变为　

∑n +1

i =1

α

i

=1(8′)

令 α=[α1,…,αn ,-β]T

,X =[x 1,…,x n ,x +]并改写X =[ x 1,…, x n , x n +1]。

式(9)变为

　a =X

α(9′)将式(7)～(9)代入式(6)中,得原问题Ⅱ的对偶问题:

　m ax

∑

n 1

i =1

αi

‖x i

-a ‖2-β‖x +-a ‖

2

s .t .　0≤αi ≤C -,i =1,2,…,n

∑

n

i =1

αi

-β=1

(10)

将式(9′

)代入式(10)目标函数中并化简,以矩阵形式表示如下:

　

m ax

∑n +1

i =1

αi x T i x i -∑n +1

i,j =1

αi αj x T

i x j s .t .　0≤ αi ≤C -,i =1,2,…,n

αn +1≤0

∑

n +1

i =1 αi

=1

(11)

以矩阵形式表示如下:　max αT diag (X T X - αT X T X

αs .t .　0≤E T

α≤C -1n ×1 αT

e n +1≤0

αT 1(n +1)

×1

=1

(12)

其中diag (A )表示取A 的对角线元素作为列向量。其中e i 表示n +1维向量,除第i 个元素为1外,其余的全为0。并记E =[e 1　e 2　…　e n ]。1n ×1是

n 维列向量,其元素全为1。

当输入空间的样本点不满足球状分布时,可用核方法在高维特征空间中解决。先通过非线性映射<,把输入空间的样本映射到高维空间,在映射后的高维空间中通过核代入实现问题求解。即将上述公式中的内积形式都用核函数代替如下[7]

:

x T

i x j →<( x i )T

<( x j )=K ( x i , x j )

(13)

选择一个适当的核函数也是比较重要的,如

果选取的核函数能够将输入空间正好映射成高维空间的一个球体分布,那么所求得的分类器也会比较吻合实际的分布情况。常用的核函数有

[5]

:

(1)多项式核函数

　K (x,y )=(1+x ?y )

d

(14)

(2)Gaussian RBF 核函数

　K (x,y )=exp -‖x -y ‖2

σ2

(15)

(3)Sig moid 核函数

　K (x,y )=tanh [b (x ?y )-c ](16)

引入核函数后,原来的公式变成了如下形式:

当分类边界不是圆形时,可以把数据由低维映射到高维,以增强学习机的表达能力,在高维空间可

644

总第167期潘志松　燕继坤　杨绪兵　缪志敏　陈　斌　单实例分类算法研究　

以表达更加复杂的分类边界。与支持向量机类

似,用核函数K (x,y )替代映射。此时式(11)的优化问题变为式(17)。略去“偏置”后,R 的计算式变为式(18),判别函数变为式(19)。　

m ax

∑

n +1

i =1

αi k ( x i , x i )-∑n +1

i,j =1

αi αj k ( x i , x j )s .t .　0≤ αi ≤C -,i =1,2,…,n

αn 1+1≤0∑

n +1

i =1 αi =1(17)

　R 2

=1

N

∑x k ∈SV k (x k ,x k

)

-

2

N

∑x k ∈SV ∑n +1

j =1

α

j

k (x k

,x j

)+

∑n +1

i =1

∑n +1

j =1

α

i

αj

(x i

,x j

)(18)

对一未知样本z ,　k (z,z )-2

∑x i ∈SV

α

i

k (x i

,z )+

∑x i ∈SV ∑x j ∈SV

α

i

αj

k (x i

, x j )≤R

2(19)选择一个适当的核函数也是比较重要的,如果选取的核函数能够将输入空间正好映射成高维空间的一个球体分布,那么所求得的分类器也会比较吻

合实际的分布情况。通过式(19)可以获得基于核的“单实例”的分类算法。当未知的样本z 符合式(19)时,即判别为正常样本,否则,z 为异常样本。

单实例分类方法是基于几何概念的分类方法,在样本数据严重不平衡的情况下,充分利用占绝对多数的异常样本,最大化目标数据支撑域的体积,得到了单个正例情况下目标类的支撑域的球形数据描述。这样数据描述方法源于Scholko 2

pf (1995)[8]

算法硬间隔情形以及(S VDD )算法的

软间隔特例[9]

。通过正则化,该数据描述方法能实现经验风险和推广能力的平衡,进一步通过核化得到目标类样本外的更为灵活的数据描述。通

过解凸二次规划问题[5]

,可获得单样本分类算法的最优解。与其他基于核函数的算法(S VM 、KP 2

CA 等)

[10]

一样,仅在推导过程中概念性地使用非

线性变换从低维空间变换到高维空间,由于核变换后只是改变了内积运算,不需要知道非线性变化的具体形式,并没有使算法复杂性随着维数的增加而增加。2　实验讨论

2.1　UC I -Iris 数据集

通过对UC I 的机器学习数据库中的数据集I 2

ris 数据的测试,实验采用Iris 数据集,Iris 数据集

包括3个类,第1类为Set osa,第2类为Versico 2

l or,第3类为V irginica;每个类由50个四维模式组成;并且第2、3类是线性不可分的。实验设置了其中某一类中的一个样本作为目标类,剩余部分作为异常类的方式,采用10重交叉验证进行参数选择并取平均值。

表1中,所有的测试结果都是通过10-f old 交叉验证进行参数选择并取平均记录,每次实验从目标类的50个样本中取其中的一个作为训练样本,而剩余49个样本作为测试的正例样本;对于异常类分为10份,其中9份作为训练样本,1份作为测试样本。笔者使用了以下的测试度量,FP (False Positive )表示将反类识别为正类的个数;F N (False Negatives )表示将正类识别为反类的比率。表1显示了在对三类样本分别试验的误识个数。

由于分类器受核参数和C -的影响很大,所以进行参数调整的目的是使得分类器在保证单个正实例被正确分类的前题下,尽可能地使反类样本被分类器划分在球外,即是在保证F N 小的前题下,尽量的使FP 缩小。核函数选用RBF 核,这里核参数σ取为1。实际过程中可能更加关注对该单个正例样本的检测率,通过调整C -,可以得到算法对三类分类问题随着C -变化的分类结果,如表1所示。

表1　不同C -算法对Iris 分类检测实验结果

C -

0.01

0.020.030.040.050.060.070.080.090.10.201类/2、3类

2类/1、3类

3类/1,2类

Fp

0000000000Fn 00000000000Fp

2.32.2022.1022.0042.1982.3042.52.2022.2042.4962.106Fn 1.091.1861.0881.0881.0881.1841.091.0841.0861.1821.19Fp

1.7961.9021.8941.904

2.0062.0122.0162.0021.8082.432Fn 4.704

4.618

4.704

4.608

4.432

4.63

4.72

4.722

4.722

4.

726

4.726

表1显示了不同的C -对Iris 数据的不同类别之间的异常检测率。设置C -从0.01到0.2变

化,可以看出当C -为0.03时,结果最好。其对正类和反类的总体分类精度为94.75%,而对正类

744

　南京理工大学学报(自然科学版)第33卷第4期

的识别精度为97.78%。从实验对2/1、3类的总体分类情况来看,对正类和反类的总体平均分类精度为94.3%,而对正类的平均识别精度为97.71%。尽管只使用了一个正类实例,分类器的设计依然保证了较好的分类性能。对3/1、2类的总体分类精度为88.74%,而对正类的平均识别精度为90.48%。由表1可知,在正例为一个样本的情况下,单实例分类算法在针对线性不可分问题(2/1、3类和3/2、1类)上都有较好的表现,从而验证了单实例分类算法的有效性。

为了更好地显示Iris (2/1、3类)数据的单实例的分类过程,笔者通过可视化的方法来从另一个侧面将单实例分类算法的分类结果展示出来。经过主分量分析(PCA )将Iris 数据投影到二维空间后,可以使分类过程二维空间可视化。可视化的步骤是利用网格点细分,假设图的大小为m ×n 像素,则生成m ×n G ,

令G ij =z,利用公式(19)进行计算,对于所有的网格点得到判别矩阵L L (i,j )=

0‖z -a ‖2≤R

2

1

‖z -a ‖2≥R

2

(20)通过等高线函数对判别矩阵绘制的分界面图。其中利用训练得到的分类器对训练数据进行

分类,可视化的结果如图3。图4给出了分类器对所有的反类数据和正类的训练数据的可视化结果。3为单实例样本,实心点为其他类样本。

图3　分类器对训练数据的可视化结果

上面的实验中只考虑了C -的问题,和大部分

的基于核的算法一样,核参数的选择也是影响实

验结果的重要因素

。图5是Iris (2

/1、3类)数据集上,针对不同核参数下的ROC 曲线。随着核参数K =σ的增大,分类器性能随之变差。可见核参数的选择是单实例分类器的一个重要参数。

图4　分类器对测试数据的可视化结果

图5　在Iis 数据集上不同核参数下的ROC 曲线

2.2　UC I -W ine 数据集

W ine Recogniti on 数据集

[10]

是对三种意大利

的葡萄酒的化学分析结果,数据集有178个样本,

每个样本十三维特性。其中第1类由59个模式组成,第2类由71个模式组成,第3类由48个模式组成;试验设置同试验1,也是通过10重交叉验证进行参数选择并取平均记录。其中为了提高对W ine 数据的识别率,在对其进行分类之前进行数据的属性归一化。C -=0.01。核函数选用RBF 核。通过实验,本文发现核参数σ对分类结果影响较大,试验结果如表2。

如表2所示,三种酒分别取一个样本作为正例,而其余两类作为反类的分类结果。可以看出

单实例分类算法对W ine Recogniti on 数据的分类效果受核参数的影响比较大,当σ取0.3～0.4时,分类的效果比较好。

表2　单实例分类算法对W ine 数据分类检测实验结果

σ

0.1

0.20.30.40.50.60.70.80.91.01类/2、3类

2类/1、3类

3类/1,2类

Fp 11.911.68.65.73.82.92.21.61.41.4Fn 0001.712.421.328.435.339.140.9Fp

10.710.16.64.63.22.21.71.61.21Fn 00000.13.89.210.612.715.4Fp

1312.68.35.13.62.51.61.41.41.1Fn 0

0.1

0.8

1.3

2.6

844

总第167期潘志松　燕继坤　杨绪兵　缪志敏　陈　斌　单实例分类算法研究　

从实验可以看出,单实例分类算法具有在恶

劣的样本分布环境下的较好的分类性能。同时实

验验证了和S VM 等基于核的算法一样[10]

,核参数和分类的C -两个平衡因子对实验结果有很大的影响。2.3　香蕉型数据

香蕉型数是由p rt ool 工具箱产生的数据集,

数据是两维的两类数据,在二维数据上呈香蕉型。实验数据集在核参数情况下,不同C -的ROC 曲线见图6。由图6可看出,随着C -值变大,分类性能变差。同样通过图7,可以看到banana 数据集在固定C -情况下,不同核参数下的ROC 曲线。由图可看出,随着核参数变大,分类性能变差

。

图6　banana 数据集在不同C -下的ROC

曲线

图7　在banana 数据集上不同核参数下的ROC 曲线

通过这三个试验,可以看到实验随着C -和核参数σ的变化,分类性能变化很大。在实际的分类器设计时,需要首先通过实验确定具体的核参数和C -值。从总体上看,在一个正类样本的情况下,三个实验都获得了比较理想的分类精度,为现实世界中的单实例的问题的研究提供了一个研究思路。

3　结束语

论文讨论的是机器学习中数据不平衡分类中的极端的情况,即正类样本只有一个的情况。本文对现实世界中的单实例问题进行了研究,提出了一种单实例分类算法,这种方法使用球

面作为分类面,在保证单实例在球内和反类尽量

位于球面之外的约束下,最大化球的体积。利用核方法,解决了当输入空间的样本点不满足球状分布时,通过核技巧把输入空间先映射到高维空间,然后在映射后的高维空间内求解相关问题。通过UC I 数据集的测试,在正例只有单样本情况下,获得了比较好的分类效果,这对于解决数据不平衡问题,有很多借鉴作用。算法还可以推广到有少数正例样本的前提下的分类问题,对于解决数据不平衡问题中的极端问题找到了一个解决途径。同时通过单实例分类器,可以获得多个单实例情况下的多类问题的解决方法。参考文献:

[1]M itchell T .Machine learning[M ].Ne w York,US A:McGra w 2H ill Co mpanies,1997.

[2]

Moya M ,Koch M ,Hostetler L.One 2class classifer net w orks f or target recogniti on app licati ons[A ].Pr o 2ceedings of World Congress on Neural Net w orks[C ].O regen,Portland:I nternati onal Neural Net w ork Socie 2ty,1993.797-801.[3]

Tax D.One 2class classificati on 2concep t 2learning in the absence of counter 2exa mp les [D ].Delft,Holland:Delft University of Technol ogy,2001.[4]

Tax D,Duin R.Support vect or domain descri p ti on

[J ].Pattern Recogniti on Letters,1999,20(11-

13):1191-1199.

[5]Vapnik V N.The nature of statistical learning theory [M ].Berlin,Ger many:Sp ringer 2Verlag,1999.[6]

Cristianini N,Tayl or J.An intr oducti on t o S VM s and other kernel 2based learning methods [M ].London,UK:Ca mbridge Univ Press,2000.[7]

Sch ?olkopf B,W illians on R,S mola A,et al .Support vect or method f or novelty detecti on [J ].Advances in Neural I nfor mati on Pr ocessing Syste m s,1999,12:582-588.[8]

Juszczak P .Learning t o recognize —Study on one 2class classifcati on and active learning [D ].Delft,Holland:Delft University of Technol ogy,2006.[9]

Scholkopf B,Burges C,Vapnik V.Extracting support data f or a given task [A ].First I nternati onal Confer 2ence on Knowledge D iscovery &Data M ining [C ].Menl o Park,C A:AAA I Press,1995.252-257.[10]B lake C,Merz C .UC I reposit ory of machine learning

databases [E B /OL ].

htt p://www .ics .uci .edu /m l 2

earn /MLReposit ory .ht m l,1998.

944