基于自适应特征选择和SVM的图像分类的研究

第２７卷第１期计算机应用与软件Ｖ０１．２７Ｎｏ．１２０１０年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０１０

基于自适应特征选择和ＳＶＭ的图像分类的研究

潘崇朱红斌

（丽水学院计算机与信息工程学院浙江丽水３２３０００）

摘要提出多特征结合的图像分类方法，分别提取颜色特征和ＬＢＰ纹理特征，同时提出Ａｄａｂｏｏｓｔ算法对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高了分类的精度。最后对基于ＳＶＭ的多类图像分类方法进行了研究，提出在二类支持向量机的基础上构造多类分类器的方法，实验结果表明，提出的方法能够很好地用于图像分类。

关键词图像分类支持向量机特征选择Ａｄａｂｏｏｓｔ算法

ｏＮＩＭＡＧＥＣＬＡＳＳＩＦＩＣＡＴＩＯＮＢＡＳＥＤｏＮＡＤＡＰＴＩＶＥＦＥＡＴＵＲＥＳＥＬＥＣＴＩｏＮ

ＡＮＤＳＵＰＰＯＲＴＶＥＣＴＯＲＭＡＣＨＩＮＥ

ＰａｎＣｈｏｎｇＺｈｕＨｏｎｇｂｉｎ

（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＬｉｓｈｕｉＵｎｉｖｅｒｓｉｔｙ，Ｌｉｓｈｕｉ

３２３０００，撕昭，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＡｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｏｆｍｕｌｔｉ．ｆｅａｔｕｒｅｍｅｒｇｅｎｅｅｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｉｔｅｘｔｒａｃｔｓｒｅｓｐｅｃｔｉｖｅｌｙｔｈｅｃｏｌｏｕｒｆｅａｔｕｒｅａｎｄＬＢＰｔｅｘｔｕｒｅｆｅａｔｕｒｅ，ｍｅａｎｗｈｉｌｅＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍｉｓｐｕｔｆｏｒｗａｒｄｆｏｒｆｅａｔｕｒｅｓｅｌｅｃｔｉｎｇ．Ｂｙｃｈｏｏｓｉｎｇｔｈｅｆｅａｔｕｒｅｗｈｉｃｈｒｅｐｒｅｓｅｎｔｓｉｍａｇｅｔｈｅｂｅｓｔ．ｉｔｃ明ｂｏｔｈｒｅｄｕｃｅｆｅａｔｕｒｅ’Ｓｄｉｍｅｎｓｉｏｎａｎｄｉｍｐｒｏｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｅｃｉｓｉｏｎ．Ｉｎｔｈｅｅｎｄｏｆｔｈｉｓｐａｐｅｒ，ｔｈｅｍｅｔｈｏｄｏｆｍｕｌｔｉ。ｃｌａｓｓｉｍａｇｅｃｌａｓ?ｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｉｓｓｔｕｄｉｅｄ，ａｎｄｔｈｅａｐｐｒｏａｃｈｏｆｃｏｎｓｔｒｕｃｔｉｎｇｔｈｅｍｕｌｔｉ－ｃｌａｓｓｃｌａｓｓｉｆｉｅｒｂａｓｅｄｏｎｔｗｏ。ｃｌａｓｓＳＶＭｉｓｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈ

ｈａｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｉｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ?

ＫｅｙｗｏｒｄｓＩｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎＳｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅＦｅａｔｕｒｅｓｅｌｅｃｔｉｏｎＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ

０引言

随着数字图像处理技术的发展和实际应用的需要，图像分类识别技术应运而生。例如从遥感图像中识别出各种农作物、森林资源、矿产资源等，用人工地震波形图寻找有油的岩层结构，根据医学ｘ光图像分析各种病变，邮政系统中的信函自动分拣等等，都需要对图像中的各种对象进行区别分类。图像的计算机分类，是模式识别技术在图像领域中的具体运用，它的目的是研制能够自动处理图像信息的计算机系统，以便代替人们完成图像的分类和识别的任务【１．２１。

基于内容的｜冬Ｉ像分类对图像数据库的检索、图像过滤、图像识别等具有霞要意义，研究人员已做了一些有意义的工作。文献［３］中基于图像的颜色和主方向特征利用ＫＮＮ分类器实现了室内／室外的图像分类。文献［４］使用支持向量机分类器实现ｒ基于颜色直方图的图像分类系统。文献［５］中利用Ｂａｙｅｓ－ｔａｎ分类器实现了基于空间颜色矩和边缘方向直方图的室内／室外、城市／自然风景图像分类。这些方法都只用到了图像的颜色特征，由于各种对象的复杂性以及干扰因素的多样性，使得这些分类方法的分类精度较低。

本文提出多特征结合的图像分类方法，分别采用颜色特征和ＬＢＰ纹理特征，同时采用Ａｄａｂｏｏｓｔ对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高Ｊ，分类的精度。最后提ｆＩｊ在一类支持向量机的基础｜二构造多类分类器的方法，实验表明，提出的方法具有良好的分类性能。１自适应特征选择

１．１特征

本文采用二种不同类型特征空间中的特征：颜色特征和ＬＢＰ纹理特征。这二种特征均可以进行快速计算。

１．１．１颜色特征

我们采用文献［６］据出的颜色特征空间中的方法，颜色特征空间：

Ｆｌ兰｛埘１Ｒ＋硼２Ｇ＋ｔｌ，３８１ｗｊ∈［一２，一１，０，＋Ｉ，＋２］｝（１）式中埘。对应于一２到２之间的整数，这样的组合可以达到５３种，但最终选择了其中的４９种特征作为我们的颜色特征旧１。

１．１．２ＬＢＰ纹理特征

ＬＢＰ（１＿ｘ，ｃａｌｂｉｎａｒｙｐａＲｅｒｎ）＂１作为纹理算子可以很好地用来分析图像纹理特征。假定给定图像函数ｌ（ｘ，Ｙ），为了刻画图像像素点在某邻域内的灰度变化，考虑像素点的ｍｘｍ邻域，ＬＢＰ纹理算子计算公式如下：

２ｍ一１

ＬＢＰ（ｘ。，儿）＝∑ｓ（，Ｐ一，ｃ）２’

其中Ｉｃ、Ｌ分别为中心（‰，Ｙ。）处及邻域内各像素点的灰度值，ｓ（茁）为一个二值函数，定义如下：

收稿日期：２００８—０８—２３。潘崇，硕士，主研领域：图形图像，嵌入式系统。

万方数据

第１期

潘崇等：基于自适应特征选择和ＳＶＭ的图像分类的研究

２４５

一…城ｓ（ｘ）＝…｛１０ｘ

，＞…０ｘ＜０３３ＬＢＰ财一如三１妫蝴朋’８１月９嚣■≥。

㈤对于一个×邻域，

纹理算子模板及计算过程如图刍吒＾一”％’”

…７

所示，具体的ＬＢＰ算法详见文献［７］。

下，求解函数（６）的最大值。

圈田

ｕＰ篁子的３ｘ３邻域Ｕ｝Ｐ－（１１１１０００１）２；Ｉ＋１６４－３２＋６４＋１２８＝２４１

图Ｉ

ＬＢＰ算子的３×３邻域及计算过程

１．２特征选择

已知有ｆ个训练样本｛茁。，Ｙ。ｆ，…，ｆ≈，Ｙｔ｝，其中Ｙ，＝｛ｏ，Ｉ｝为类别标识；同时在训练样本中共有ｍ个假样本，凡个真样本；然后利用Ａｄａｂｏｏｓｔ方法对样本进行训练，选择特征，具体算法如

下：

给定（茁。，Ｙ．），（算：，Ｙ２），…，（算，，Ｙ。），Ｙ。＝０，１表示样本为反例样本和正例样本。（鼍，Ｙ。）表示第ｉ个图像样本，１≤ｉ≤ｚ，ｚ为样本的个数。

?初始化彬¨２寺，壶分别对应，，ｒ＝ｏ，１，其中Ｗｌ，ｉ表示第

１次第ｉ个样本对应的权值；

?Ｆｏｒｔ＝ｌＴｏｒ

（１）对每一特征，用吼训练吩，具有岛＝雕‘［～（算。）≠

Ｙ。］，Ｗ。表示第ｔ次样本对应的权值。１≤ｊ≤ｎ，ｒｔ为备选特征总数。其中＾，表示特征．，的弱分类假设，Ｉ｜ｌｉ可表示为：

吣）＝砝嚣ｋ鹏

其中Ｚ（并）为特征值，ｑ为阈值，ｎ为不等式方向符号因子。

（２）选择矗。（‘）＝ｈ＾（‘），对于Ｖｊ＃ｋ，吼＜ｑ，且占，＝占‘。

（３）更新毗“ｉ＝Ｗｔ，∥”‘，其中Ｅ＝ｏ，Ｉ表示对样本错分或

正确划分，且＝÷。

?最后的分类函数结果为：

Ｊｌ（茗）＝∑ａ，ｈ。（茗）≥÷∑口ｆ

其中ｑ＝ｌｏｇ÷，这样我们得到了ｒ个特征。２支持向量机

ＳＶＭ是从线性可分情况下的最优分类面发展而来的，对于非线性的问题，其首先通过核函数将样本数据映射到高维特征空间中，在高维特征空问构造最优分类面。设输入的模式集合㈠｝ＥＲ４由两类点组成，如果Ｘｉ属于第一类，则Ｙ。＝ｌ；如果茗。属

于第二类，则Ｙｉ＝一１，则训练样本集为ｈ，Ｙ。｝；ｉ＝１，２，…，ｎ，并

∈舻，Ｙ∈ｌ＋１，一ｌ｝，满足：

Ｙ。［（埘Ｘ毛）＋ｂ］一１≥０

ｉ＝１，２，…，Ⅳ

（３）

当样本不是线性可分时，可以通过引人正的松弛因子￡允许错分样本的存在。这时公式（３）变为：

Ｙｆ［（ＷＸ茗‘）＋６］一１＋ｆ．≥０

ｉ＝ｌ，２，…，＾ｒ

（４）

满足式（３）且使分类间隔２／Ｈ彬ＪＪ最大的分类面就叫最优分类面，利用Ｌａｇｒａｎｇｅ优化方法可以将上述最优分类面问题转

Ｑ（ｎ）＝∑口；一１／２∑ｎ。哆），；”（≈×芍）

（６）

ｉ＃Ｉ

ｌＪ２１

得到最优分类函数：

以石）

ｔ

＝ｓｉｇｎ（∑ｏｒ，’ｙ。＿ｊ｝（¨．）＋ｂ‘）

（７）

ｌ＝ｌ

其中：ｓｉｇｎ（）为符号函数，其取值决定石的类属；．｜｝（ｘ，算。）为核函

数，通过非线性变换中：∥一Ｆ将样本数据映射到高维李间中，然后在高维窄间寻找最优平面。常用的核函数有：多项式核函数Ｋ

（并，），）＝（掣＋１）４、高斯核函数ｅｘｐ（一１／（２０．２）忪一ｙ０２）。

３基于ＳＶＭ的图像分类

利用ＳＶＭ解决多类分类问题，目前丰要有两种途径：（１）

把多个２一类ＳＶＭ分类器进行组合，研究的内容包括对组合方式

的改进以及对每个２，类ＳＶＭ分类器的改进；（２）利用文献［９］

提出的将２一类ＳＶＭ从优化公式直接进行推广。目前主要有以下二种多类ＳＶＭ分类方法：

（１）一对一

构造所有可能的２．类ＳＶＭ分类器，每个分类器的训练数据集都只取相应的两类。这时共需要构造Ｎ＝ｋ（％一１）／２个２－类ＳＶＭ分类器。在构造第ｉ类与第』类之间的２．类ＳＶＭ分类器

时，训练集中的数据只来自相应的两类，并将第ｉ类与第．『类内的点分别标记为＋１和一１。测试时，将测试数据分别代入上述的Ｎ＝ｋ（ｋ一１）／２个２．类ＳＶＭ分类器进行测试，累计各类别的得分，选择得分最高所对应的类别为测试数据的所属类别。

（２）一对多

对于居．类问题，构造矗个２．类ＳＶＭ分类器，每个类对应其

中的一个，将它与其它的类分开；其中第ｉ个２－类ＳＶＭ分类器

是把第ｉ类中的样本都标记为＋ｌ，而其它所有的样本都标记为一１。也就是说，第ｉ个２－类ＳＶＭ分类器所构造的分类超平面，把第ｉ类与其它的（ｉ一１）类分割开。测试时，对测试数据分别计算对应于各个２．类分类器的决策函数值并选择最大的函数

值所对应的类别作为测试数据的所属类别。

本文采用一对多的方法构造分类器，这样可以减少分类器

的个数，提高分类速度。本文实现多类目标分类，设库中所有图像共有Ⅳ类，记为Ｔ＝｛Ａ。，Ａ：，…，Ａ。｝。对，ｖ类图像构造Ⅳ个２一类ＳＶＭ分类器，记为：Ｍ＝｛Ｍ，Ｍ，…，Ⅳ。｝，第ｉ个２一类ＳＶＭ

分类器用第ｉ类中的样本作为正的训练样本，而将其他的样本作为负的训练样本。对给定的一个语义类Ａ，∈Ｔ，构造其ＳＶＭ

分类器，则其分类问题中ｉ］ＪＩ练集可表示为Ｖ＝｛（石，，Ｙ，），（戈：，

Ｙ２），…，（‰，扎）｝。其中：矗表示支持向量机中的训练样本的数目。若Ｙ‘＝１，则表示Ｘｉ属于语义类Ａ。；若Ｙ。＝一１，则表示ｔ不

输出

基于Ｓ，个支持向量的线性变换

底层特征向量

图２

ＳＶＭ分类模型图

螽

惫万方数据

２４６计算机应用与软件２０１０年

属于语义类Ａ。，通过结合底层特征（即颜色和ＬＢＰ纹理特征）训练样本集来构造分类器，ＳＶＭ的模型结构如图２所示。

在图２中，我们用ｘ；＝｛石。，ｘ：，…，髫。Ｉ来表示所提取的图像的底层颜色和纹理特征，对于支持向量机Ⅳｌ，通过基于３ｉ个支持向量的非线性变换将输入空间变换到一个高维空间，最后通过中间层节点的线性组合输出Ｙ；，当Ｙ；＝１时表示图像ｚ。∈Ａ；；当Ｙ‘＝一ｌ时表示ｘ‘薯Ａｉ。

４实验结果分析

我们在一台Ｐ４２．８Ｇ，２ＧＢ内存的ＰＣ机上对本文的算法进行了仿真实验。其中图像库来自ｈｔｔｐ：／／ｗａｎｇＩ．ｉｓｔ．ｐｓｕ．ｅｄｕ／中的１０００幅，内容包括：自然风景、汽车、动物、花等十类主要的图片，每类有１００幅左右。取每类的５０幅图像作为训练图像，其它的５０幅图像作为测试图像，这样得到５００幅训练图像，实验中，我们采用文献［６］提出的方法选取了４９个颜色特征，并采用文献［７］中提出的３×３模板提取ＬＢＰ特征，将这些特征作为一个统一的备选特征库，通过１．２节中Ａｄａｂｏｏｓｔ算法对特征选择，本文选择了３０个最优的特征。

Ａｄａｂｏｏｓｔ方法中，每个训练样本被赋予了一个权值，表明它能否被当前弱分类器（简单而分类性能相对差的分类器，例如简单的感知机就可以作为一个弱分类器）正确分类。Ａｄａｂｏｏｓｔ方法通过不断地加入弱分类器，最终达到某个预定的足够小的错误率。在加入某个新的弱分类器的某次迭代中，如果一个训练样本已经被正确分类，其权值就被下调，否则．其权值就要被调高，以便使下一轮的弱分类器专注于这些被错误分类的样本。文中提出将弱分类器与弱特征（大量可选特征中的某一个特征）等价起来，每个弱分类器仅通过一个特征实现分类，并通过Ａｄａｂｏｏｓｔ算法组合弱分类器，从而同时实现了弱特征的选择与组合。用于提取对分类最有利的特征，并最终通过这些特征对图像进行分类。

通过Ａｄａｂｏｏｓｔ特征选择后，我们提取每幅图像的３０个最优的特征表示这幅特定的图像，然后利用这些学习构造相应的ＳＶＭ分类器。文中构造了１０个ＳＶＭ分类器．分别对应图像库中的１０类语义，实验中选用的核函数为高斯核函数ｅｘｐ（一１／（２０＂２）０茗一Ｙ０２）。为了说明本文算法的性能，我们将它与文献［８］提出的基于ＳＶＭＳ的语义图像分类方法进行对比实验，文献［８］提取颜色直方图、累积直方图和颜色矩作为颜色特征，特征的维数分别为１６２、１６１和９；然后使用Ｇａｂｏｒ小波变换提取图像的纹理特征，得到３２维的纹理特征向鼋。和文献［８］相比我们通过Ａｄａｂｏｏｓｔ特征选择后，特征的维数为３０，这样降低了特征维数，提高了分类的精度和减少了分类的时间。对比实验结果如表１和表２所示。

表１２种不同方法的分类精度比较

从表１中可以看出，提出的方法的分类精度比文献［８］提出的方法高，如文献［８］中的方法对恐龙图像的分类精度只有８９．４％，而本文提出，的方法的分类精度达到了９６．３％，提高了７．７２％，对建筑物的分类精度从７７．６％上升到８６．４％，提高了１１．３４％。

表２２种不同方法的分类时间比较

从表２中可以看出，对特征降维后，分类所用的时间降低了，如对于恐龙图像，文献［８］所采用的方法的分类时间为４．０５ｓ，而本文提出的方法所用时间为３．４２ｓ，分类时间减少了１５．５６％，对于图像库更大的情况下，这种优势更加明显，从表１和表２可以看出，本文提出的方法比文献［８］提出的方法要好。

５结论

本文提出多特征结合的图像分类方法，分别采用颜色特征和ＬＢＰ纹理特征，同时采用Ａｄａｂｏｏｓｔ对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高了分类的精度。最后对基于ＳＶＭ的多类图像分类方法进行了研究，提出在二类支持向量机的基础上构造多类分类器的方法。和文献［８］提出的方法比较，实验结果表明，分类准确率有了较大的提高。

参考文献

［１］孟祥增，刘彤彦．一种基于内容的图像自动分类方法［Ｊ］．情报杂志，２００５，４２（９）：１４—１５．

［２］ＺｈａｎｇＴｏｎｇｚｈｅｎ，ＦｕＹｏｎｇｇａｎｇ．Ａｎｉｍａｇｅｓｅｍａｎｔｉｃｒｅｔｒｉｅｖａｌｓｙｓｔｅｍｄｅ－ｓｉｇｎａｎｄｒｅａｌｉｚａｔｉｏｎ［Ｃ］／／ｐｒｏｃｏｆｔｈｅ５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＣｙｂｅｍｅｔｉｃｓ．２００５：５２８４—５２８９．

［３］ＳｚｕｍｍｅｒＭ，ＰｉｅａｒｄＲ．Ｉｎｄｏｏｒ—ＯｕｔｄｏｏｒＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎ．ＷｏｒｋｓｈｏｐｉｎＣｏｎｔｅｎｔ—ｂａｓｅｄＡｃｃ∞ｓｔｏｉｍａｇｅａｎｄｖｉｄｅｏｄａｔａｂａｓｅｓ，１９９８．Ｂｏｍｂａｙ。

Ｉｎｄｉａ．

［４］ＣｈａｐｅｌｌｅＯ，ＨａｆｆｎｅｒＰ，ＶａｐｎｉｋＶ．ＳＶＭｓｆｏｒＨｉｓｔｏｇｒａｍ?ｂａｓｅｄｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＩＥＥＥＴｒａｎｓｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ，１９９９。１０（５）：２２３—２３２．

［５］ＶａｉｌａｙａＡ．ＪａｉｎＡ．ＯｎＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎ：ＣｉｔｙＶＳＬａｎｄｓｃａｐｅ．ｗｏｒｋ－ｓｈｏｐｉｎｃｏｎｔｅｎｔ—ｂａｓｅｄａｃｃｅ８８ｔＯｉｍａｇｅａｎｄｖｉｄｅｏｌｉｂｒａｒｉｅｓ．ｓａｎｔａＢａｒ－

ｂａｒｎ，Ｃａｌｉｆｏｒｎｉａ，ｌ＿９９８．

［６］ＣｏｌｌｉｎｓＴＲ，“ｕＹ．Ｏｎ．ＬｉｎｅＳｅｌｅｃｔｉｏｎｏｆＤｉｓｃｒｉｍｉｎａｔｉｖｅＴｒａｃｋｉｎｇＦｅｚ－ｔｕｒｅｓ．ＰｍｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ

（ＩＣＣＶ＇０３）。Ｆｒａｎｃｅ，２００３．

［７】Ｍｔｉｅｎｐ船Ｔ，Ｐｉｅｔｉｋ｛ｉｉｎｅｎＭ．Ｔｅｘｔｕｒｅａｎａｌｙｓｉｓｗｉｔｈｌｏｃａｌｂｉｎａｒｙｐａｔｔｅｒｎｓ．Ｉｎ：ＣｈｅｎＣＨ＆ＷａｎｇＰｓＰ（ｅｄｓ）ＨａｎｄｂｏｏｋｏｆＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．３ｒｄｅｄ，ＷｏｒｌｄＳｃｉｅｎｔｉｆｉｃ。２００５：１９７—２１６．

［８］刘盈盈，石跃祥．一种基于ＳＶＭＳ的语义图像分类方法［Ｊ］．计算机应用研究，２００８，２５（２）：４５２—４５４．

［９］李昆仑，黄厚宽．模糊多类支持向量机及其在入侵检测中的应用［Ｊ】．计算机学报，２００５，２８（２）：２７４—２８０．

万方数据