基于支持向量机的图像分类研究
目录
摘要 (2)
Abstract (3)
1 引言 (3)
1.1 概述 (4)
1.2 统计学习理论 (4)
1.3 支持向量机及其发展简史 (5)
1.4 研究内容及其现实意义 (6)
2 持向量机模型的建立 (7)
2.1 SVM核函数 (7)
2.2 核函数的选择 (8)
2.3 SVM算法简介 (8)
2.4 SVM学习算法的步骤 (9)
3 图像内容的描述及特征提取 (10)
3.1 图像内容的描述模型 (10)
3.2 颜色特征的描述 (10)
3.2.1 颜色的表示和颜色模型 (10)
3.2.2 颜色直方图 (11)
3.2.3 累积颜色直方图 (12)
3.2.4 主色 (12)
3.3 纹理特征的描述 (12)
4 基于SVM的图像分类方法研究 (13)
4.1 分类系统的结构 (13)
4.1.1 特征提取模块 (13)
4.1.2 SVM分类模块 (13)
4.2 特征提取策略 (14)
4.3 实验 (14)
4.3.1 三种核函数的选择比较实验 (14)
4.3.2 基于颜色特征的图像分类 (17)
4.3.3 基于纹理特征的图像分类 (17)
4.3.4 基于综合特征的图像分类 (17)
5 结论 (18)
参考文献 (19)
摘要
支持向量机(SVM)方法是建立在统计学习理论基础之上的，克服了神经网络分类和传统统计分类方法的许多缺点，具有较高的泛化性能。但是，由于支持向量机尚处在发展阶段，很多方面尚不完善，现有成果多局限于理论分析，而应用显得较薄弱，因此研究和完善利用支持向量机进行图像分类对进一步推进支持向量机在图像分析领域的应用具有积极的推动作用。本文研究了图像的颜色、纹理等特征对利用支持向量机进行图像分类的影响。对支持向量机在图像分类中的应用作了较全面的研究。对三种核函数进行了对比实验，实验表明二项式核函数较高斯核函数和sigmoid核函数具有更强的泛化能力；同时，通过实验分析了特征选取对向量机性能的影响，发现综合特征有利于分类效果的提高。在以上研究的基础上，我们建立了一个基于svM的图像分类实验平台，讨论了系统的组成模块和功能，给出了一些图像分类实例，并验证了前述理论研究的结果。
关键词：统计学习理论支持向量机图像分类特征提取
Abstract
The support vector machine (SVM) method is based on statistical learning theory foundation, overcome the neural network classification and traditional statistical classification method of faults, and has high generalization performance. But, because the support vector machine (SVM) is still in the development stage, many still not perfect, the existing results more limited to the theoretical analysis, and the use of appear more weak and therefore study and improve the use of support vector machines to image classification support vector machine to further advance in the application of image analysis play a positive role in promoting. This paper studies the image color, texture features on the use of support vector machine was the influence of image classification . To support vector machine (SVM) image classification in the application of a comprehensive. Three kinds of kernel function to the contrast experiment and the simulation results show that the binomial kernel function is gaussian kernel function and sigmoid kernel function is of stronger generalization ability; At the same time, through the experimental analysis the feature selection of vector machine performance, the effects of the comprehensive features found to the improvement of the classification results. In the above the basis of the study, we set up a svM based on the image classification experimental platform, discuss the system composition modules and functions, and gives some image classification examples, and verified the theory research results.
Keywords: statistical learning theory support vector machine image classification feature extraction
1 引言
1.1 概述
随着信息社会的到来，人们越来越多的接触到大量的图像信息。每天都有大量的图像信息在不断的产生(如卫星、地质、医疗、安全等领域)，这些图像信息的有效组织和快速准确的分类便成了人们亟待解决的课题。图像分类就是利用计算机对图像进行定量分析，把图像中的每个像元或区域划归为若干类别中的一种，以代替人的视觉判读。图像分类的过程就是模式识别过程，是目视判读的延续和发展。
本文提出了一种利用支持向量机(SupportVector Machine，简称SVM)的图像分类方法。支持向量机是在统计学习理论基础上发展起来的一种机器学习方法。基于数据的机器学习是现代智能技术中的一个熏要方面，研究的实质是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能对未知输入作出尽可能准确的预测和估计。现有的机器学习方法的重要理论基础之一是统计学。传统统计学研究的是样本数目趋于无穷大时的渐进理论，现有学习方法也多是基于此假设。但在许多实际问题中，样本数往往是有限的，并且有时候还不知道数据之问内在相关性，因此常常使得一些理论上很优秀的学习方法在实际中表现却差强人意。
随着统计学习理论(Statistical Learning Theory，简称SLT)的提出，以及在其基础上发展起来的支持向量机的出现，越来越受到广泛的关注和重视，这使得传统的统计学受到了前所未有的挑战口。
1.2 统计学习理论
与传统统计学相比，统计学习理论是一种专门研究小样本情况下学习规律的理论。V.Vapnik和chervonenkis等人从六、七十年代开始致力于此方面的研究，他们做了大量开创性、奠基性的工作，这些工作主要是纯理论性的，故当时未引起人们的重视。在此后的二十多年里，涉足这一领域的人不多。直到九十年代，它一直是作为一种针对有限样本的函数预测问题的纯理论分析工具。虽然早期的统计学习理论提出了VC维理论，为衡量预测模型的复杂度提出了有效的理论框架。但它仍然是建立在经验风险最小化原则基础上的，即：以训练的平均误差为最小的模型作为期望的最终模型。直到九十年代中期，Vapnik和他的At&T Bell 实验室小组提出了基于该理论设计的SVM，在解决一系列实际问题中获得成功，表现出了优良的学习能力，尤其是泛化能力，SVM的提出进一步丰富和发展了统计学习理论，使它不仅是一种理论分析工具，还是一种能构造具有多维预测功能
的预测学习算法的工具，使抽象的学习理论能够转化为通用的实际预测算法。这标志着该理论的发展和成熟，同时，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。目前，有关这一理论及其应用的研究正在快速发展。统计学习理论是建立在一套较坚实的理论基础之上的。它的主要内容包括：经验风险最小化标准统计学习的一致性条件：在这些条件下关于统计学习方法推广性的界的结论；在这些界的基础上建立的小样本归纳推理准则；实现新的准则的实际方法。其中，核心内容是：VC维；推广性的界和结构风险最小化。它为解决有限样本学习问题提供了一个统一的框架。并有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等)；同时，在这一理论基础上发展了一种新的通用学习方法一一支持向量机(SVM)，它已表现出许多优于已有方法的性能。
1.3 支持向量机及其发展简史
早在六十年代，SVM的奠基人V.Vapink就开始了统计学习理论的研究。
1971年，V.Vapink和Chervonenkis在“The Necessary and Sufficient Conditions for the Unifoms Convergence of Averages to Expected values，一文中，提出了SVM的一个重要的理论基础--VC维理论。
1982年，在“Estimation of Dependences Based on Empirical Data”一书中， V.Vapnik进一步提出了具有划时代意义的结构风险最小化原理，为SVM 奠定了直接的、坚实的理论基础。
1992年,B.Boser,T.Guyon和V.Vapnik，在“A Training Algorithm for Optimal Margin C1assifiers”一书中，提出了最优边界分类器，由此形成了SVM的雏形。SVM的提出被认为是机器学习的一个重要革新。
1993年，Cortes和Vapnik，在“The Soft Margin classifier”一文中，进一步探讨了非线性最优边界的分类问题。
1995年，Vapnik在“The Nature of statistical Learning Theory”一书中，完整地提出了SVM分类。
1997年，V.Vapnik，S．Gokowich和A．Smola，发表的“Support Vector Method for Function Approximation，Regression Estimation,and signal Processing”，一文中，详细介绍了基于SVM方法的回归算法和信号处理方法。
1998年，Smola在他的博士论文中详细研究了SVM中各种核的机理和应用，为进一步完善SVM非线性算法做出了重要的贡献。
l999年，B．Schokopf和S．Mika等人在“Input SpaceVersus Feature Space in Kemel-Based Methods”一文中提出了将核变换和核技巧用于空间变换。同年，
B．scholkopf，C.J.C.Burges和A．J．Smola在“Advances in Kemel Methods —support Vector Learning”一文中详细阐述了核方法。上述及同期其它学者的工作，将隐含在SVM中的核方法引申出来，并且得以发展和完善。核方法的提出、完善和进一步地应用，是SVM对学习算法的重要贡献，是SVM发展的一个重要里程碑。
由于SVM具有优越理论基础和极具前景的应用价值，它吸引了国际上众多的知名学者，近几年出现了许多发展和改进的SVM算法，SVM正同益引起广泛的重视，尤其值得一提的是在1999年《IEEE Transactions on Neural Networks》出版了专辑以推动SVM的迅速发展。此后，一方面是核的优化、核技巧的应用以及SVM的改进，这是对标准SVM的一个有益补充，另一方面，研究贝叶斯方法与SVM关系的文章陆续发表，这种统计学的解释对为SVM寻找一个合适的核具有一定的指导意义。这是一个值得注意的新的研究方向。支持向量机方法的重要理论基础是统计学习理论的VC维理论和结构风险最小原理(SRM)。它有以下几个主要优点：
1．它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅是样本趋于无穷大时的最优值；
2．算法最终将转化为一个二次型寻优问题，从理论上讲，得到的将是全局最优点，解决了神经网络方法中无法避免的局部极值问题。
3．算法将实际问题通过非线性变换到高维的特征空间，在高维空间中构造线性判别函数以替换原空间中的非线性判别函数，这样能保证机器有较好的推广能力，同时它巧妙的解决了维数问题，其算法复杂度与样本维数无关。在SVM 方法中，只定义不同的核函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数方法、多层感知器网络等许多现有学习算法。SVM克服了神经网络分类核传统统计分类法的许多缺点，具备较高的泛化能力，可以替代多层感知机核多项式神经网络等已有的学习算法。
概括的说，SVM是一种专门研究有限样本预测的学习方法。与传统统计学相比，SVM没有以传统的经验风险最小化原则作为基础，而是建立在结构风险最小化原理基础上，发展成为一种新型的结构化学习方法。SLT和SVM正在成为继神经网络研究之后新的研究热点，并将有力的推动机器学习理论和技术的发展。
1.4 研究内容及其现实意义
首先应该指出的是，在某些方面，SVM同神经网络的研究方法是可以相互借鉴的。正如在对神经网络的研究一样，人们在SVM的研究方面不能抱有矛盾的幻想，一方面想使其功能强大无比，任何情况下都具有极高的泛化能力；另一方面，
又要求SVM具有良好的性能，例如全局收敛且收敛速度快。这显然是不现实的，它应该是人们不断为之奋斗的目标。因此在SVM的研究方面必须有所侧重，本文在SVM的研究中偏向于它的性能和应用性，即要求保证全局最优的基础上，尽量提高收敛速度，使其在图像分析中发挥很好的作用：而对SVM的容量控制等理论问题，本文暂不过多涉及。
本文对以下问题做了研究：
1。分析SVM模型中核函数的特性，探讨核函数与SVM分类器性能的关系，为下面的研究做铺垫。
2．利用上述的分析，研究了图像的特征对SVM分类器的影响，主要利用了颜色特征和纹理特征，分别对颜色图像分类、纹理图像分类以及综合特征的图像分类进行了比较，并在Pc机上进行大量的实验，对实验数据进行对比和分析。
2 持向量机模型的建立
利用SVM进行图像分析时，必然会面临SVM模型的建立问题，包括：核函数的选择，SVM参数的选择，多类问题算法以及算法的实现。本章着重讨论了SVM 模型建立时需要解决的几个问题。首先是对核函数进行了重点分析，并从理论上分析了惩罚系数c对分类性能的影响，然后讨论了实现算法以及多类问题。本章主要为后面的研究内容提供了一个必要的基础和铺垫。
2.1 SVM核函数
核函数是SVM模型建立的一个主要问题，因为核函数在支持向量机中占有比较重要的地位，所以本节将其单独列出来，对现有的研究成果进行整理和分析，为以后的实验打下坚实的理论基础。
Vapnik在SVM理论中提到，当问题不是线性可分时，利用核函数将样本集映射到某一高维空间，使得样本集在高维空间的像集是线性可分的。
定理：对任给的样本集K，均存在一映射墨K1,K2两类，则必然存在一映射F：Sn→M，F(K)在M中是线性可分的。
该定理说明：对任给的样本集K，均存在一映射F，在此映射下，F(K)(在高维空间中)是线性可分的。
上述即为核函数的存在性定理，该定理为在任意样本集上应用核方法(包括SVM)提供了理论保证。
2.2 核函数的选择
支持向量机模型最重要的一个参数就是核函数。选择什么样的核函数，就意味着将训练样本映射到什么样的空间去进行线性划分，核函数的选择关系到能否得到正确识别结果，而怎样从理论上保证选择最优的核函数仍是一个有待解决的问题，目前多是通过实验来决定。
2.3 SVM算法简介
近年来，随着统计学习理论和支持向量机越来越受到广泛的关注，陆续提出了许多关于SVM的训练算法，其算法也日益完善。下面就简单介绍一下SVM算法。SVM训练算法主要有三类：二次规划算法，分解算法和增量算法。另外，针对特定的问题，很多研究者在这三类算法的基础上提出了很多改进算法，这些算法在特定问题的解决中表现出了很好的效果。
第一类是二次规划算法。在前面的分析中多次提到，SVM可以归结为一个二次规划(QP)问题，QP是一种常见的优化问题，有一套比较成熟的理论基础。从数学角度分析，SVM是一个求条件极值问题，其通常的解法有罚函数法和单纯形法。
罚函数法的基本思想是将解不满足约束条件的程度作为惩罚项加在目标函数中，将条件极值问题转化为无条件极值问题来处理，求得其解后增大惩罚力度，将上一步的结果作为下一次寻优的起始迭代点，再求解无条件极值问题，直到满足约束为止。
单纯形法是先随机找到一个可行点作为初值点，构造以可行点为顶点的单纯形，然后按某种搜索策略逐步缩小单纯形，直至各项点间的距离在允许误差范围内为止。
第二类是分解算法。当训练样本增加时，二次规划算法存在训练速度慢，效率低下，算法复杂而难以实现等问题。为此，一些学者提出了处理大规模训练集的算法。
Cones和Vapnik提出Chunking算法，该算法每次求解一个子QP问题，得到若干支持向量。用这些支持向量和一些不满足优化条件的样本，构成新的子QP问题，而初始子问题由任意若干个样本构成。重复上述过程，知道所有样本满足优化条件。该方法存在的问题是，当支持向量较多时，算法的训练速度明显变慢。因为该方法实际求解的QP问题中的赫赛(Hessiall)矩阵的规模下降为最多。
P1att提出了SMO(Sequential Minimal和mization序贯最小优化)算法。
该算法将工作样本集的规模减到最小一一两个样本的情况，其优点是针对两个样本的二次规划问题可以有解析解的形式，从而避免了多样本情况下的数值解不稳定及耗时问题，同时也不需要大的矩阵存储空间，特别适合稀疏样本，算法避开了复杂的数值求解优化问题的过程。
此外，SVM算法工作集的选择也别具特色，不是传统的最陡下降法，而是采用启发式策略，通过两个嵌套的循环来寻找待优化的样本变量。在外循环中寻找违背KKT(Karush．Kuhn．Tuckcr)最优条件的样本，然后在内循环中再选择另一个样本，完成一次优化。再循环，进行下一次优化，直到全部样本都满足最优条件，这大大加快了算法的收敛速度。sM0算法主要耗时在最优条件的判断上，所以应寻求最合理即计算代价最低的最优条件判别式。
第三类是增量算法。训练方式是在训练样本单个输入的情况下训练，其训练样本总的个数是未知的。最典型的应用是系统的在线辨识。Ahmed．s．N最早提出了SVM增量训练算法，但只是近似的增量，即每次只选一小批常规二次规划算法能处理的训练样本，然后只保留支持向量，抛弃非支持向量，和新进来的样本混和进行训练，知道训练样本用完为止，实验表明误差可以接受。Cauwenberghs G等人提出了增量训练的精确解，即增加一个训练样本或减少一个样本对Lagrange系数和支持向量的影响，实验表明算法是有效的，特别是减少一个样本时，对模型选择算法LOO(Leave one out)的形象解释，缺点是当样本无限增多时，还是必须抛弃一些样本，使其能够实用。
此外，在以上三类基本算法的基础上，许多学者还提出了其他的算法，如；张学工提出的CSVM算法，将每类训练样本集进行聚类分成若干个子集，用子集中心组成新的训练样本集训练SVM等。这些算法为SVM的广泛应用起到了推动作用。
2.4 SVM学习算法的步骤
1)获取学习样本(x，y)，i=1，2，…,n。
2)选择进行非线性变换的核函数及对错分(误差)进行惩罚的惩罚因子C。
3)形成二次优化问题。
4)用优化方法(如前面提到的chullking、sMO算法)解该优化问题。
5)获得口，口’及6的值，代入方程中，获得分类的支持向量机。
6)将需要预测或分类的数据代入支持向量机方程中获得结果。
3 图像内容的描述及特征提取
3.1 图像内容的描述模型
图像的表示是图像分析和处理的基础，因此我们首先需要定义一种模型来描述一幅图像。本文采用了多媒体对象模型来表示图像对象。
对一幅图像I，可以用如下表达式来描述： I=(D，C，V)
其中：D表示图像I的原始数据；C={Ci，i=l，2，．．．，Nc}，表示描述图像所采用的特征类别，如颜色，纹理等；V=(Vij，i=l，2，．．．，Nc ，j=1，2，．．．，Ni)，表示各个类中用到的具体特征，如颜色直方图、灰度共生矩阵等，每一个Vij都是由多个分量（Vij1，Vij2，…，Vijn）组成的一维向量。
3.2 颜色特征的描述
颜色是图像的一种重要视觉性质，是图像内容组成的基本要素，是人识别图像的主要感知特征之一。
颜色特征定义比较明确，抽取也相对容易，相对于其他的特征，颜色特征非常稳定，对于旋转、平移、尺度变化等都不敏感，表现出相当强的鲁棒性，而且颜色特征计算简单。因此在图像处理中得到广泛的重视和研究，是应用最广泛的特征。
3.2.1 颜色的表示和颜色模型
在图像的自动分析中，颜色是一种能简化目标提取和分类的重要描述符,所以选择合适的对颜色的表达方式是很重要的。另一方面也需要注意，对颜色的特征表达依赖于所用的颜色模型，并不是所有的颜色空间都与人的感觉相一致。人类对颜色的感觉与许多物理现象、神经心理学效果和生理行为都有关，且关系是比较复杂的。在国际标准MPEG一7中推荐了一种颜色描述符一～颜色空间，它给出了可用于其他颜色描述符的颜色空问：RGB，YcbCr，HSV， HMMD，相对于RGB的线性变换矩阵。
考虑到颜色模型的用途，常用到的颜色模型可分两类。一类面向诸如彩色显示器或打印机之类的硬设备。另一类面向视觉感知或者说以颜色处理分析为目的的应用。
RGB是一种面向硬设备的最常用模型，也是计算机和图像处理领域最常用的颜色空间。我们的眼睛通过三种可见光对视网膜的椎状细胞的刺激来感受颜色。国际照度委员会(CIE)早在1931年就规定红、绿、蓝这3种基本色的波长分别为
700nm，546.1nm，435.8nm。通过对各刺激强度的比较，我们感受到光的颜色。这种视觉理论就是使用红、绿、蓝三种基色来现实彩色的基础，称之为RGB颜色模型。
RGB模型可以建立在笛卡尔坐标系统里，其中3个轴分别为R、G、B。RGB 模型的空间是个正方体，原点对应黑色，离原点最远的顶点白色。在这个模型中，从黑色到白色的灰度值分布在从原点到离原点最远顶点之间的连线上，而立方体内其余各点对应不同颜色，可用从原点到该点的向量表示。这种空间颜色的欧式距离与颜色感知距离不成线性关系，即用欧式距离不能准确的反映颜色的视觉距离。
HSV模型是面向彩色图像处理的最常用模型，其中Hue(H)表示颜色的主色调，用0到360度的角度表示，Saturation(S)表示饱和度，Value(V)表示颜色的亮度。人们区分颜色就常用3个基本特性量：亮度、色度和饱和度。亮度与物体的反射率成正比，如果无彩色就只有亮度一个维量的变化。对彩色来说，颜色中掺入白色越多越明亮，掺入黑色越多亮度就越小。色调是与混合光谱中主要光波长相联系。饱和度与一定色调的纯度有关，纯光谱色是完全饱和的，随着白光的加入饱和度逐渐减少。色调和饱和度合起来成为色度。所以颜色可用亮度和色度共同表示。
HSV模型有两个重要的特点：首先亮度分量与色度分量是分开的，V分量与图像的彩色信息无关。其次，H及S分量与人感受彩色的方式紧密相连。这些特点使得HSV模型非常适合基于人的视觉系统对彩色感知特性进行处理分析的图像算法。
3.2.2 颜色直方图
表示图像内容的一种直观方式是对象素颜色特征(如H分量)出现的频率进行统计，得到颜色直方图。颜色直方图反映的是图像中颜色的组成分布，及出现了哪些颜色以及各种颜色出现的概率。
颜色直方图表现的是图像的一种全局特性。每一幅图像具有唯一的颜色直方图，但不同的图像可能具有相同的颜色直方图。Swain和Ballard首先提出了使用颜色直方图作为图像颜色特征的表示方法。他们还指出：颜色直方图相对于图像的以观察轴为轴心的旋转以及幅度不大的平移和缩放等几何变换是不敏感的，颜色直方图对于图像质量的变化也不甚敏感。颜色直方图的这种特性使得它比较适合用于检索图像的全局颜色相似性的场合，即通过比较颜色直方图的差异来衡量两幅图像在颜色全局分布上的差异。
3.2.3 累积颜色直方图
当图像的特征不能取遍所有可能的取值时，颜色直方图中会出现一些零值。这些零值的出现会对计算直方图的相交带来很大的影响，从而使得算出的匹配值不能正确反映两幅图像之间的颜色差别。对此，Strickcr和0rengo提出了使用“累积颜色直方图”的概念。假设颜色直方图中共有L种颜色并按一定的顺序排列。
3.2.4 主色
尽管一幅真彩色图像可能有成千上万种颜色组成，但是在很多情况下，往往时图像中少数几种颜色就涵盖了图像中的大多数象素。这些颜色被成为图像的主色。他们可以通过分析图像的颜色直方图得到。一些实验表明，使用主色一般不会降低颜色匹配效果。只是因为颜色直方图中那些只有少数几个象素映射其上的颜色往往是一种干扰噪声，主色表示排除了这种干扰。HJ．Zhang在试验中提出了基于20种主色的表示方式。
3.3 纹理特征的描述
纹理是描述图像时常用的一个概念(类似于颜色，也常取决于感知1。它是图像中一个重要而又难于描述的特性，在计算机视觉、模式识别以及数字图像处理中有着非常广泛的应用前景。纹理通常被看作图像的某种局部性质，或是对局部区域中象素之间关系的一种度量。另外，纹理特征也可用来对图像中的空间信息进行一定程度的定量描述。
对纹理图像的描述常借助纹理的统计特性或结构特性进行，对基于空域的性质也常可转换到频域进行研究。所以目前纹理分析的方法基本可以分为以下四种：统计法、结构法、模型法和空间法/频率域联合分析法。基于统计的方法是对图像中的颜色强度的空间分布信息进行统计，包括共生矩阵法、Laws纹理能量法等口”；基于结构的方法将重点放在分析纹理基元之间的相互关系和排列规则上；基于模型的方法假设纹理按某种类型分布，如Markov随机场模型、分形模型等；基于空间/频率域联合分析法主要包括Gabor变换法和小波变换法等。纹理特征提取比较有效的方法是以灰度级的空间相关矩阵即灰度共生矩阵为基础的，随后又有不少人提出了纹理的特征集。但目前还没有一个统一的标准来精确的表示纹理的特征，因为人对纹理的视觉特征的认识非常主观。
4 基于SVM的图像分类方法研究
4.1 分类系统的结构
基于支持向量机的图像分类实验系统的框架示意图如下：
图4.1系统结构图
为了有效的进行实验，我从web等处下载了若干组共1000幅图像作为实验的图像数据库。对于做实验的图像类别的选择，主要遵循了两个原则：1)图像类别不能够过于抽象，像自然风光类、季节类、某个国家或者地区类的图像，因为这类图像难于从颜色纹理特征上把握其共同点：2)同类图像之间不能过于相似，背景颜色相同的各国国旗，使用传统的基于内容的检索方法就能达到极好的检索效果，这样做实验就失去了意义。据此，选择了如下的图像类别：
表4.1
实验中，每个类别的2，3用来训练，“3用来测试，并用识别率作为评价指标。
从上图中可以看到，该系统主要分为两个模块：一个是图像特征提取模块；一个是基于支持向量机的分类模块。下面分别简单介绍这两个模块。
4.1.1 特征提取模块
浚模块主要负责对图像数据库中的图像进行特征提取，并对其进行特征归一化处理，然后把图像的特征值输出到相应的文件中，以作为下一个模块的输入。在该模块中，可以进行以下各个特征的提取：图像的RGB特征，图像的HSV特征，以及他们的直方图、累积直方图和颜色矩，基于灰度共生矩阵的各个纹理特征，除了这些单个特征以外，还可以对任意两个或多个特征进行组合，形成综合特征。
4.1.2 SVM分类模块
该模块以特征提取模块的输出文件作为输入，可以对支持向量机的各个参数进行选择，包括核函数及其参数，然后用一定量的样本对该学习机进行学习和训
练，用测试样本来测试，得到最后的分类效果。
4.2 特征提取策略
RGB空问的量化
对于RGB颜色空间，分别将R、G、B三个分量量化为64级
HSV空间的量化
对于HSV颜色空间，分别将H、s、V三个分量量化为18、3、3级，从而形成一个162级的量。
直方图和累积直方图
在RGB空间中，对R、G、B三个分量进行统计，由于采用了64级的量化方式，这将形成一192维的向量；在HSV空间中，由于采用了162级的量化方式，从而形成一162维的向量。
颜色矩
对于图像的颜色矩，在RGB空间和HSV空间分别对三个分量统计了其一阶、二阶、三阶矩，形成一9维的特征向量。
灰度共生矩阵
对于图像的灰度共生矩阵，首先在RGB空间中提取图像的颜色特征，然后按文献中提到的色彩系统变换法公式G=0.299R+0.587G+0.114B将彩色值转化为灰度值，并将其量化为32级，然后取便宜量为5，方向分别为O，45，90，135,统计图像的灰度矩阵，对每一个矩阵计算了能量、熵、惯性矩、相关四个量，从而形成一16维的向量。
4.3 实验
4.3.1 三种核函数的选择比较实验
最常用的三种核函数：多项式核函数K(x，xi)= [σ(x·xi)+1]q，径向基核函数 (高斯核函数) K(x，xi)=exp[-σ|x-xi|2]，Sigmoid核函数K(x，xi)=tanh (σ(x·xi)+c)。
对于此实验，特征选取F={灰度共生矩阵，HSV直方图)，总维数为178维。对于径向基核函数，盯分别取值O．1、0．5、1、2、5；对于多项式核函数，令σ=1，q分别取值为1、2、3、4、5；对于sigmoid核函数，令σ=1，c取值
0.5、0.3、0.1、O、-0.1、-0.3、-0.5。同时根据文献，取c的值为100。
图4.1，4.2，4.3分别给出了三种核函数的学习曲线：
图4.1 多项式核函数不同参数识别率学习曲线
图
4.2
高
斯
核
函
数
不
同
参
数
识
别
率学习曲线
图4.3 sigmoid核函数不同参数识别率学习曲线
通过对实验数据的分析，可以看到：
对于多项式核函数，在q取值为3时，分类效果最好，随着q的增加，识别率略有降低，表现比较稳定。同时，我们看到在对办公室和汽车图像时的分类效果非常好。
对于高斯核函数，在σ取值0．1时，分类效果非常差，在取值0．5时的分类效果最好，然后随着盯的增加，识别率下降，降幅比较大，不是很稳定。
对于Sigmord核函数，在c取值为-0.3的时候，分类效果取得最好，之后表现不稳定，出现振荡现象。同时，我们看到c取负数的分类效果要好于取正数时的情况，这符合一文对Sigmord核函数的分析。
纵观三种核函数，不管从稳定性还是分类效果来说，可以很明显的看出多项式核函数的表现是最好的。高斯核函数只在σ取值0.5时分类效果较好，其他时候表现不是很稳定；而跏mo耐核函数也表现不是很稳定，出现了振荡现象；多项式核函数的平均识别率是三者最高的，能达到的最大识别率也是最高的，而且表现比较稳定，没有大幅度的升降。因此，在后续的实验中，我们将采用多项式核函数，并取q值为3。
4.3.2 基于颜色特征的图像分类
在此实验中，选取特征F={HSV直方图}，总维数为162维和F={HSV颜色矩}，总维数为9维。SVM模型的惩罚系数c取值为100，核函数选择多项式核函数，σ=1，q设为3。实验结果见表4.2，该结果与文献中的识别率相吻合。从表中可以看出，采用颜色矩比直方图方法能得到更好的识别率，这说明颜色矩比直方图更多的考虑了图像的空间分布信息，能更多的表达图像的信息，并且，对SVM 来说，特征维数的的多少与分类效果并没有必然联系。
4.3.3 基于纹理特征的图像分类
在此实验中，选取特征F={灰度共生矩阵)，总维数为16维。SVM模型的惩罚系数C取值为100，核函数选择多项式核函数，σ=1，q设为3。实验结果见表4.2，该结果比文献中的识别率高10％，究其原因，主要是因为在文献中的实验只用了一个方向的灰度共生矩阵，而在我的实验中，用了O，45，90，135等四个方向的灰度共生矩阵，因而具有更多的图像相关信息，从而得到了更好的实验结果。
4.3.4 基于综合特征的图像分类
出于考虑到利用更多的图像相关信息能得到更好的分类效果，因此在前面两个实验的基础上，我提出了一种利用图像综合特征的分类方法口。并作了大量的实验来验证该方法的可行性，同时和单特征进行了比较。在此实验中，选取特征F={灰度共生矩阵，HSV直方图)，总维数为178维。SVM模型的惩罚系数c取值为100，核函数选择多项式核函数，σ=1，q设为3。实验结果见表4.2
从实验结果来看，利用图像综合特征的分类方法是可行的，并且比采用单类特征的分类效果更好，这说明人们获取图像信息是多方位的，不是仅仅用颜色或者只用纹理就可以刻画的，特征类别越多，越能更好的捕获用户的需求。使用的
特征越多，分类效果就越好。同时我们看到，特征维数的多少与分类效果没有必然联系，与具体采用的是什么特征有关。
5 结论
本文通过支持向量机技术和图像特征提取技术实现了一个图像分类实验系统。文中首先引入了统计学习理论和支持向量机概念，对支持向量机做了较全面的介绍。主要分析了核函数的特性，探讨了参数的选择与SVM分类性能之间的关系，重点分析了惩罚系数对分类性能的影响，最后对实现算法和多类问题进行了简单介绍。
然后，讨论了图像特征的描述和提取方法，包括图像的颜色和纹理特征。在颜色特征中，介绍了多种彩色模型和彩色空间，彩色特征的提取和表达等方法；在纹理特征中，分别介绍了四种纹理特征的基本表示方法，包括共生矩阵表示方法。
最后讨论了特征的归一化问题。最后介绍了我们自己实现的图像分类实验系统，并论述了在该系统之上进行的利用各种特征的图像分类实验和三种核函数比较实验：首先是对三种核函数的对比实验，实验表明二项式核函数较高斯核函数和sigmoid核函数具有更强的泛化能力。在上述实验的基础上，分别提取颜色直方图特征，颜色矩特征，灰度共生矩阵特征和颜色直方图加灰度共生矩阵的综合特征，进行图像分类实验。实验结果表明，利用图像综合特征的分类方法是可行的，并且采用综合特征方法比采用单一特征方法进行分类得到的结果更令人满意。
参考文献
[1]张学上．关于统计学习理论与支持向量机.自动化学报，2000，26(1)
[2]边肇棋．模式识别(第二版)北京：清华大学出版．2000
[3]Cherkassky V.Mulier F.LeamingfromData：Concepts,Theory and Methods．NY：John Viley＆Sons，2006
[4]马永军．支持向量机及其在图像分析中的应用研究．中国科学技术大学．博士论文．2002
[5]胡适耕，施宝昌．最优化原理[M]．武汉：华中理工大学出版社．2000
[6]张铃．基于核函数的SVM与三层前向神经网络的芙系．计算机学报.2002，25(7)：696—700．
[7]施光燕．最优化方法．高等教育出版社．1999
[8]章毓晋．图像工程(上册)一图像处理和分析．北京：清华大学出版社．1999
[9]PlataIliotisKN,VenetsanopoulosA.colorImagePmcessingandApplications ．2000
[10]肖靓．基于SVM综合利用颜色和纹理特征的图像分类和检索．通讯和计算机，2005