基于支持向量机的多分类方法研究_郎宇宁
１引言
２多分类支持向量机２．１一类对多类法
支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）是Ｃｏｒｔｅｓ和
Ｖａｐｎｉｋ于１９９５年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到
函数拟合等其他机器学习问题中。支持向量机方法是建立
在统计学习理论的ＶＣ维理论和结构风险最小原理基础上
的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本
的能力）之间寻求最佳折衷，以期获得最好的推广能力。
然而，支持向量机本身是一个两类问题的判别方
法，实际应用中经常需要对多类问题进行分类，这就涉及到多类问题到二类问题的转换。本文对目前常用的多分类
方法进行了分析，并给出了一些建议。
目前关于支持向量机的多类分类方法研究主要是在两种指导思想下进行的：
（１）直接方法：将多个分类面的参数求解合并到一
个最优化问题中来，通过求解该问题实现“一次性”的多
类分类。真的一次性考虑所有样本，并求解一个多目标函数的优化问题，一次性得到多个分类面：
约束条件为：
其中ｉ＝１，２，……ｎ，ｎ为样本数量；ｍ＝１，２……ｋ，
ｋ为类别数量。
决策函数：，判别结果为第ｉ类。
（２）间接方法：通过构造一系列的两类分类器并将他们通过某种方式组合在一起间接实现多类分类。
第一种方法看起来比较直观，但是在求解过程中的变
量远远多于第二种方法，在求解速度及精度方面不及第二
种方法，本文着重对第二种方法进行了分析。ＯＶＲ（ＯｎｅＶｅｒｓｕｓＲｅｓｔ）方法其步骤是构造Ｋ个两类分类
器（共Ｋ个类别），第ｉ（０＜ｉ＜Ｋ＋１）个分类器可以区分第ｉ个类别和其他剩余的所有类别。训练是取第ｉ类为正类，其余的
都算作负类。测试时让每个训练样本都经过Ｋ个分类器，最
后考察Ｋ个结果。若第ｉ分类器的结果为正，则把这个样本判
给第ｉ类，若没有一个分类器的结果为正，则拒绝判定。该方法的优点是简单，直观，缺点就是存在拒分区域
（Ａ，Ｂ，Ｃ，Ｄ），决策边界比较复杂，容易导致“数据倾斜”，
泛化能力不强。
图１
图２基于支持向量机的多分类方法研究
郎宇宁蔺娟如１２
（１．西南交通大学，四川成都６１００３１；２．山西师范大学数学与计算机科学学院，山西临汾０４１０００）
摘要：支持向量机是一种典型的两类分类方法，如何将其扩展到多分类领域是一个重要的问题。本文对现有的多类支持向量机算法作了一定的分析，并提出了一些建议，希望对研究者以后的研究有所帮助。
关键词：统计学习；支持向量机；多分类ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７１－６３９６．２０１０．１７．０１２
Abstract:SupportVectorMachine(SVM)isatypicaltwo-classclassification.Ithasbeenanimportantissuetohowtoextendittomulti-classfield.Inthethesis,basedonexistingmulti-classsupportvectormachinemethodsareanalyzed,thenputsforwardsomesuggestionstohelpresearchersinlaterstudies.Keywords:Statisticallearningtheory;Supportvectormachine;Multi-classclassification
收稿日期：修回日期：作者简介：２０１０－０５－０３２０１０－０５－３０
郎宇宁，男，汉族，研究生，研究方向为数据仓库、数据挖掘。28中国西部科技２０１０年０６月（中旬）第０９卷第１７期第２１４期总２．２一类对一类法
２．３二叉树分类
２．４ＤＡＧ－ＳＶＭ３总结和展望ＯＶＯ（ＯｎｅＶｅｒｓｕｓｏｎｅ）方法又称为“成对分类法”，其
步骤是在训练阶段每两个类别之间构造分类器，这样Ｋ个类别需要构造Ｋ（Ｋ－１）／２个分类器。判别时将每个未知样本
依次通过各分类器，最后统计各个类别的“得票数”，将
该样本判给得票数最多的那个类别。该方法决策边界简
单，分类精度较高，缺点是分类器数目随类别的增加而急剧增加，训练时间长，存在拒分区域（Ｄ）。
二叉树法（ＢｉｎａｒｙＴｒｅｅ）类似于排序中的快速排序，
先将所有类别按照某一划分规则分成两个大的类别，然后对每个类别依次按照规则划分，直到不可分。该方法优点
是判别速度快，不存在拒绝域，缺点就是分类规则的选取
对分类树的性能影响较大，泛化能力不强。对于规则的选
取目前还没有比较统一的方法。有向无环图（ＤｉｒｅｃｔｅｄＡｃｙｃｌｉｃＧｒａｐｈ）分类法在训
练阶段和ＯＶＯ一样，都是先构造Ｋ（Ｋ－１）／２分类器，但是在
训练阶段类似于二叉树分类，只不过在节点的选取上是从已经训练好的分类器中选取，过程如图４所示。
该方法的优点是直观，不存在拒绝域，训练速度比较
快，分类效率较高。缺点是存在自上而下的“误差积
累”，如果头节点选取不当，对分类精度影响很大。
ＳＶＭ多类分类问题是个重要而又复杂的问题，目前还没
有得到很好的解决。“天下没有白吃的午餐”，有的方法
在速度上有优势，有的则以精度取胜。目前还出现了和传
统方法相结合的多类分类方法，比如模糊ＳＶＭ就是把模糊集的理论应用到支持向量机的多类分类问题中来，还有融
合无监督和有监督两种学习的策略的多类分类方法，这些
方法都表现出一定的优越性，是未来研究支持向量机多分类方法的重要方向。
图３二叉树分类法参考文献：
图４有向无环图分类法［５］
［５］
［１］ＶａｐｎｉｋＶ著，张学工译．统计学习理论的本质［Ｍ］．清华大学出版社，１９９９．［２］Ｊ．ＷｅｓｔｏｎａｎｄＣ．Ｗａｔｋｉｎｓ．Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｆｏｒｍｕｌｔｉ－ｃｌａｓｓｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆ７ｔｈＥｕｒｏｐｅａｎＳｙｍｐｏｓｉｕｍｏｎＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓＥＳＡＮＮ’９９：２１９～２２４．［３］李国正等译．支持向量机导论［Ｍ］．北京：电子工业出版社．［４］邱德红等．融合无监督和监督学习策略生成的多分类决策树［Ｊ］．小型微型计算机系统，２００４，２５４：５５５～５５８．［５］李昆仑等．模糊多类支持向量机模型［Ｊ］．电子学报，２００４，３２（５）８３０～８３２．［６］刘志刚等．支持向量机在多类分类问题中的推广［Ｊ］．计算机工程与应用，２００４（７）：２３～２６．［７］安金龙，王正欧，马振平．一种新的支持向量机多类分类算方法［Ｊ］．信与控制，２００４，３３（３）：２６２～２６７．［８］徐义田等．基于ＳＶＭ的分类算法与聚类分析［Ｊ］．烟台大学学报，２００４，１７（１）：９～１３．［９］ＦｒａｎｃｅｓｃｏＲｉｃｃｉａｎｄＤａｖｉｄＷ．Ａｈａ．ＥｏｒｒｏｒＣｏｒｒｅｃｔｉｎｇＯｕｔｐｕｔＣｏｄｅｓｆｏｒｌｏｃａｌＬｅａｒｎｅｒｓ［Ｊ］．ＣｈｅｎｉｔｚＧｅｒｍａｎｙ．Ａｐｒｉｌ
１９９８：２１～２４．
29开发应用
桥面结构类似。横梁的面外弯曲是设计中的
关键问题，施工中应尽可能释放一期恒载作用下横梁的面
外弯曲和纵梁的轴向变形，节间不宜过大。当跨度较大时，或设置伸缩纵梁，或加大下弦杆或系梁以减小第一系
统变形。
（３）混凝土板整体桥面结构一般用在下承式钢桁梁
桥，可分为两种：一种桥面板只在节点处与下弦杆结合；另一种是桥面板与整个下弦杆相结合。优点是整体性好，
刚度大。前者保留了混凝土道碴板桥面结构简单，受力明
确的优点，后者整体性更好，刚度更大。缺点是结构自重
大，用钢量一般比混凝土道碴板桥面多。（４）正交异性钢整体桥面结构整体性好、刚度大、建
筑高度低、自重比混凝土整体桥面小；缺点是用钢量多，
一般用于特大跨度桥梁。参考文献：［１］叶梅新，周德，陈佳．高速铁路下承式大跨度系杆拱桥无碴轨道桥面结构形式的对比研究［Ｊ］．学与工程学报，２００８，（４）．［２］叶梅新，韩衍群．连续钢析结合梁桥负弯距区桥面系受力影响因素和改善方法研究［Ｊ］．铁道科学与工程学报，２００７，（６）．［３］张晔芝．下承式铁路钢桁结合桥的桥式结构比较［Ｊ］．铁道学
报，２００５，２７（５）：１０７～１１０．（上接第２７页）
支持向量机的多分类算法
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 收稿日期:2004-11-13;修回日期:2005-01-31。基金项目:国家自然科学基金(50077008);广东省自然科学基金(033044)联合资助课题作者简介:胡国胜(1965-),男,副教授,博士,主要研究方向为小波理论、SVM理论研究及其应用。E2mail:jam-hu@支持向量机的多分类算法
胡国胜1,3,钱 玲2,张国红1(1.广东科学技术职业学院,广东广州510640;2.塔里木油田公司勘探开发研究院,新疆塔里木843300;3.河南大学计算机与信息工程学院,河南开封475001)摘 要:系统介绍了统计学习理论(statisticallearningtheory,SLT)与支持向量机(supportvectormachine,SVM)的基本思想和算法,总结和比较了二分类和多分类两种情况下支持向量机的主要训练算法。与人工神经网络相比,分析了支持向量机算法的优点。归纳了支持向量机在诸如模式识别、函数逼近、时间序列预测、故障预测和识别、信息安全、电力系统以及电力电子领域中的应用。最后对SVM前景作了展望。关键词:模式识别;电力系统;电力电子;支持向量机;多分类算法中图分类号:TP391.41 文献标识码:ASurveyofmulti2classificationalgorithmsbasedonsupportvectormachine
HUGuo2sheng1,3,QIANLin2,ZHANGGuo2hong1(1.GuangdongVocationalColl.ofScience.andTechnology,Guangzhou510640,China;2.Inst.ofExploringDevelopment,TalimnPetroFieldCompany,Talimn843300,China;3.SchoolofComputerandInformationEngineering,HenanUniv.,Kaifeng475001,China)Abstract:Thebasictheoryandalgorithmsofstatisticallearningtheory(SLT)andsupportvectormachines(SVMs)aresurveyed.Accordingto22classificationandmulti2classificationcases,mainSVMtrainingalgorithmsaresummarizedandcompared.BycomparisonwithANN,thecharacteristicsofSVMsareanalyzed.SVMapplications,suchaspatternrecognition,functionapproaching,timeseriesprediction,faultpredictionandrecognition,informationsecurity,powersystemandpowerelectronics,aredescribed.Finally,someproblemsinSVMdevelopmentarepre2sented.Keywords:patternrecognition;powersystem;powerelectronics;supportvectormachines(SVMs);multi2classificationalgorithms
基于支持向量机的时序周波波形分类方法
基于支持向量机的时序周波波形分类方法
胡志坤;王美铃;桂卫华;阳春华;丁家峰
【期刊名称】《浙江大学学报：工学版》
【年(卷),期】2010()7
【摘 要】针对电力系统输出的周波波形多的特点,提出一种基于小波分析和支持向量机(SVM)的时序周波波形分类方法,实现三相电压源型逆变器的故障分类.利用离散正交小波变换(DOWT)将周波序列变换成小波系数矩阵,利用奇异值分解(SVD)的方法获得系数矩阵的奇异值向量,作为周波序列的特征值.建立基于新的Huffman树来实现支持向量机策略的多类分类模型.将奇异值分解得到的特征向量应用到该分类模型,判断逆变器的故障类型.仿真结果表明,该模型的平均期望准确率比基于普通二叉树的支持向量机多类模型高3.65%,分类准确率达到99.6%.
【总页数】6页(P1327-1332)
【关键词】小波变换;时序序列;支持向量机(SVM);故障诊断
【作 者】胡志坤;王美铃;桂卫华;阳春华;丁家峰
【作者单位】中南大学物理科学与技术学院;中南大学信息科学与工程学院
【正文语种】中 文
【中图分类】TM401
【相关文献】
1.基于最小二乘支持向量机的模糊时序分析方法 [J], 沈斌;姚敏;易文晟
2.基于最小二乘支持向量机算法的测量数据时序异常检测方法 [J], 倪景峰;刘丽华;顾煜炯
3.基于混沌时序分析方法与支持向量机的刀具磨损状态识别 [J], 张栋梁;莫蓉;孙惠斌;李春磊;苗春生;李冀
4.基于MODIS时序数据的Landsat8影像选取及面向对象分类方法的农作物分类
[J], 刘明月;王宗明;满卫东;毛德华;贾明明;张柏;张淼;;;;;;;;;
5.基于支持向量机的矿山微震波形识别和分类研究 [J], 曾建雄;吴建星
因版权原因，仅展示原文概要，查看原文内容请购买
支持向量机多类分类算法新研究
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
支持向量机多类分类算法新研究
１．新疆大学信息科学与工程学院，乌鲁木齐８３００４６ ２ 匕京科技大学信息学院，北京１０００８３
１．Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉｎｇｊｉｎａｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ ８３００４６，Ｃｈｉｎａ
２．Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｂｅｉｊｉｎｇ，ＢｅＯｉｎｇ １ ０００８３，Ｃｈｉｎａ
Ｅ－ｍａｉｌ：ｙｕｈｕｉ一０＠１６３．ｃｏｍ
ＹＵ Ｈｕｉ，ＺＨＡＯ Ｈｕｉ．Ｎｅｗ ｒｅｓｅａｒｃｈ ｏｎ ｍｕｌｔｉ－ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ。Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ
Ａｐｐｌｉｃａｔｉｏｎｓ。２００８，４４（７）：１８５－１８９．
Ａｂｓｔｒａｃｔ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ（ＳＶＭｓ）ｉｓ ｏｒｉｇｉｎａｌｌｙ ｄｅｓｉｇｎｅｄ ｆｏｒ ｂｉｎａｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｈｏｗ ｔｏ ｅｘｔｅｎｄ ｉｔ ｆｏｒ ｍｕｌｔｉ－ｃａｔｅｇｏｒｙ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｓ ｏｎｅ ｏｆ ｈｏｔ ｒｅｓｅａｒｃｈ ｉｓｓｕｅｓ．Ｔｈｉｓ ｐａｐｅｒ ｅｍｐｈａｓｉｚｅｓ ｏｎ ａｎａｌｙｚｉｎｇ ｄｅｃｏｍｐｏｓｉｎｇ ａｎｄ ｒｅｃｏｎｓｔｉｔｕｔｉｏｎ ｍｅｔｈｏｄｏｌｏｇｙ ｏｆ
ＳＶＭ ｍｕｌｔｉ—ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ，ａｎｄ ｄｉｓｃｕｓｓｅｓ ｔｗｏ ｋｅｙ ｆａｃｔｏｒｓ ｗｈｉｃｈ ａｆｆｅｃｔ ｐｅｒｆｏｒｍａｎｃｅｓ ｏｆ ｃａｔｅｇｏｒｉｅｓ ｉｎ ｄｅｔａｉｌ：ｄｅｃｏｍｐｏｓｉｎｇ
基于支持向量机理论的多类分类算法
２００７年第２期 福 建 电脑 ９
基于支持向量机理论的多类分类算法
苑敏。杨奎河
（河北省石家庄市河北科技大学信息学院河北石家庄０５００５４）
【摘要】：支持向量机是由Ｖ．Ｖａｐｎｉｋ等提出一种学习技术，借助于最优化方法解决机器学习问题的新工具，近几年得
到了广泛的研究并广泛应用于模式识别等领域。本文主要介绍并比较了基于支持向量机的多类分类算法：”一对一”方法、”一
对多”方法以及决策有向无环图方法．通过实验数据可以得知决策有向无环图方法具有较好的分类效果。在不同的情况下，
可以采用不同的算法以达到最好的分类效果。
【关键词】：统计学习理论，支持向量机，多类分类算法
１．引言
与传统统计学相比．统计学习理论ＨＩ ｆＳｔａｔｉｓｔｉｃａｌ Ｌ ｅａｒｎｉｎｇ
Ｔｈｅｏｒｙ或ＳＬＴ １是一种专门研究小样本情况下机器学习规律的
理论 该理论针对小样本统计问题建立了一套新的理论体系．在
这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而
且追求在现有有限信息的条件下得到最优结果。Ｖ．Ｖａｐｎｉｋ等人
从２０世纪６ｏ、７Ｏ年代开始致力于此方面研究，到９Ｏ年代中期，
随着其理论的不断发展和成熟．也由于神经网络等学习方法在
理论上缺乏实质性进展．统计学习理论开始受到越来越广泛的
重视 在此理论基础上于２Ｏ世纪９Ｏ年代发展了一种新的通用
学习方法一支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ简为ＳＶＭ １，已
初步表现出很多优于已有方法的性能
ＳＶＭ在模式识别领域已经有了一些应用．如手写体数字识
别、人脸识别与人脸检测、以及文本分类等各种领域。此外，ＳＶＭ
还很好地应用于时间序列分析和回归分析等领域的研究。例如，
ＭＩＴ．Ｂｅｌｌｌ＿ａｂ和微软研究所等已成功地将ＳＶＭ算法应用于动
态图像的人脸跟踪，信号处理，语音识别，图像分类和控制系统
等诸多领域 。
２．支持向量机理论介绍
支持向量机是统计学习理论中最年轻的内容．也是最实用
基于MOC多分类的最小二乘支持向量机在教学质量评估系统中的应用
基于MOC多分类的最小二乘支持向量机在教学质量评估系统中的应用
摘要：在教师教学质量评估过程中，如何有效屏蔽或忽略学生的个人因素干扰，更加真实的体现出教师个人教学质量的实际水平，是一个迫切需要解决的问题。最小二乘支持向量机的多分类方法的学习以及小样本识别等方面有着独特的优势。提出了基于LSSVM的多分类模型，可被应用于教学质量评估系统中，经验证可获得较好的测试结果。
关键字：最小二乘支持向量机；多分类；教学评估系统
0 引言
统计学习理论[1]是一种针对小样本统计估计和预测的机器学习理论，该理论由Vapnik等人提出，并在此基础上提出了支持向量机（Support Vector Machine，SVM）的方法，是该理论的成功实现。最小二乘支持向量机(Least Squares Support
Vector Machine[3]，LSSVM) 是由比利时新鲁汶大学的Suykens等人提出的一种改进的支持向量机模型，通过构造新的二次损失函数将支持向量机二次规划问题变为线性方程，提高了支持向量机求解的速度和精度。目前，关于支持向量机和最小二乘支持向量机在分类问题及回归预测问题方面都得到了广泛的应用。
对于分类问题，在实际应用中通常遇到的都是多值分类问题，基于SVM的多分类算法都能够很好的解决这些问题。然而由于需要求解二次规划问题，所需的计算时间是较大的。文献[2]中对于LSSVM和SVM的分类精度和训练速度的对比分析研究表明：由于LSSVM采用最小二乘法来解决线性方程的问题，其求解的复杂度和计算量与SVM相比都是较少的。当训练集和测试集的比例较大时，其分类精度趋于一致，但LSSVM的训练时间却大大缩短。
1 最小二乘支持向量机
Suykens于1999年将最小二乘原理与SVM相结合，其目的是使SVM能够在大样本情况下进行学习。其主要思想就是，利用非线性映射函数，将测试样本映射到高维特征空间，并构造最优分类面。利用误差值 作为损失函数，将约束条件转换为等式约束, 从而以线性问题求解。
基于支持向量机的多极化SAR图像监督分类
基于支持向量机的多极化SAR图像监督分类
王强;孙洪
【期刊名称】《信号处理》
【年(卷),期】2005(021)0z1
【摘 要】针对SAR图像固有相干斑的影响,分类比较困难的问题,将支持向量机方法应用到多极化SAR图像的监督分类中.实验结果表明,基于支持向量机的多极化SAR图像监督分类不仅具有较高的分类精度,而且和传统方法比较,在训练样本较少的情况下具有更好的推广性.
【总页数】4页(P531-534)
【作 者】王强;孙洪
【作者单位】武汉大学电子信息学院,武汉,430072;武汉大学电子信息学院,武汉,430072
【正文语种】中 文
【中图分类】TN95
【相关文献】
1.基于目标分解与支持向量机的极化SAR图像分类研究 [J], 江勇;张晓玲;师君
2.基于支持向量机的极化SAR图像分类 [J], 汪洋;鲁加国;张长耀
3.基于Pinball损失函数支持向量机的极化SAR图像鲁棒分类 [J], 张腊梅;张思雨;董洪伟;朱厦
4.基于多极化特征和纹理特征的PolSAR图像分类 [J], 宋瑞超;赵国忱;卜丽静 5.基于半监督空间-通道选择性卷积核网络的极化SAR图像地物分类 [J], 王睿川;王岩飞
因版权原因，仅展示原文概要，查看原文内容请购买
基于偏最小二乘的支持向量机多分类方法
１７４ ２００７，４３（１７） Ｃｏｍｐｕ￣ｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
基于偏最小二乘的支持向量机多分类方法
钟 波，刘兆科
ＺＨＯＮＧ Ｂｏ，ＬＩＵ Ｚｈａｏ—ｋｅ
重庆大学数理学院．重庆４０００４４
Ｃｏｌｌｅｇｅ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｓｃｉｅｎｃｅ，Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ ４０００４４，Ｃｈｉｎａ
Ｅ—ｍａｉｌ：ｌｚｋ６２９６＠１６３．ｃｏｎ
ＺＨＯＮＧ Ｂｏ，ＬＩＵ Ｚｈａｏ—ｋｅ．Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ ｍｕｌｔｉ－ｃｌａｓｓｉｆｉｅｄ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｐａｒｔｉａｌ ｌｅａｓｔ－ｓｑｕａｒｅｓ．Ｃｏｍｐｕｔｅｒ
Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏａｓ，２００７，４３（１７）：１７４－－１７５．
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｍｕｌｔｉ—ｃｌａｓｓｉｆｉｅｄ ｍｅｔｈｏｄ ｏｆ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）ｂａｓｅｄ ｏｎ Ｐａｒｔｉａｌ Ｌｅａｓｔ Ｓｑｕａｒｅｓ（ＰＬＳ）． Ｔｈｅ ｐａｒｔｉａｌ ｌｅａｓｔ ｓｑｕａｒｅｓ ｉｓ ｕｓｅｄ ｔｏ ｃｏｍｐｌｅｔｅ ｔｈｅ ｐｒｅｔｒｅａｔｍｅｎｔ ｏｆ ｔｈｅ ｓａｍｐｌｅ，ｉｔ ｃａｎ ｅｌｉｍｉｎａｔｅ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎ ｏｆ ｔｈｅ ｓａｍｐｌｅｓ’ａｔ—
ｔｒｉｂｕｔｅ，ａｎｄ ｉｔ ｃａｎ ａｌｓｏ ｍａｘｉｍｉｚｅ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｔｈｅ ｇｅｎｅｒａｌ ｃｏｍｐｏｎｅｎｔｓ ａｎｄ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｋｉｎｄｓ．Ｔｈｒｏｕｇｈ ｔｈｅ ｒｅｓｕｌｔ
ｏｆ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ，ｗｅ ｃａｎ ｓｅｅ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｃａｎ ｎｏｔ ｏｎｌｙ ｒｅｄｕｃｅ ｔｈｅ ａｍｏｕｎｔ ｏｆ ｔｈｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒｓ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｔｈｅ ｃｌａｓ—
一种基于改进的支持向量机的多类文本分类方法
第３２卷
、，｜０ｔ．３２ 第１６期
№ｌ６ 计算机工程
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ２００６年８月
Ａｕｇｕｓｔ ２００６
・软件技术与数据库・ 文章编号ｔ ｌ００ｏ—３４２８（２ｏ０６）ｌ６＿－＿ｏｏ７４一 ３ 文■标识码。Ａ 中田分类号ｔ ＴＰ１８３
一种基于改进的支持向量机的多类文本分类方法
应伟 ，壬正欧 ，安金龙
（１．天津大学系统工程研究所，天津３０００７２；２．河北工业大学，天津３００１３０）
■要：提出了一种基于二叉树、预抽取支持向量机及循环迭代算法的改进的支持向量机（ＳＶＭ）的多类文本分类方法，与现有的多类分类 ＳＶＭ算法相比，该方法具有较高的计算效率。给出了具体实现过程并将其用于文本分类中，实验表明该算法用于文本分类的有效性及其
高效率。
关■胃：文本分类；支持向量机；迭代算法；二叉树
Ｓｔｕｄｙ ｏｎ Ｍｕｌｔｉｃｌａｓｓ Ｔｅｘｔ Ｃａｔｅｇ０ｒｉｚａｔｉ０ｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ
Ｉｍｐｒｏｖｅｄ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ
ＹＩＮＧ Ｗｅｉ ，ＷＡＮＧ Ｚｈｅｎｇ’ｏｎ ，ＡＮ Ｊｉｎｌｏｎｇ２
（１．ＩｎｓｔｉｔｕｔｅｏｆＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇ，ＴｉａｎｊｉｎＵｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ ３０００７２；２．ＨｅｂｅｉＵｎｉｖｅｍｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ ３００１３０）
ＩＡｂｓｔｒａｃｔｉ Ｔｈｉｓ ｐａｐｅｒ ｐｕｔｓ ｆｏｒｗａｒｄ ａ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｃｌａｓｓ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｌｌ ｉｍｐｒｏｖｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｗｉｔｔｌ ｂｉｎａｒｙ ｔｒｅｅ ａｎｄ
ｔｈｅ ｐｒｅ—ｅｘｔｒａｃｔｉｎｇ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒｓ ａｎｄ ｃｉｒｃｕｌａｔｅｄ ｉｔｅｍｔｉｖｅ ａｌｇｏｒｉｔｈｍ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｅｘｉｓｔｉｎｇ ｍｕｌｔｉｃｌａｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｍｅｔｈｏｄｓ，ｔｈｅ ｐｒｅｓｅｎｔ ｍｅｔｈｏｄ ｐｏｓｓｅｓｓｅｓ ｍｕｃｈ ｈｉｇｈｅｒ ｃｏｍｐｕｔａｔｉｏｎ ｅｆｆｉｃｉｅｎｃｙ．Ｉｔ ｇｉｖｅｓ ｔｈｅ ｃｏｎｃｒｅｔｅ ｐｒｏｃｅｄｕｒｅ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ，ａｎｄ ａｐｐｌｉｅｓ ｉｔ ｔｏ ｔｈｅ
一种改进的支持向量机多类分类方法
龙源期刊网
一种改进的支持向量机多类分类方法
作者：郭亚琴 王正群
来源：《现代电子技术》2009年第20期
摘 要:提出一种新的基于二叉树结构的支持向量机(SVM)多类分类方法。该方法解决了现有主要算法中存在的不可分区域问题,具有简单、直观、重复训练样本少的优点。为了提高分类模型的推广能力,必须使样本分布好的类处于二叉树的上层节点,才能获得更大的划分空间。因此,该算法采用类间散布度量与类内散布度量的比值作为二叉树的生成算法。采用UCI标准数据集实验,实验结果表明该算法具有一定的优越性。
关键词:支持向量机;多类分类;二叉树;多类支持向量机
中图分类号:TP391文献标识码:A
文章编号:1004-373X(2009)20-143-04
Improved Multiclass Classification Methods for Support Vector Machine
GUO Yaqin1,WANG Zhengqun2
(1.ZiLang Vocational Technical College,Nantong,226002,China;2.School of Information
Engineering,Yangzhou University,Yangzhou,225009,China)
Abstract:The multiclass SVM methods based on binary tree are proposed.The new method can
resolve the unclassifiable region problems in the conventional multiclass SVM method,it is simple and
支持向量机在多类别分类中的应用
支持向量机在多类别分类中的应用
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，广泛应用于多类别分类问题中。它的优势在于能够处理高维数据和非线性问题，并且具有较好的泛化能力和鲁棒性。
SVM的基本思想是通过构建一个最优的超平面来实现分类。在二分类问题中，SVM通过找到一个能够最大化两个类别之间的间隔的超平面来进行分类。而在多类别分类问题中，SVM通过一对多（One-vs-Rest）或一对一（One-vs-One）的方式来进行分类。
在一对多的方式中，SVM将每个类别与其他所有类别进行区分。首先，选择一个类别作为正类别，将其他所有类别作为负类别。然后，通过训练一个二分类的SVM模型来区分正类别和负类别。这样，就得到了一个针对正类别的分类器。接下来，重复这个过程，每次选择一个不同的类别作为正类别，直到所有类别都被处理完。最终，我们得到了多个二分类的SVM模型，每个模型对应一个类别。在预测时，将待分类样本输入到每个模型中，选择输出最高的类别作为最终的分类结果。
相比于一对多的方式，一对一的方式更加复杂。在一对一的方式中，SVM将每个类别两两进行区分。假设有K个类别，那么需要训练K*(K-1)/2个二分类的SVM模型。在预测时，每个模型都会输出一个类别，最终通过投票的方式来决定待分类样本的类别。
无论是一对多还是一对一的方式，SVM在多类别分类问题中的应用都取得了很好的效果。它能够处理高维数据，避免了维度灾难的问题。同时，SVM通过最大化间隔的方式进行分类，能够得到较好的泛化能力，对于噪声和异常点也有较好的鲁棒性。
然而，SVM在多类别分类问题中也存在一些挑战。首先，当类别数量很大时，一对一的方式会导致训练时间和空间复杂度的增加。其次，在不平衡数据集上，SVM可能会出现类别不平衡的问题。这时，可以通过调整类别权重或者采用其他的策略来解决。此外，SVM对于大规模数据集的处理也存在一定的困难，需要借助于优化算法和近似方法来加速计算。