基于粒子群优化鲁棒支持向量回归机的中长期负荷预测
第37卷第21期电力系统保护与控制Vol.37 No.21 2009年11月1日 Power System Protection and Control Nov. 1, 2009 基于粒子群优化鲁棒支持向量回归机的中长期负荷预测
张雪君1，陈 刚1，周 杰1，马爱军1，张忠静 2
（1.输配电装备及系统安全与新技术国家重点实验室(重庆大学)，重庆 400044；
2.贵州电网公司贵阳供电局, 贵州 贵阳 550002）
摘要：支持向量机（SVM）已经成功地应用于解决非线性回归和时间序列问题，并且已经开始用于中长期负荷预测。提出了一种基于鲁棒支持向量回归机RSVR（Robust Support Vector Regression）的中长期负荷预测的新方法。给出利用粒子群优化算法对鲁棒支持向量机系数优化选择的方法。建立基于此原理的中长期负荷预测模型，算例分析比较验证本文方法具有预测精度高、计算量小等特点和优势。
关键词: 中长期负荷预测；鲁棒性；支持向量机；回归估计；粒子群优化算法
Medium and long-term load forecast based on PSO-RSVR
ZHANG Xue-jun1,CHEN Gang1,ZHOU Jie1,MA Ai-jun1,ZHANG Zhong-jing2（1.State Key Laboratory of Power Transmission Equipment & System Security and New Technology,Chongqing University，Chongqing 400044，China；2. Guiyang Power Supply Administration, Guizhou Power Grid, Guiyang 550002,China）
Abstract: Support Vector Machine (SVM) has been successfully applied to solve non-linear regression and time series problem, and has already been used for the medium and long-term load forecasting. This paper brings forward a new load forecasting method based on Robust Support Vector Regression (RSVR). It gives the use of particle swarm optimization for the robust support vector machines coefficient optimization and constructs the forecasting model.A case is presented to verify the method possessing high precision, small amount of computation and so on.
Key words: medium and long-term load forecasting； robust；support vector machine (SVM)； regression； particle swarm optimization
中图分类号： TM715 文献标识码：A 文章编号： 1674-3415(2009)21-0077-05
0 引言
中长期负荷预测是电力系统规划建设的依据，其预测的准确程度将直接影响到电网投资、布局和运行的合理性[1,2]。
支持向量机SVM (support vector machine) 是一种基于统计学习理论的模式识别方法，它是由Vapnik等在20世纪90年代中期提出的一种新的机器学习方法[3]。该方法建立在统计学习理论的VC 维(Vapnik-Chervonenks dimension)及结构风险最小化原则的基础上，通过求解一个二次规划问题较好地解决了小样本、非线性、高维数和局部最小点等实际应用问题，目前已成功地应用于模式识别、文本分类及短期电力系统负荷预测中[4]。随着ε不敏感损失函数的引入，支持向量机开始用于非线性回归估计问题。Bo-Juen Chen[5]等将支持向量机用于电力负荷预测中，取得了较好的预测结果。Mohamed Mohandes[6]将支持向量机用于短期电力负荷研究中，并将其与神经网络和回归模型作比较，也取得了很好的结果。
文献[7]提出的基于支持向量机的中长期电力负荷预测采用主因素分析法对样本数据降维，提高了运算速度，但对各参数没有进行优化选择，预测精度仍需提高。本文采用一种新的支持向量回归机算法-鲁棒支持向量回归机RSVR（Robust Support Vector Regression）[8]同时采用粒子群优化算法（Particle Swarm Optimization）[9,10]对其权重参数利用寻优算法来选择，以提高预测精度。
1 鲁棒支持向量回归机
1.1 基本原理
SVM方法的基本思想是：通过事先定义的非线性映射:()
n m
R R m n
Φ→≥，把输入空间的数据x 映射到一个高维特征空间，然后在该空间中做线性
- 78 - 电力系统保护与控制
回归[11]。
给定数据点集为{}1,2,,(,),i i N x y i ="，其中：
n i x R ∈为输入向量，即筛选出的最重要的电量供需
影响因素，n
i y R ∈为与i x 相对应的输出向量，即决策属性：全社会用电量；N 是数据点总数。SVM 通过下式进行函数回归估计：
()()f x x b ωΦ=?+ （1） 式中：ω、()x Φ为m 维向量；“?”表示特征空间中的点积；b R ∈为阈值。SVM 利用结构风险最小化来求式（1），结构风险最小化的核心思想是：
emp reg []R f R R ≤+ （2） 式中：[]R f 为实际风险；emp R 为经验风险，它是
()f x 与样本偏差的一种度量；reg R 是置信范围，它
是()f x 复杂度的一种度量。经验风险emp R 由损失函数确定，不同的损失函数会构成不同的emp R ，进而形成不同的SVM 。为了增加SVM 的鲁棒性，采用下述损失函数：
2c 2c 01
()()2
1()2e L e e e e c e c e e εεεε??≤??=?≤≤???
??≥??
（3）
式中：c e
c ε=+。如图1所示。
图1 鲁棒损失函数
Fig.1 Robust loss function
采用式（3）的损失函数，并把2
2
b 项加入到调
整项reg R 中，根据结构风险最小化式（2），RSVR
的问题可表示为：
1222*2*1
1min ()()()22T i i i i i I i I b C c ωωξξξξ∈∈??+++++??
??
∑∑
(4)
s.t. T *T
*()(),0
i i i i i i i i y x b x b y ωφεξωφεξξξ??≤++?≤+≥
式中：C 是调整参数，1I 表示由松弛变量落在
0i c ξ<<或*0i c ξ<<区间的样本组合的集合，2
I 是由松弛变量落在i c ξ≥或*
i c ξ≥区间的样本组成
的集合。根据文献[12]把22
b 加入到调整项中对支持
向量机的解影响不大。
对于RSVR 所形成的优化问题，利用KKT 条件、对偶原理及核函数技术，可以得到对偶问题的优化目标函数：
**11
1()()((,)1)2l l
i i j j i j i j L a a a a K x x ===??++∑∑
*
*2*211
11()()()2l l
l
i i
i i i
i i i i i a a y a a a a C ε===+??++∑∑∑ （5）
在1I 集合中，优化变量的取值范围是
*0,i i a a C c ≤
*1()()((,)1)l
i i i i f x a a K x x ==?+∑ （6）
1.2算法设计
如上所述可知RSVR 的对偶问题为：min L ，
*0,i i a a C c ≤
利用局部梯度算法来求优化问题的解。对优化问题式（7）的目标函数求优化变量的导数
i i i
a L E a C ε?=?++?，**i i i a L
E a C ε?=++? （8）
式中：*
1
()((,)1)l
i i j j i j j E y a a K x x ==?
?+∑。根据梯度算法，优化变量的增量可选为：
()i i i i a L
a E a C
δη
ηε?=?=??++? （9） **
*()i i
i i a L
a E a C
δηηε?=?=?++? （10）
由于优化变量有变化范围限制，即
*0,i i a a C c ≤
i i i i i i i i i i i
a a a a a a a C c a C c a a C c a δδδδ?
Δ=?≤≤????
??>??? （11）
张雪君，等 基于粒子群优化鲁棒支持向量回归机的中长期负荷预测 - 79 -
***********
i i i i i i i i i i i a a a a a a a C c a C c a a C c a δδδδ??
Δ=?≤≤??????>???
（12）
则RSVR 算法步骤如下：
（1）初始化0i a =，*
0i a =，0i a Δ=，
*0i a Δ=，1,2,,i l ="；
（2）计算核函数(,)1i j K x x +，,1,2,,i j l ="；
（3）通过以下步骤更新i a ，*
i a ； （a ）*1
()((,)1)l
i i j
j i j j E y a
a K x x ==?
?+∑；
（b ）按照式子（9）和（10）计算i a δ和*
i a δ； （c ）根据式子（11）和（12）中的条件更新i
a Δ和*
i a Δ；
（d ）按照以下两式子更新i a ，*
i a ：
i i i a a a =+Δ （13） *
**i
i
i a a a =+Δ
（14）
（4）判断是否满足迭代停止条件，若满足则输
出结果，否则转入步骤（3）。
2 粒子群优化算法
假设在一个D 维的目标搜索空间中，有n 个粒子组成一个群落，其中第i 个粒子表示为一个D 维的向量12(,,,)i i i iD x x x x ="，1,2,,i n ="，即第i 个粒子在D 维的搜索空间中的位置是i x 。换言之，每个粒子的位置就是一个潜在的解。将i x 代入一个目标函数就可以计算出其适应值，根据适应值的大
小衡量i x 的优劣。第i 个粒子的“飞翔”速度也是一个D 维的向量，记为12(,,,)i i i iD v v v v ="。记第i 个粒子迄今为止搜索到的最优位置为12(,,,)i i i iD p p p p ="，整个粒子群迄今为止搜索到的最优位置为g g1g2g (,,,)D p p p p ="。在考虑实际优化问题时，希望先采用全局搜索，使搜索空间
快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解。因此改进后的算法表示如下：
1122()()
id id id id gd id v w v c r p x c r p x =?+???+??（15） id id id x x v =+ （16） 其中:1,2,,i n ="，1,2,,d D ="；学习因子1c 和
2c 是非负常数；1r 和2r 是介于[0,1]之间的随机数；
max max id V v V ?≤≤，max V 是事先确定的正常数，
限制速度的变化范围。迭代终止条件根据具体问题
一般选为最大迭代次数或粒子群迄今为止搜索到的最优位置且满足预定最小适应阈值。
3 基于PSO 的RSVR 参数优化算法改进
PSO 是一种模仿自然界群体行为智能的算法之一，对各个粒子采用速度和方向两个量确定其位置，每个粒子在每个位置对应一个适应度函数值，根据适应度函数值的大小来更新该粒子的速度，进而更新粒子的位置，这些粒子会根据自身的适应度调整位置，最终聚积在最优值附近。
利用PSO 进行参数优化的具体步骤如下： (1) 训练一次RSVR
a ）初始化常数ε=0.01，r =0.05，参数C 和c 分别是一个随机数，拉格朗日乘子0a =，0ax =，核函数矩阵H =0；
b ）计算核函数(,)1i j K x x +，,1,2,,i j l ="；核函数采用RBF 核函数，即
2
2
()(,)exp()2i i x x K x x σ?=?，其中2σ=；
c ）根据公式*
1()((,)1)
l
i i j j i j j E y a a K x x ==??+∑计算误差i E ；
d ）根据公式（9）、（10）计算梯度()ta i δ和
*()ta i δ，并根据条件（11）、（12）更新()ta i Δ和
*()ta i Δ；
e ）根据公式（13）和（14）更新i a 和*
i a ； f ）判断是否满足停止条件（迭代50次），若满足则终止迭代，否则返回c ）；
g ）输出结果yout ；
h) 根据以下公式计算均方误差（NMSE ），该均方误差也是PSO 算法中粒子的适应度函数。
122
1
(()),1,2,,l
i i xerr y y i l ==?=∑" （17）
(2) POS 优化过程
a)初始化常数m =10，12 1.4c c ==，
20Maxiter =，max 1v =。
b) 把寻优目标参数C 和c 作为粒子，它们的初
始值分别为
1.a ）中参数C 和c 的值，并将它们作为当前个体最优解。
c) 将1.g)中的均方误差xerr 作为粒子的初始适应值。搜寻其中的最优值作为全局最优适应值，
- 80 - 电力系统保护与控制
并将其相对应的粒子作为当前全局最优解。
d)迭代寻优过程开始。根据下列公式调整惯性权重值()w t :
()0.7*()/0.4w t Maxiter t Maxiter =?+ （18）
e)根据公式(17)、(18)更新速度和位置向量；判断速度向量是否满足约束条件
max max id v v v ?≤≤，若不满足则将速度值id v 更新为max id v v =?，如果max id v v ≤?；或者max id v v =，如果max id v v ≥。
f)将更新后的参数C 和c 的值重新代入PSO-RSVR 模型，并根据(l)所叙述的过程重新进行RSVR 的训练，保存其输出结果，计算粒子的适应值。
g)将 2.f)中的适应值与当前的粒子适应值作比较，如果优于当前的粒子适应值，则更新当前的粒子适应值，并将当前的粒子相对应的个体最优值更新为与2.f)中适应值相对应的粒子值。
h)如果当前的粒子适应值优于全局最优适应
值，则更新全局最优适应值为当前的粒子适应值，并更新全局最优解为当前的粒子适应值所对应的粒子值。
i)判断是否满足停止条件(迭代20次)，若满足则终止迭代，否则返回d)。
(3)输出最优解。 (4)结束算法。
4 算例分析
4.1选择训练数据
中长期负荷预测以年为单位进行预测，本文采用某地区经济及电网的年负荷原始数据如表1所示。由于各地气候差异太大，本文暂未考虑气候情况。 4.2 预测结果
利用训练后的模型来预测2004到2007年的负荷，下面我们以该地区供电量为例，运用以上介绍的方法进行供电总量预测，并将预测效果与其他几种预测方法进行分析比较。如表2所示。
表1某地区1996~2007年经济和负荷数据 Tab.1 1996-2007 economic and load data in a region
年份
GDP/亿元
地区人口/万人
第一产业产值/亿元
第二产业产值/亿元
第三产业产值/亿元
人均耗电量/k W·h 全社会用电量/万k W·h 1996 44.62 68.57 5.75 24.85 10.01 3 964.99 271 880 1997 47.58 68.84 6.19 26.51 11.80 4 438.31 305 533 1998 49.95 69.17 6.56 28.46 12.85 5 156.17 356 680 1999 52.04 69.36 6.42 30.55 14.38 5 750.81 398 876 2000 54.68 69.51 6.70 33.54 15.60 6 269.16 435 769 2001 55.30 69.66 6.90 32.00 16.40 6 364.31 443 338 2002 58.00 70.04 6.80 31.50 19.70 6 357.95 445 311 2003 69.00 72.78 7.00 40.00 22.00 7 486.11 544 839 2004 89.80 72.62 8.10 56.80 24.90 12 045.43 874 739 2005 109.53 73.23 8.68 68.87 31.98 11 655.81 853 555 2006 129.49 73.01 9.31 84.60 35.58 14 349.55 1 047 661 2007 162.97 73.04 11.39 110.56 41.02
16 934.14
1 236 139
表2 各模型对历史年供电量拟合结果一览表 单位：万千瓦时
Tab.2 Fitting capacity in the history of every model
年份
实际值 PSO-RSVR SVR 一阶灰色
灰色等维新息 指数曲线 二次滑动平均 2004 874 739 885 498 837 912 828 028 885 673 898 794 834 676 2005 853 555 847 153 834 264 885 563 845 190 818 879 899 817 2006 1 047 661 1 056 776 1 069 976 1 003 240 1 058 347 1 101 091 1 079 300 2007 1 236 139
1 228 351 1 196 088 1 194 728 1 225 384 1 263 457 1 263 458 平均相对误差
--
0.008 7
0.029 5
0.041 7
0.010 3
0.035 3
0.047 8
以上误差对比结果可以看出，基于PSO-RSVR 预测法的平均相对误差为0.008 7小于其他各种预
测方法。所以可以一定程度上降低预测时的风险，适用于电力投资规划决策的谨慎性要求。
张雪君，等 基于粒子群优化鲁棒支持向量回归机的中长期负荷预测 - 81 -
为了能进行直观对比，给出了各模型对规划年（2008~2012）供电量预测结果的曲线图。如图2所示。
500000
10000001500000200000025000003000000350000020082009
2010
2011
2012
用电量(万千瓦时)
图2各模型预测结果曲线对比图 Fig.2 Forecasting curve comparison chart
5 结论
中长期电力负荷预测是城市电网规划中的基础性工作，也是电力系统安全经济运行的前提，其预测精度的高低直接影响到城市电网规划质量的优劣。本文提出基于粒子群优化算法改进的鲁棒支持向量机的中长期负荷预测方法，通过算例分析验证了该方法可以极大地提高负荷预测的精度。 参考文献
[1] 牛东晓,曹树华,赵磊,等.电力负荷预测技术及其应用
[M].北京:中国电力出版社,1998.
NIU Dong-xiao,CAO Shu-hua,ZHAO Lei,et al. Load Forecasting Technology and Its Applications[J]. Beijing : China Electric Power Press, 1998.
[2] 肖国泉,王春,张福伟.电力负荷预测[M].北京：中国电
力出版社,2001.
XIAO Guo-quan,WANG Chun,ZHANG Fu-wei.Load Forecasting[M]. Beijing : China Electric Power Press, 2001.
[3] Vapnik N ．The Nature of Statistical Learning
Theory[M]．Newyork ：Springer-Verlag ，1995.
[4] Smola A,Scholkopf B ．A Tutorial on Support Vector
Regression[R].London ：Royal Holloway Coll,Univ, 1998.
[5] Chen Bo-juen, Chang Ming-wei, LIN Chih-jen.Load
Forecasting Using Support V ector Machines:a Study on EUNITE Competition[J].2004,19(4):1821-1830.
[6] Mohandes M.Support V ector Machines for Short-term
Electrical Load Forecasting[J]. International Journal of Energy Research, 2002,26(4): 335-345.
[7] 靳忠伟,陈康民,闫伟,等.基于支持向量机的中长期负荷
预测研究与应用[J].上海理工大学学报,2008,(2):31-34. JIN Zhong-wei,CHEN Kang-min,YAN wei, et al. Study and Application of Support Vector Machine to Forecast Mid-long-term Electric Power Load[J]. J of University of Shanghai for Science and Technology,2008,(2):31-34. [8] ZHANG Hao-ran,WANG Xiao-dong,ZHANG Chang-
jiang, et al.A New Support Veetor Mahine for Data Mining[J]. New York: Springer-Verlag,2005.
[9] Kennedy J, Eberhart R.Particle Swarm Optimization[A]. in:
Proceeding of IEEE Int Conf on Neural Networks[C]. Piscataway ：1995.1942-1948.
[10] Eberhart R, Kennedy J. A New Optimizer Using Particle
Swarm Theory[A].in: Proc 6th
Int.Symposium on Micro Machine and Human Science[C].Nagoya: 1995.39-43.
[11] 邓乃扬,田英杰.数据挖掘中的新方法-支持向量机[M].
北京:科学出版社,2004.
DENG Nai-yang,TIAN Ying-jie. The New Data Mining Method-support Vector Machine[M]. Beijing: Science Press,2004.
[12] Mangasarian O L, Musicant D https://www.360docs.net/doc/e210337795.html,grangian Support
Vercor Machines[J].Journal of Machine Learning Research ，2001,l(1):161-177.
收稿日期：2008-11-04； 修回日期：2008-12-30 作者简介：
张雪君（1982-），女，硕士研究生，从事电力系统及其自动化，负荷预测方向研究；E-mail ：xiaofeizxj@https://www.360docs.net/doc/e210337795.html,
陈 刚（1964-），男，副研究员，硕士生导师，主要从事电力系统运行与控制、微机在电力系统中的应用、电力MIS 系统及负荷预测方向研究；
周 杰（1984-），男，硕士研究生，从事电力系统及其自动化，负荷预测方向研究。
（上接第20页 continued from page 20）
[7] 丁明，罗初田. LOLE 指标的参数不确定性分析[J]. 合
肥工业大学学报(自然科学版), 1991,14(1):105-112.
DING Ming, LUO Chu-tian.Uncertainty Analysis for LOLE Index[J]. Journal of Hefei University of Technology(Natural Science), 1991,14(1):105-112.
[8] 郭永基.电力系统可靠性原理和应用[M].北京:淸华大
学出版社, 1986.
GUO Yong-ji. Reliability Theory and Application of Power System[M]. Beijing: Tsinghua University Press,
1986.
[9] Reliability Test System Task Force. IEEE Reliability Test
System[J]. IEEE Trans on Power Apparatus and Systems, 1979,98 (6)：2047-2054.
收稿日期：2008-11-14； 修回日期：2009-01-14 作者简介：
万军平（1979-），男，本科，主要研究方向为继电保护和电力系统运行，可靠性分析等。E-mail: srf05@mails. https://www.360docs.net/doc/e210337795.html,
支持向量机(SVM)算法推导及其分类的算法实现
支持向量机算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。
(完整word版)支持向量机(SVM)原理及应用概述分析
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
多分类簇支持向量机方法
第３０卷第１期２０１０年１月 计算机应用 ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ Ｖ０１．３０Ｎｏ．１ Ｊａｎ．２０１０ 文章编号：１００１—９０８１（２０１０）０１—０１４３—０３ 多分类簇支持向量机方法 王之怡．杨一帆 （西南财经大学经济信息工程学院，成都６１００７４） （ｗａｎｇｚｙ＿ｔ＠ｓｗｕｆｅ．ｅｄｕ．ｃｎ） 摘要：针对支持向量机的多分类问题，提出一种新颖的基于非平行超平面的多分类簇支持向量机。它针对ｋ模式分类问题分别训练产生ｋ个分割超平面，每个超平面尽量靠近自身类模式而远离剩余类模式；决策时，新样本的类别由它距离最近的超平面所属的类决定，克服了一对一（ＯＡＯ）和一对多（ＯＡＡ）等传统方法存在的“决策盲区”和“类别不平衡”等缺陷。基于ＵＣＩ和ＨＣＬ２０００数据集的实验表明，新方法在处理多分类问题时。识别精度显著优于传统多分类支持向量机方法。 关键词：支持向量机；超平面；核函数；手写体汉字识别 中图分类号：ＴＰ３９１．４文献标志码：Ａ Ｍｕｌｔｉ－ｃｌａｓｓｃｌｕｓｔｅｒｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ ＷＡＮＧＺｈｉ．ｙｉ．ＹＡＮＧＹｉ－ｆａｎ （ＳｃｈｏｏｌｏｆＥｃｏｎｏｍｉｃｓＩｎｆｏｒｍａｔｉｏｎ西讲Ｍ咖’ＳｏｕｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙｏｆＦｉｎａｎｃｅａｎｄＥｃｏｎｏｍｉｃｓ，ＣｈｅｎｇｄｕＳｉｃｈｕａｎ６１００７４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂａｓｅｄｏｎｔｈｅｉｄｅａｏｆｎｏｎｐａｒａｌｌｅｌｈｙｐｅｒｐｌａｎｅｓ，ａｎｏｖｅｌｍｕｌｔｉ—ｃｌａｓｓｃｌｕｓｔｅｒｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｍｅｔｈｏｄｗａｓ ｐｒｏｐｏｓｅｄｔｏｓｅｔｔｌｅｔｈｅｍｕｌｔｉ－ｃｌａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ．Ｆｏｒａｋ—ｃｌａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍ，ｉｔｔｒａｉｎｅｄｋ—ｈｙｐｅｒｐｌａｎｅｓｒｅｓｐｏｃｔｉｖｃｌｙ，ａｎｄｅａｃｈｏｎｅｌａｙａｓｃｌｏｓｅａｓｐｏｓｓｉｂｌｅｔｏｓｅｌｆ－ｃｌａｓｓｗｈｉｌｅｂｅｉｎｇａｐａｒｔｆｒｏｍｔｈｅｒｅｓｔｃｌａｓＰＳａｓｆａｒａｓｐｏｓｓｉｂｌｅ．Ｔｈｅｎ，ｌａｂｅｌｓｏｆｎｅｗｓａｍｐｌｅｓｗｅｒｅｄｅｔｅｒｍｉｎｅｄｂｙｔｈｅｃｌａｓｓｏｆｔｈｅｉｒｎｅａｒｅｓｔｈｙｐｅｒｐｌａｎｅ，ｔｈｕｓｔｈｅｉｎｈｅｒｅｎｔｌｉｍｉｔａｔｉｏｎｓｏｆＯｎｅ—Ａｇａｉｎｓｔ—Ｏｎｅ（ＯＡＯ）ａｎｄＯｎｅ－Ａｇａｉｎｓｔ—Ａｕ（ＯＡＡ）ｍｅｔｈｏｄｓｃａｌｌｂｅａｖｏｉｄｅｄ，ｓｕｃｈａｓ”ｄｅｃｉｓｉｏｎｂｌｉｎｄ—ａｒｅａ” ａｎｄ”ｕｎｂａｌａｎｃｅｄｃｌａｓｓｅｓ”．Ｆｉｎａｌｌｙ，ｅｘｐｅｒｉｍｅｎｔｓｏｎＵＣＩａｎｄＨＣＬ２０００ｄａｔａｓｅｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｓｉｇｎｉｆｉｃａｎｔｌｙｏｕｔｐｅｒｆｏｒｍｓｔｒａｄｉｔｉｏｎａｌＯＡＯａｎｄＯＡＡｉｎｔｅｒｍｓｏｆｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙ． Ｋｅｙｗｏｒｄｓ：ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）；ｈｙｐｅｒｐｌａｎｅ；ｋｅｒｎｅｌｆｕｎｃｔｉｏｎ；ｈａｎｄｗｒｉｔｔｅｎＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ ０引言 支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）是一种新型的基于统计学习理论的机器学习方法，具有推广能力强、维数不敏感等优点¨】。大量研究表明旧。１，它在处理文本分类、手写体汉字识别、图像检索等高维小样本数据时，识别精度显著优于神经网络、贝叶斯网络、隐马尔可夫模型等传统机器学习方法。然而，ＳＶＭ在本质上解决的是二值模式分类问题，虽然已提出Ｏ从（Ｏｎｅ－Ａｇａｉｎｓｔ—ＡＵ）、ＯＡＯ（Ｏｎｅ—Ａｇｉａｎｓｔ－Ｏｎｅ）、ＥＣＯＣ等方法能够将它扩展到多分类问题ＨＪ，但是，这些方法尚存在“决策盲区”、“不平衡类”等缺陷，分类器的推广能力受到一定影响。多分类支持向量机方法仍然是机器学习的研究热点之一。 本文将广义特征值支持向量机（ＰｒｏｘｉｍａｌＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｖｉａＧｅｎｅｒａｌｉｚｅｄＥｉｇｅｎｖａｌｕｅｓ，ＧＥＰＳＶＭ）的非平行超平面的思想引入到多分类问题”Ｊ，提出一种新颖的多分类簇支持向量机方法，并推导了它的非线性形式。基于ＵＣＩ和ＨＣＬ２０００的实验表明，新方法能够取得非常优异的识别精度。 １支持向量机及其多分类问题 考虑乃维实空间Ｒ４中的模式二分类问题…：已知ｍ个训练样本Ａ；（ｉ＝１，２，…，ｍ）和它们的类别标记ＹｌＥ｛１，一１｝，寻找一个分类函数使得Ｒ８划分为两个子空间，两类样本分别属于不同的子空间。这里，Ａ；＝（Ａ¨Ａ矗，…，Ａｈ）ＥＲ８。在两类样本线性可分的情况下，超平面（１）可将它们区分开：可?并＋ｂ＝０（１）其中，可∈Ｒ“且ｂ∈Ｒ。考虑到两类样本到超平面都应该有一定的距离，超平面还应该满足如下的不等式约束：Ｙ‘（Ａｆ可＋６）≥ｌ；ｉ＝１，２，…，ｍ（２）显然，满足要求的分类超平面不止一个。在结构风险最小化准则下，支持向量机寻找最优分类超平面，使得两类之间的分类间隔百三丁最大，等价于求解如下的二次优化： ¨ｑｍ＂¨２ Ｍｉｎ÷面’可（３） 田，ｂ二 ｓ．ｔ．Ｙｆ（Ａ‘曰＋ｂ）≥１；ｉ＝１，２，…，ｍ 然而，完全满足优化问题（３）的精确分类超平面是不经常存在的。因此，考虑到某些训练样本可能不满足约束条件（２），引入松弛变量： 玉≥０；ｉ＝１，２，…，ｍ（４）根据结构风险最小化准则，分类超平面不仅应该使分类间隔最大，同时应保持训练样本分类误差尽可能小。因此，优化问题（３）变为： 墨ｉ曼扣７口＋ｃ姜磊（５） 收藕日期：２００９一０７－２１；修回日期：２００９一０８—３１。 基金项目：国家自然科学基金资助项目（６９７３２０１０）；西南财经大学科学研究基金资助项目（ＱＮ０８０６）。 作者简介：王之怡（１９６４一），男，上海人，副教授，主要研究方向：图像处理、电子支付；杨一帆（１９７０一），男，四川乐山人。博士研究生，主 要研究方向：电子支付。 万方数据
20.ENVI4.3 支持向量机分类原理、操作及实例分析
ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量
数据挖掘第二讲作业
第二讲大数据分析处理概述 1、Hadoop是一个（C） A.进行大数据分析处理的操作系统 B.专门存储大数据的数据库 C.大数据计算框架 D.收费的商业数据分析服务提供商 2、Hadoop集群可以运行的3个模式是（ABC）多选 A.本地模式 B.伪分布模式 C.全分布模式 D.离线模式 3、在Hadoop中，计算任务被称为Job，JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息，它使用的端口号是（B） A.70 B.30 C.80 D.60 4、在Hadoop中，一个作业（Job）包含多个任务（Task），从JobTracker接收并执行各种命令：运行任务、提交任务、杀死任务等；另一方面，将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker，它使用的端口号是（D） A.70 B.30 C.80 D.60 5、Hadoop是由（B）语言编写的 A.C B.Java C.Python D.Scala 6、Hadoop中，集群的结构是（A） A.Master/Slave 结构 B.P2P结构 C.串行结构 D.以上都是 7、Hadoop平台中使用哪种技术可以运行Python语言编写的MapReduce代码（A）
A.Hadoop Streaming B.Hadoop C++编程接口 C.Hive D.Hbase 8、在Hadoop中，下列哪项主要提供基础程序包以及和操作系统进行交互（A） A.Hadoop Common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 9、Hadoop的局限和不足(ABCD) A.抽象层次低，需要手工编写代码来完成，使用上难以上手 B.对于迭代式数据处理性能比较差 C.中间结果也放在HDFS文件系统中 D.时延高，只适用Batch数据处理，对于交互式数据处理，实时数据处理的支持不够 10、以下哪项不是Hadoop Streaming框架的优点（C） A.可以使用其他语言（包括脚本语言）编写的程序移植到Hadoop平台上 B.可以使用性能更好的语言（C/C++）来编写程序 C.可以不用设置Map与Reduce过程 D.Streaming框架汇总通过limit等方式可以灵活的先知应用程序使用的内存等资源 11、下列哪些选项是Hadoop Streaming框架的缺点（A） A.Hadoop Streaming默认只能处理文本数据，无法直接对二进制数据进行处理 B.Hadoop Streaming 不方便程序向Hadoop平台移植 C.Streaming中的mapper和reducer默认只能向标准输出写数据，不能方便地处理多路输出 D.只要程序能从标准输入读取数据、向标准输出写数据，就能使用Hadoop Streaming 12、在Hadoop中，下列哪项主要功能是计算资源的调度（C） A.Hadoop common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 13、在Hadoop中，下列哪项负责文件的分布式存储与访问（B） A.Hadoop common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 14、在Hadoop中，下列哪项负责计算任务的并行化（D） A.Hadoop common package B.Hadoop Distributed File System
基于支持向量机的模式识别
基于支持向量机的模式识别 摘要 随着人工智能和机器学习学科的不断发展，传统的机器学习方法已经不能适应学科的快速发展。而支持向量机（Support Vector Machine，SVM）则是根据统计学习理论提出的一种新型且有效的机器学习方法，它以结构风险最小化和VC 维理论为基础，适当的选择函数子集和决策函数，使学习机器的实际风险最小化，通过对有限的训练样本进行最小误差分类。支持向量机能够较好的解决小样本、非线性、过学习和局部最小等实际问题，同时具有较强的推广能力。支持向量机的样本训练问题实质是求解一个大的凸二次规划问题，从而所得到的解也是全局最优的，通常也是唯一的解。 本文以支持向量机理论为基础，对其在模式识别领域的应用进行系统的研究。首先运用传统的增式支持向量机对历史数据分类，该分类结果表明对于较复杂的数据辨识时效果不佳。然后运用改进后的增式支持向量机对历史数据进行分类，再利用支持向量机具有的分类优势对数据进行模式识别。 本文对传统增式支持向量机算法和改进增式支持向量机算法进行了仿真对比，仿真结果体现了改进增式支持向量机算法的优越性，改进增式支持向量机算法减少了训练样本集的样本数量，优化了时间复杂度和空间复杂度，提高了分类效率。该方法应用于模式识别领域中能明显提高系统的准确率。 关键词：支持向量机；模式识别；多类分类；增式算法
Pattern Recognition Based on Support Vector Machine Abstract With the discipline of artificial intelligence and machine learning continues to evolve, traditional machine learning methods can not adapt to the rapid development of disciplines. The support vector machine (Support Vector Machine, SVM) is based on statistical learning theory a new and effective machine learning method, which to base on the structural risk minimization and the VC dimension theory, a function subset of appropriate choice and decision-making function of appropriate choice, the learning machine to minimize the actual risk, through the limited training samples for minimum error classification. SVM can solve the small sample, nonlinear, over learning and local minimum practical issues, but also it has a strong outreach capacity. Sample training problems of Support Vector Machines to solve really a large convex quadratic programming problems, and to the global optimal solution is also obtained, usually the only solution. This paper based on support vector machine theory, its application in the field of pattern recognition system. First, by using the traditional incremental support vector machine classification of historical data, the classification results show that the data for the identification of more complex when the results are poor. And then improved by the use of incremental Support Vector Machines to classify the historical data, and then use the classification of Support Vector Machine has advantages for data pattern recognition. This type of traditional incremental Support Vector Machine and improved incremental Support Vector Machine algorithm was simulated comparison, simulation results demonstrate the improved incremental Support Vector Machine algorithm by superiority, improved incremental Support Vector Machine algorithm reduces the set of training samples number of samples，and to optimize the time complexity and space complexity, improving the classification efficiency. The method is applied to pattern recognition can significantly improve the accuracy of the system. Key words: Support Vector Machine; Pattern Recognition; Multi-class Classification; Incremental Algorithm
支持向量机参数优化的一种新方法
小型微型计算机系统ＪｏｕｒｎａｌｏｆＣｈｉｎｅｓｅＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓ２００８年１月第１期Ｖ０１．２９Ｎｏ．１２００８ 支持向量机参数优化的一种新方法 肇莹，刘红星，高敦堂 （南京大学电子科学与工程系。江苏南京２１００９３） Ｅ－ｍａｉｌ：ｘｗｈｚｙ＠ｓｏｈｕ．ｃｏｍ 摘要：支持向量机（ＳＶＭ）的性能与ＳＶＭ参数的选择有关．ＳＶＭ参数的优化需要一个准则，本文提出了一种以原空间中样本到分类面的最短代数距离最大为准则的ＳＶＭ参数优化方法．该方法旨在使ＳＶＭ分类面在原空间中使样本“平分秋色”，更能体现ＳＶＭ分类器的结构风险最一１、化的原则．算法简单、几何直观性好、易于实现．通过在双螺旋线样本和Ｉｒｉｓ样本集上所作测试证明了该方法的有效性． 关键词：支持向量机；参数优化 中图分类号：ＴＰｌ８文献标识码：Ａ文章编号：１０００—１２２０（２００８）０１—０１０２—０４ ＡＮｅｗＭｅｔｈｏｄｆｏｒＳＶＭＨｙｐｅｒ—ｐａｒａｍｅｔｅｒｓＯｐｔｉｍｉｚａｔｉｏｎ ＺＨＡＯＹｉｎｇ，ＬＩＵＨｏｎｇ－ｘｉｎｇ，ＧＡＯＤｕｎ—ｔａｎｇ （ＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＤｅｐａｒｔｍｅｎｔ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｈｅｐｅｒｆｏｒｍａｎｃｅｏｆＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）ｉｓｄｅｔｅｒｍｉｎｅｄｂｙｉｔｓｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓ．Ｏｐｔｉｍｉｚｉｎｇｔｈｅｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓｎｅｅｄｓａｃｒｉｔｅｒｉｏｎ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎｅｗＳＶＭｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄ，ｉｎｗｈｉｃｈｍａｘｉｍｉｚｉｎｇｔｈｅｍｉｎｉｍｕｍａｌｇｅｂｒａｉｃｄｉｓｔａｎｃｅｆｒｏｍｓａｍｐｌｅｓｔｏｔｈｅｃＩａｓｓ—ｓｅｐａｒａｔｉｎｇｈｙｐｅｒ—ｓｕｒｆａｃｅｉｎｉｎｐｕｔ ｓｐａｃｅｉｓｔａｋｅｎａｓｔｈｅｃｒｉｔｅｒｉｏｎ．Ｔｈｅ ｍａｉｎ ｐｕｒｐｏｓｅｏｆｔｈｉｓｍｅｔｈｏｄｉｓｔｏ’ｌｅｇａｎｄ ｌｅｇ’ｔｈｅｗｈｏｌｅｏｒｉｇｉｎａｌｉｎｐｕｔｓｐａｃｅｆｏｒａｌｌｔｈｅｓａｍｐｌｅｓ，ａｎｄｉｔｓｕｓｔａｉｎｓｔｈｅｓｔｒｕｃｔｕｒａｌ ｒｉｓｋｍｉｎｉｍｉｚａｔｉｏｎｐｒｉｎｃｉｐｌｅｂｅｔｔｅｒ．Ｔｈｅｍｅｔｈｏｄｉｓｓｉｍｐｌｅ，ｇｅｏｍｅｔｒｉｃｉｎｔｕｉｔｉｖｅａｎｄｃａｎｂｅｉｍｐｌｅｍｅｎｔｅｄ ｅａｓｉｌｙ．Ｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅｍｅｔｈｏｄｉｓｄｉｓｐｌａｙｅｄｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔｓｏｎｔｗｏｃｌａｓｓｉｃａｌｂｅｎｃｈｍａｒｋｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍｓ－－ＴｗｏＳｐｉｒａｌｓＰｒｏｂｌｅｍ（ＴＳＰ）ａｎｄＩｒｉｓｓａｍｐｌｅｓ． Ｋｅｙｗｏｒｄｓ：ＳＶＭ；ｈｙｐｅｒ－ｐａｒａｍｅｔｅｒｏｐｔｉｍｉｚａｔｉｏｎ １引言 支持向量机（ＳＶＭ）的泛化性能不仅与核函数形式有关，而且与核函数的参数有关．图１是核函数选定为ＲＢＦ形式、即Ｋ。，ｚ，）一ｅｘｐ（一ｊＬ掣），而其核函数参数ｙ分别取不同值时，双螺线问题（ＴＳＰ）的ＳＶＭ分类结果．图（ａ）中，ｙ取值过大，使得样本在变换域空间中线性不可分；图（ｂ）中，ｙ （ａ）ｙ一２０时的ＳＶＭ分类情况（ｂ）ｙ＝０．０１时的ＳＶＭ分类情况 图１对ＴＳＰ问题，选用ＲＢＦ核函数 Ｆｉｇ．１ＦｏｒＴＳＰｗｉｔｈＲＢＦｋｅｒｎｅｌｆｕｎｃｔｉｏｎｓｅｌｅｃｔｅｄ 收稿日期：２００６—０９?２０收修改稿日期：２００６—１２—２７基金项目；国家自然科学基金项目（６０２７５０４１）资助．作者简介：肇莹，女，１９７３年生，博士研究生，讲师，研究方向为模式识别与人工智能｝刘红星，男，１９６８年生，博士，教授，研究方向为模式识别与人工智能；高敦堂，男，１９４１ 年生，教授，研究方向为人工智能． 万方数据
基于支持向量机的故障诊断
基于支持向量机的故障诊断 摘要 在化工生产过程中，为了准确检测故障，减少机械的损失和人员的伤亡，提出了支持向量机算法。支持向量机是基于统计学理论的方法，具有较强的逼近能力和泛化能力。但是在最近几年中，一种基于主元分析的过程监控方法已在工业过程中得到应用，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。本文主要就这两种方法展开运用。在实际生产过程中，一方面，主元分析方法故障诊断能力有限；另一方面，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。 本文首先运用传统支持向量机算法对历史数据进行分类，分类结果表明该方法对于简单的数据比较容易区分，但是在数据复杂，可辨性较低的情况下，效果不明显。然后运用改进了的传统支持向量机算法对历史数据进行分类，即运用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。 本文对传统支持向量机算法和改进支持向量机算法进行了仿真比较，仿真结果体现了改进支持向量机算法的优越性；改进支持向量机算法提高了传统支持向量机算法分类的正确率。该种方法在实际工程中能够提高系统的诊断性能，减少不必要的损失。 关键词：支持向量机；故障诊断；主元分析方法；田纳西-伊斯曼过程；
Fault Diagnosis Based on Support Vector Machine Abstract In order to detect faults accurately, reduce mechanical lossesand casualties in the chemical production process, the algorithm of support vector machines was proposed. Based on the statistics theories, support vector machine is a method of approximation ability and generalization ability. Recently, a new method of process monitoring based on principal component analysis is applied in industrial production process. The statistical model built by principal component analysis method using historic data could detect unusual changes and faults happening in the process accurately. This research is on the application of these two methods. In the actual production process, principal component analysis has certain limitations in diagnosing fault. Besides, the vast volume of historical data was collected in both normal and unusual conditions. It is of great importance to make full use of the data to improve the capacity of fault diagnosis. Firstly, this paper classified the historical data by applying the traditional support vector machine algorithm. The results showed that traditionalmethod works well on simple data sets. However, it showed insignificant effects under a complex and low-differentiability condition. In succession, an advanced approach was used to improve the traditional method, which was approached to enhance the ability of fault diagnosis by using principal component analysis to extract the main features of the data, then with the use of support vector machine which has the advantages of online diagnostic on process data to classify. In this paper, the traditional support vector machine algorithm and advanced support vector machine algorithm were compared in simulation process, the results indicates the superiority of the advanced method which improved the correctness of the traditional one on classification. It could also improve the diagnostic performance in the actual process and reduce unnecessary losses consequently. Key words: Support Vector Machine; Fault Diagnosis; Principal Component Analysis; Tennessee Eastman Process
随机森林与支持向量机分类性能比较
随机森林与支持向量机分类性能比较 黄衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码： A Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。 通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。 E-mail: huangyan189@https://www.360docs.net/doc/e210337795.html,.
陈建隆粒子群优化算法及其应用研究
摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度
目录 摘要................................................................................................................................................................... I 目录...................................................................................................................................................................... I I 1.概述.. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MA TLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22)
基于支持向量机的分类方法
基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。