基于LS-SVM的改进统计降尺度方法
LSSVM概述学习资料

5 最小二乘支持向量机(LSSVM)估计算法
支持向量机主要是基于如下思想:通过事先 选择的非线性映射将输入向量映射到高维特征 空间, 在这个空间中构造最优决策函数。在构 造最优决策函数时,利用了结构风险最小化原 则。 并巧妙的利用原空间的核函数取代了高维 特征空间中的点积运算。
设样本为 n维向量,某区域的 l个样本及其值表示为
( x1, y1 ),......, ( xl , y l ) R n R
首先用一非线性映射 Y( x)把样本从原空间R n映射到特征
空间 Y(x) (j (x1 ),j (x2 ),..., j (xl ))。在这个高维特征空间 中构造最优决策函数 y(x) w .j ( x) b。这样非线性估计
所谓 VC 维是对函数类的一种度量,可以简单的理解为问题的复杂程 度,VC 维越高,一个问题就越复杂。正是因为 SVM 关注的是 VC维,后 面我们可以看到,SVM 解决问题的时候,呾样本的维数是无关的(甚至 样本是上万维的都可以,这使得 SVM 径适合用来解决文本分类的问题, 当然,有这样的能力也因为引入了核函数)。
函数转化为高维特征空 间中的线性估计函数。 利用结构
风险最小化原则,w寻,b找 就是最小化
R
1 2
w2
c Remp,其中w 2控制模型的复杂度,
c为正规化参数R。 emp为误差控制函数,也不即敏感损失
函数。常用的损失有 函线 数性损失函数,二损 次失函
数,hube损 r 失函数。选取了的 不损 同失函数,可构同 造不
SVM分类函数形式上类似于一个神经网络,输出是中间节点的线性组合, 每个中间节点对应一个输入样本于一个支持向量机的内积,因此也就叫做支持 向量网络。
4 相关名词解释
一种基于LSSVM优化的负荷预测方法及系统[发明专利]
![一种基于LSSVM优化的负荷预测方法及系统[发明专利]](https://img.taocdn.com/s3/m/4f41ff4a1611cc7931b765ce05087632311274da.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710767106.8(22)申请日 2017.08.30(71)申请人 华中科技大学地址 430074 湖北省武汉市洪山区珞喻路1037号(72)发明人 戴彬 王曼 徐方琳 (74)专利代理机构 华中科技大学专利中心42201代理人 廖盈春 李智(51)Int.Cl.G06Q 10/04(2012.01)G06K 9/62(2006.01)H02J 3/00(2006.01)(54)发明名称一种基于LSSVM优化的负荷预测方法及系统(57)摘要本发明公开了一种基于LSSVM优化的负荷预测方法及系统,包括:(1)在获取原始的历史负荷数据之后,甄别并修正其中的异常数据,构建特征向量,对特征向量进行k均值聚类,根据聚类效果,选择输入变量;(2)以LSSVM模型的惩罚因子C和核函数宽度参数σ,作为粒子群算法的粒子在搜索空间的位置坐标,选择使得适应度值最小的粒子坐标向量值[C ,σ]作为粒子群算法的输出;(3)利用优化处理后的输入变量数据作为LSSVM模型的输入和输出,利用步骤(2)中得到的[C ,σ],求解负荷预测回归方程,利用回归方程进行负荷预测。
本发明修正了异常数据,找到最适宜的惩罚因子和核函数宽度参数,从而提高基于LSSVM的负荷预测精度。
权利要求书5页 说明书8页 附图3页CN 107506865 A 2017.12.22C N 107506865A1.一种基于LSSVM优化的负荷预测方法,其特征在于,包括以下步骤:(1)在获取原始的历史负荷数据之后,利用双向比较法处理数据,甄别并修正其中的异常数据;然后以温度、日期类型、负荷数据构建特征向量,对特征向量进行k均值聚类,根据聚类效果,选择与待预测日数据特征相似度较高的日期的数据作为训练样本的输入变量;对输入变量进行主成分分析降维处理,去除冗余信息;(2)以LSSVM模型的惩罚因子C和核函数宽度参数σ,作为粒子群算法的粒子在搜索空间的位置坐标,将每次迭代过程中每个粒子的位置向量[C,σ]输入到LSSVM模型,并计算训练集的预测值和实际值的误差作为适应度;在迭代过程中选择适应度好的粒子作为父代粒子,进行交叉操作,然后对粒子的位置变量进行变异;选择使得适应度值最小的粒子坐标向量值[C,σ]作为粒子群算法的输出;(3)利用步骤(1)中优化处理后的输入变量数据作为LSSVM模型的输入和输出,利用步骤(2)中得到的[C,σ]的坐标值C作为LSSVM模型的惩罚因子,坐标值σ作为LSSVM模型的核函数宽度参数,求解负荷预测回归方程,利用回归方程进行负荷预测。
基于LS-SVM软传感器的容错控制方法及应用

基于LS-SVM软传感器的容错控制方法及应用李炜;张婧瑜【摘要】针对一类非线性系统中传感器卡死、恒增益和恒偏差失效等易发故障,考虑控制系统多存在耦合、非线性、时变、滞后等难以建立精确的解析模型,基于数据驱动技术提出一种软传感器容错控制方法.基于LS-SVM构建了系统软传感器,并利用软传感器的预测输出与实际传感器输出之差获取残差信号;采用SPRT算法进行故障检测,当传感器发生故障时,用LS-SVM软传感器预测输出代替物理传感器的实际输出,从而以软闭环方式实现对传感器故障的容错控制.将所提出的方法应用于一阶水箱液位控制系统,实验结果表明,基于LS-SVM软传感器与SPRT的结合能够可靠及时检测非线性系统中各类传感器故障,而借助于软闭环切换还可对传感器故障实现安全容错.【期刊名称】《兰州理工大学学报》【年(卷),期】2014(040)005【总页数】5页(P77-81)【关键词】LS-SVM软传感器;SPRT故障检测;数据驱动;软闭环容错控制【作者】李炜;张婧瑜【作者单位】兰州理工大学电气工程与信息工程学院,甘肃兰州730050;兰州理工大学电气工程与信息工程学院,甘肃兰州730050;兰州石化职业技术学院电子电气工程系,甘肃兰州730060【正文语种】中文【中图分类】TP206.3随着工业生产规模的扩大和自动化程度的提高,人们对控制系统的安全性、可靠性要求也越来越高,传感器更是信息获取不可缺少的环节,但也是极易出现故障的部件.如果传感器在使用过程中出现性能蜕化或失效等故障,则故障传感器传来的反馈信号不仅会在闭环控制系统中迅速传播,而且可能导致系统性能下降,甚至陷入瘫痪[1].传统硬件冗余法虽可保证其输出信号的可靠性,但要付出高昂的成本代价且系统复杂性增加.近年来,一种借助于软传感器进行故障检测的方法受到了业界的广泛关注[2-4].基于软传感器故障检测的基础是建模,由于建模方法不一,可分为基于解析模型和基于数据驱动模型两类方法[5].基于解析模型的原理是构建卡尔曼滤波器或自适应观测器等观测系统的输出,并与实际传感器之差产生残差信号进行故障诊断.此类方法研究相对较多也较深入,但必须充分了解过程的内部机理.实际工业系统大多较为复杂且又具有非线性,往往很难建立精确解析模型,因此研究对象只能针对线性系统或非线性系统在工作点附近的线性化模型[6-7].随着信息科学技术的迅速发展及DCS的广泛应用,系统在运行过程中储存了大量数据,可基于这些数据建立系统预测模型,这类预测模型也称为软传感器,它只依赖于过程装置的运行数据,无需了解系统的内部机理,而且具有较高可靠性.构建软传感器的方法主要有主元分析(PCA)、部分最小二乘(PLS)、神经网络(ANN)和支持向量机(SVM)等[8].文献[9]同时用ANN 和SVM 对一压力传感器进行故障检测,实验结果表明基于SVM构建的软传感器进行故障检测时间更短、精确度更高.上述方法虽可实现传感器故障的检测,但也仅仅限于检测到故障是否发生,而无实时应对措施.闭环控制系统中,传感器一旦发生故障,就会迅速通过反馈通道波及到操纵变量,并干扰其他过程变量,甚至影响生产.因此,本文针对一类非线性系统中传感器卡死、恒增益和恒偏差3种易发故障,基于数据驱动技术提出一种基于软传感器的容错控制方案.1 数据驱动LS-SVM软传感器容错控制1.1 控制方案基于数据驱动技术的LS-SVM软传感器容错控制系统结构如图1所示.系统主要包括:LS-SVM软传感器、故障检测与判决机制及软闭环切换容错机制等三个功能模块.其中,yr(k)为系统的期望输出,u(k)为控制器输出,z(k)为经软闭环切换后的系统反馈信号,y(k)为实际传感器测量输出,(k)、r(k)分别为系统LS-SVM模型,亦即软传感器在k时刻的预测输出及与实际输出产生的残差信号.图1 LS-SVM软传感器容错控制结构Fig.1 Structural diagram of LS-SVM soft sensor fault tolerant controlLS-SVM软传感器兼有传感器故障检测中残差信号的生成与故障切换时软传感器预测过程输出的双重功能.故障检测与判决机制利用历史及当前残差信号,基于SPRT算法进行传感器故障检测并输出故障指示信号.若传感器发生故障,容错机制将软传感器预测输出(k)切换至系统反馈信号z(k);待故障排除,再将实际传感器输出y(k)切换至z(k),防止故障在闭环系统中传播.三者有机结合使系统实现对各种传感器故障的安全容错.其具体工作流程如图2所示.图2 软传感器容错控制工作流程Fig.2 Operational flow-chart of soft sensor fault tolerant control1.2 非线性系统LS-SVM软传感器的构建模型的精确建立是系统实现快速可靠检测传感器故障的基础.实际运行的工业系统大多具有耦合、非线性、时滞等特点,很难建立精确解析模型,然而现代工业控制系统却具有丰富的在线和离线测量数据,可基于数据驱动技术对其建模,亦即构建软传感器.在众多的支持向量机算法中,最小二乘支持向量机(LS-SVM)具有建模所需样本少、求解速度快且全局最优等优点,在非线性系统建模及故障检测中得到了广泛的应用[10-12].因此,本文基于LS-SVM为非线性系统构建软传感器,其原理如下[13]:假设被控对象是一个MISO的非线性系统,其输入输出变量之间的关系由下式描述:其中:训练样本集Xki= (x1i,x2i,…,xn1i)T,Y=(y1,y2,…,yn1)T,P 为输入变量个数,n1 为样本数;测试样本集XC= (xc1,xc2,…,xcn2)T、YC=(yc1,yc2,…,ycn2)T 用于模型验证,n2 为其样本数.LS-SVM建模的目的是根据这n1个训练样本求解一个最优决策函数f(x):式中:ω为Rp中的权向量,b为偏差量.其原理是通过一个非线性映射φ(·),将非线性估计函数转化为高维特征空间中的线性估计函数,求ω、b,使最小化:其中:R为优化目标函数,c为可调边界参数,Remp为不敏感损失函数,用误差变量ξi的二次项表示,则优化问题表示为利用拉格朗日乘子α构造拉格朗日函数:对L求ω、b、ξ、α的一次导数,令定义核函数 K(xi,xj)=φ(xi)φ(xj)是满足Mercer条件的对称函数,核函数选RBF函数,即则优化问题就转化为求解由此可得到非线性系统LS-SVM软传感器预测输出为用测试集XC测试所建模型的预测输出,根据式(10,11)计算其均方根误差RMSE和最大绝对误差MAXE:1.3 基于LS-SVM与SPRT的传感器故障检测根据1.2中所述原理,基于过程离线数据构建LS-SVM软传感器,并与实际传感器输出进行比较获取残差信号r(k)=(k)-y(k),即可进行故障检测.理想情况下,系统正常运行时,r(k)是一个零均值的白噪声序列;当传感器发生故障,残差均值会随之发生变化,不再为零.但实际运行时,由于系统受到建模误差和外部干扰等不确定因素的影响,残差不可能为零,而此值及检验样本数的选择,又是决定故障检测可靠与快速性的基础.考虑序贯概率比检验(SPRT)方法可根据要求的误报、漏报率设置阈值,在检验过程中会自适应地随故障大小增加观测样本的数目,直到预定的漏报率和误报率都达到要求时会自动停止检验[14],在确保误报、漏报率满足需求的前提下所需样本最少.因此,本文采用SPRT算法进行故障检测,其原理如下:假设m 维残差序列r=[r1,r2,…,rm]T 服从正态分布 Nm(θ,σ),其概率分布密度为考虑如下假设检验模型:H0:rm~Nm(0,1),系统正常;H1:rm~Nm(θ0,1),θ0≠0,系统故障.建立k时刻的对数似然概率比判决函数:由式(13)可推导出判决函数λ的递推公式为SPRT检验门限:其中:PF表示允许的误报警概率,即H0成立反而被否定的概率;PM表示允许的漏报警概率,即H1成立反而接收H0的概率.确定判决函数λ和检验门限值ln T(H0)、ln T(H1)后,根据如下规则做出判决:λ(k)≤ln T(H0),接受H0,k 时刻之前系统正常;λ(k)≥ln T(H1),接受H1,k时刻系统发生故障;ln T(H0)≤λ(k)≤ln T(H1),增加样本继续检验.对数似然比λ在递推过程中,当H0为真时会附加一项负值,当H1为真时附加一项正值,这样λ可能很负.当故障发生时,必须积累一段正值项,才能使λ变正而达到门限值ln T(H1),造成检测延迟.为了消除检测延迟,需用补偿方法对式(14)所表示的判决函数λ进行修正[15],修正后的判决函数为监控λ*(k)的变化,若λ*(k)≥ln T(H1),认为传感器发生故障.1.4 软闭环切换容错控制机制尽管PID控制对闭环系统中的微小故障或扰动具有一定的鲁棒性,但前提是准确获取偏差信号.对于传感器故障,则会即刻通过反馈通道在闭环系统中蔓延,首先恶化偏差信号,进而干扰操纵变量,造成系统性能下降,甚至演变为灾难性故障.因此,需对故障传感器进行及时切换.即当故障检测与判决机制判断出传感器发生故障后,应立刻屏蔽故障传感器的输出信号,将软传感器预测输出作为反馈信号送至控制器;待故障排除,再将实际传感器的输出恢复为反馈信号,防止故障在闭环系统中传播,保证系统能够安全、可靠地长期稳定运行.2 实验验证2.1 软传感器的构建本文选取德国FESTO公司过程控制系统实验装置(PCS)中的液位控制单元作为实验对象.考虑到该液位控制系统由于受到水泵震动、网络传输时延、外部干扰及各环节非线性特性等因素的影响,使系统具有一定的时滞、非线性特性,首先基于过程离线数据构建其LS-SVM软传感器.采集电动调节阀的开度信号作为模型输入变量、液位变化量作为模型训练目标,进行预处理后以1 200组数据作为训练集,188组数据作为测试集,构建系统的LS-SVM软传感器.核函数采用RBF核函数,优化后的可调边界参数c=97,径向基核宽度σ=4.5,偏差量b=0.010 3.经测试样本集测试,表1给出了LS-SVM软传感器预测精度评价结果.表1 LS-SVM软传感器预测精度评价Tab.1 Evaluation of predicted precision with LS-SVM soft sensor性能指标模型MAXE RMSE LS-SVM 9.409 8×10-60.002 1从表1可以看出,LS-SVM软传感器具有较好的预测精度,完全满足水箱液位的测量精度要求.2.2 数据驱动LS-SVM软传感器容错控制在闭环控制系统中,传感器故障作为输出型故障,表2给出了几种常见故障的具体表现形式.表中:y(k)和y~(k)分别表示故障情况和正常情况下传感器的实际输出,A、Δε为恒定的常数,β是一个比例系数,分别取A=10,β=2,Δε=0.5.表2 传感器故障类型Tab.2 Type of sensor faults故障类型故障描述恒定阶跃信号f2:恒增益 y(k)=β~y(k)斜坡信号f3:恒偏差 y(k)=~y(k)+Δε数学表达式施加仿真信号f1:卡死 y(k)=A恒定阶跃信号为验证本文所述方法能够快速可靠地检测传感器故障,且对故障能够有效容错,分别针对表2中3种易发故障,基于前述方法在Matlab2010b环境下,对PCS液位控制实验平台的超声波液位传感器进行故障检测及容错控制的实验验证.取漏报率PM=0.1、误报率PF=0.1,则统计量λ*(k)的故障检测阈值ln T(H1)=2.197;文中控制器采用常规PID控制算法,参数优化整定结果为KP=5,KI=0.034.实验设计在t=0时刻对系统施加10%的阶跃信号,并在第158个样本点(t=79s)处发生故障f1(卡死故障),在第318个样本点(t=159s)处排除故障系统恢复正常;在第380个样本点(t=190s)处发生故障f2(恒增益故障),在第542个样本点(t=271 s)处排除故障系统恢复正常;在第600个样本点(t=300s)处发生故障f3(恒偏差故障),在第760个样本点(t=380s)处排除故障系统恢复正常.不同故障下的残差均值见表3,故障检测与容错控制曲线如图3和图4所示.由图3可知,当系统分别在第158、380、600个样本点处发生故障f1、f2及f3时,残差信号的均值均发生相应变化,SPRT统计量λ*(k)也超过故障检验门限值ln T(H1),判决传感器发生故障,输出故障指示量5;待系统恢复正常,残差均值接近0,λ*(k)低于故障检验门限值,则认为传感器没有发生故障,输出故障指示量0.说明文中所设计的基于数据驱动的软传感器与SPRT结合的故障检测方法,能够快速、可靠地检测传感器故障.表3 不同故障情形下的残差均值Tab.3 Mean value of residual error in case ofdifferent faults模型运行模式残差均值正常LS-SVM-0.002 5卡死 9.780 6恒增益 100.213 3恒偏差0.498 2图3 基于LS-SVM软传感器的故障残差及故障检测Fig.3 Fault residual error and fault detection based on LS-SVM soft sensor图4 不同故障情形下软闭环容错效果验证Fig.4 Verification of effects of soft close-loop fault-tolerant control in case different faults由图4可知,针对前述3类传感器故障,当故障检测与判决机制指示传感器发生故障时,物理传感器输出已偏离实际系统的输出,但借助于软闭环切换将所构建的软传感器预测输出作为系统反馈信号,系统在原PID控制器作用下液位高度仍保持在100±0.2mm,且无明显切换抖动;待故障排除,系统恢复正常,又将传感器的实际输出切换至系统反馈信号送至控制器.说明文中所构建的软闭环机制可对各类传感器故障进行安全容错.3 结论本文针对一类非线性系统中传感器卡死、恒增益、恒偏差3种常见故障,综合考虑了非线性系统较难建立精确解析模型,而生产过程每天产生的大量运行数据,提出了一种数据驱动LS-SVM软传感器故障检测与容错控制方法.基于历史数据构建非线性系统的LS-SVM软传感器与实际传感器输出比较产生残差信号,辅以SPRT 算法在确保期望误报、漏报率的同时使故障检测及时性得以提高.当传感器发生故障时,设计的软闭环切换容错控制机制以软传感器预测输出代替物理传感器的实际输出,防止了故障在闭环系统中的传播,确保了系统在故障情形的高性能运行.将所提出的方法应用于PCS液位控制系统中,实验结果表明LS-SVM软传感器与SPRT的结合能够及时可靠地检测传感器故障,而故障期间借助于软闭环切换将软传感器预测输出代替物理传感器实际输出作为闭环反馈信号能够实现控制系统对故障的安全容错,确保控制系统长期稳定的安全运行.参考文献:[1]WANG Yiming,YE Hao.Data-driven diagnosis of sensor precision degradation in the presence of control[J].Journal of Process Control,2012,22:26-40.[2]赵劲松,李元,邱彤.一种基于小波变换与神经网络的传感器故障诊断方法[J].清华大学学报:自然科学版,2013,53(2):120-122.[3]王通,高宪文,蔺雪.SWE-IPCA方法在传感器故障诊断中的应用[J].仪器仪表学报,2013,34(8):1841-1846.[4]孙毅刚,王雷,薛仲瑞.基于BP网络的航空发动机传感器硬故障检测[J].传感器与微系统,2013,32(7):120-122.[5]KADLEC P,GABRYS B,STRANDT S.Data-driven Soft Sensors in the process industry[J].Computers and Chemical Engineering,2009,33:795-814.[6]WEI Xiukun,VERHAEGEN M,VAN ENGELEN T.Sensor fault detection and isolation for wind turbines based on subspace identification and Kalman filter techniques[J].Adaptive Control and Signal Processing,2010,24(8):687-707.[7]MID E C.Application of model based sensor fault tolerant control system [C]//IEEE International Conference on Control System.Penang:[s.n.],2011:150-155.[8]周东华,胡艳艳.动态系统的故障诊断技术[J].自动化学报,2009,35(6):748-752.[9]YU Yaojun.The research on sensor fault diagnosis based on the SVM prediction model[C]//Cross Strait Quad-Regional Radio Science andWireless Technology Conference(CSQRWC).Harbin:[s.n.],2011:990-992.[10]史岩,李小民,连光耀.基于在线增量小波LS-SVM的垂直陀螺仪残差故障检测研究[J].计算机测量与控制,2013,21(1):14-17,26.[11]许允之,方磊,张建文.基于最小二乘支持向量机的电机故障鉴别[J].电力系统保护与控制,2012,40(14):63-68.[12]李炜,王凤达,马克.基于LS-SVM的多模型非线性主动预测容错控制[J].兰州理工大学学报,2009,35(2):70-75.[13]GANG Fengzhi,KATSUNORI S,WANG Qi.Sensor fault detection and data recovery based on LS-SVM predictor[J].仪器仪表学报,2007,28(2):193-197.[14]闻新,张洪铖,周露.控制系统的故障诊断与容错控制[M].第3版.北京:机械工业出版社,1998:37-69.[15]李炜,李阳.优化M-SPRT法在管道泄漏检测中的应用[J].天然气工业,2009,29(4):93-95.。
lssvm在时间序列预测中的理论与应用研究

LS-SVM在时间序列预测中的理论与应用研究重庆大学硕士学位论文(学术学位)学生姓名:梅*指导教师:王波副教授专业:计算机应用技术学科门类:工学重庆大学计算机学院二O一三年四月Theory and Application Research on LS-SVM in Time Series PredictionA Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theMaster’s Degree of EngineeringByMei QianSupervised by Ass. Prof. Wang Bo Specialty: Computer Application TechnologyCollege of Computer Science ofChongqing University, Chongqing, ChinaApril 2013摘要时间序列预测方法已经应用到几乎所有预报与决策的领域,广泛地应用在实际中。
对这种方法的研究不仅具有理论研究的重要意义,而且一直是国内外学者研究的热点和难点。
在支持向量机模型中,成功地应用了结构风险最小化、核函数映射和凸二次规划等技术,有效地解决了在传统机器学习中出现的维数灾难和局部极小等问题。
而最小二乘支持向量机(LS-SVM)作为支持向量机(SVM)的一个改进简化模型,在保证预测精度不减弱的情况下,具有比支持向量机运算更加简化的优点。
本文针对LS-SVM中的一些问题进行了研究,主要工作如下:①提出了经验模态分解与LS-SVM组合预测的方法,结合建筑能耗预测的实际应用,该方法的主要思路是把能耗数据形成的时间序列用EMD方法分解成多个本征模式分量,然后对每个本征模式分别建立LS-SVM模型进行分开预测,最后将所有本征模式分量对应的LS-SVM模型预测结果进行求和。
LS SVM中文使用说明

R2008b,R2009a 测试,工具箱中参考命令都以打印字体书写。 LS – SVMlab 主页: http://www.esat.kuleuven.be/sista/lssvmlab/
对单个和多个输出回归和分类的函数都可以使用。训练和模拟可以做到为每个输出 分别通过传递不同的核函数,内核和/或作为列向量正规化参数。执行工具箱中其他核函数 也是简单的。
一个模型的性能依赖于输入数据和输出数据的缩放。一个适当的算法检测,适当的 重新调整重设比例,分类和二进制变量。
2.1.1 分类扩展 调用函数:codelssvm, code, deltablssvm, roc, latentlssvm 演示:Subsection, democlass
所有 CMEX 和/或 C 文件已被删除。求解 线该性系统通过使用 MATLAB 命令“反斜杠” (\)
第一章 引言
在解决非线性分类,函数估计和密度估计问题中,支持向量机是一个很强大的方法,支 持向量机也致使了其核心的新动向,最新发展事基于一般学习方法的。支持向量机应经被引 入统计学习理论和结构风险最小化之中。这些方法中,凸优化问题,解决了一个典型的二次 规划问题。LS-SVM 是标准 SVM 的改进,这样就可以解决线性 kkt 系统的问题了。最小二 乘支持向量机与正规化网络和高斯过程密切相关,但更加重视和利用原始对偶的规范条款解 释。经典的模式识别算法的内核版本如判别分析的内核 Fisher,以非监督学习、循环式网络 扩展和控制之间的链接是可用的。健全性、稀疏性、权重可以被应用到 LS-SVM 上,并具 有三个层次的推理贝叶斯框架已经制定。LS – SVM 像原始对偶那样配方给予核 PCA,核 CCA 和 PLS。对于非常大的规模问题和在线学习,一个固定大小的 LS - SVM 方法被提出, 它基于 Nystrom 在原始空间中支持向量的积极选择和估计的近似值。原始对偶申述的方法 被开发为核心谱聚类,数据可视化,降维和生存分析。
基于QPSO参数优化的LS-SVM智能标定

基于QPSO参数优化的LS-SVM智能标定杨德志【摘要】When we study the parameters of LS-SVM with PSO(particle swarm optimization) optimization,it is easy to fall into local extremes for the limitation of search space,thus directly affecting the calibration accuracy of tank capacity.To deal with this problem,the suthor made the optimization by selecting the radial basis kernel parameters of LS-SVMwith QPSO(quantum-behaved particle swarm optimization)and built a soft-sensing model of calibrating tank capacity based on QPSO-LS-SVM.The simulation results show that it is a simple method with high precision efficiency.%研究粒子群算法(PSO)优化最小二乘支持向量机(LS-SVM)的参数时,受到搜索空间有限的限制,容易陷入局部极值,直接影响罐容表的标定精确度的问题。
针对该问题,作者采用量子粒子群算法(QPSO)选取LS-SVM的径向基核参数进行优化,建立了基于QPSO-LS-SVM的罐容表标定的软测量模型。
仿真实验结果表明:该方法不用建立复杂的机理模型,只需利用QPSO-LS-SVM算法进行软标定,大幅度缩短了训练建模时间,提高了运行效率。
【期刊名称】《辽东学院学报(自然科学版)》【年(卷),期】2011(018)003【总页数】4页(P224-227)【关键词】最小二乘支持向量机(LS-SVM);粒子群算法(PSO);标定【作者】杨德志【作者单位】辽东学院师范学院,辽宁丹东118003【正文语种】中文【中图分类】O242.1罐容表的软标定技术是目前研究的热门方向之一。
LS-SVM中文使用说明

kpca, eign
演示:Subsections
计算模型的后验概率和不同层次的推理中超参数的函数是可以用的。通过考虑模型和 超参数的不确定性得到误差线。进行分类,一类可以估算后概率(这也被称为主持输出) (bay_modoutClass)。在贝叶斯框架中使用特征值分解核矩阵。矩阵的大小会随着数据点 的数量而增长。因此,人们需要逼近技术处理大型数据集。众所周知,主要特征值和相应的 特征向量是相关的。因此,,迭代逼近方法,如作为 Nystrom 方法包括在内,这也是高斯过 程中经常使用。输入选择可以通过自动关联的测定(bay_lssvmARD)。对于一个落后的变 量的选择,贝叶斯框架推断的第三个层次对这个问题来说最合适的运用。
2.4 通过固定大小的最小二乘支持矢量机解决大型规模问题
调用函数:demo_fixedsize, AFEm, kentropy; 演示:Subsection , demo_fixedsize, demo_fixedclass
例如喜欢基于最小二乘支持向量机算法的典型内核通常具有记忆功能和算法复杂度为 O(N 2)的计算要求。为绕过这个瓶颈,对大规模的工作方法提出了解决方案。对于大型数据 集,将有利于在原始权空间解决最小二乘问题,这是由于当时未知数向量大小是与特征向量 大小是成比例的,而不是数据点的数量。但是,该特征空间映射是由内核诱导的,而内核又 需要获得非线性,因此,提出了一种固定大小的最小二乘支持向量机的方法。首先,Nystr¨om 方法能够用来估计特征空间的映射。Nystr¨om 近似值,内核主成分分析和密度估计之间的 联系已被讨论。在固定大小的最小二乘支持向量机中,聘请了明确的原始对偶 LS-SVM 的 解释,将它们联系起来。根据二次 Renyi 熵准则选择支持向量机。最后一步,在原始空间 中完成回归,原始空间为求解大规模非线性函数估计和分类问题提供了适当的方法。而固定
基于RS重构技术的LS_SVM预测模型及工业应用

第30卷 第5期2009年5月仪器仪表学报Ch i nese Journa l o f Sc ientific Instru m entV ol 130N o 15M ay 2009收稿日期:2008-10 R ece i ved D ate :2008-10*基金项目:国家自然科学基金(60634020,60874037)、教育部博士点基金(200805331103)资助项目基于RS 重构技术的LS _S V M 预测模型及工业应用*孔玲爽1,2,阳春华1,朱红求1,桂卫华1(1 中南大学 信息科学与工程学院 长沙 410083;2 湖南文理学院 电气与信息工程学院 常德 415000)摘 要:为实现不完备多变量时间序列的有效重构,将经典重构技术和粗糙集约简理论相结合,提出了一种广义输入状态重构方法和LS_SVM 预测模型。
首先,结合M ean Comp leter 补齐算法和经典相空间重构方法,对不完备多变量时间序列进行补齐和含有一定嵌入裕量的初始重构,以克服序列中可能存在的数据缺失和嵌入不足等问题;然后,通过构建时间序列决策表,采用一种I GA 算法对冗余嵌入和冗余变量进行R S 约简,获取精简重构样本空间;最后,将精简结果作为LS _S VM 的输入,辨识关键变量预测模型。
将提出的方法应用氧化铝配料过程的原料组份时间序列的重构和预测,通过比较和分析验证了算法的有效性和优越性。
关键词:多变量时间序列;相空间重构;R S ;L S_S VM;预测中图分类号:TP273 文献标识码:A 国家标准学科分类代码:120.5099LS_S V M pred i cti on model based on R S reconstructionand its i ndustrial applicationKong L i n gshuang 1,2,Y ang Chunhua 1,Zhu H ongq i u 1,Gu iW e i h ua1(1.Schoo l of Infor m ation Science and Eng i neering ,Central South Universit y,Changsha 410083,Ch i na ;2.Colle g e of co mmunication and E lectric Engineering ,H unan Univers it y of A r ts and S cience ,Changde 415000,China )Abstract :In order to effecti v ely reconstruct the phase space for mu lti v ari a te ti m e series ,a ge neral i n put state recon -str uction m ethod co mb i n i n g c lassical reconstructi o n techno l o gy w it h reducti o n theory of rough sets and LS_SVM predic -ti o n model are proposed .Firstl y ,by usi n g M ean Co m pleter A l g orithm and classica l reconstructi o nm ethod ,the m ulti v a -riate ti m e seriesw it h i n co m plete i n for m ati o n is co m pleted and ori g ina lly reconstr ucted w ith redundant e m beddi n g d-im ensions .Then ,t h e ori g inal decisi o n-table for mu ltivariate ti m e series is set up and the RS reducti o n is i m ple m ented by I G A to delete the redundant d i m ensions and irrelevant variables and to extract the si m plified sa mp les .F i n ally ,the pred icti o n m odel for the key variab le is i d entified by i n putting these sa m ples into LS_SVM.The proposed m ethod is applied to reconstruct and predict the ti m e series o fm ateria l co mponent contents i n b lending process of alu m ina pro -duction .The app li c ation resu lts sho w its effic iency and superi o rity in co m parison w ith c lassi c alm ethod .K ey w ords :M ulti v ariate ti m e series ;phase space reconstruction;RS;LS_SVM;predicti o n1 引 言在工业生产过程中,由多个变量(或参数)的历史检测数据构成的时间序列广泛存在。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2014. 3(1)
侯雨坤,等:基于 LS-SVM 的改进统计降尺度方法
因子间的统计关系:
式中, Rt* 为模拟期第 t 天回归模拟得到的降雨雨量转
ˆtj + ε ˆt2 , , u ˆt1 , u = wt F1t u
(
)
(3)
ˆt1 , u ˆt2 , , u ˆtj 为挑选出来的 j 个大尺度气象因子; 换量;u
1. 引言
降尺度方法就是将大尺度的预报因子经过一系
作者简介:侯雨坤(1991-),男(汉),江苏南京,武汉大学水文学及 水资源系,硕士研究生,主要从事气候变化对水循环影响。
列处理,降解到小尺度区域上,使之能够与水文模型 输入的尺度匹配。由于发展具有更高分辨率的 GCM 在计算量上过于庞大,对于尺度的降解作用十分有限, 目前主要采用统计降尺度与动力降尺度两种方法。动
式中,M obs 率定期实测 Rt* 的均值;M calibration 为率定期 通过回归得到的 Rt* 确定性部分均值。 得到完整的时间序列, 如下: 最后, 将 Rt* 值还原,
水资源研究 OPEN ACCESS
72
Journal of Water Resources Research
2014. 3(1)
侯雨坤,等:基于 LS-SVM 的改进统计降尺度方法
力降尺度方法通过内嵌全球气候模式,具有较为明确 的物理意义[1],但是相比较而言,统计降尺度方法的 计算量较小,并且模型算法的构建相对简单,有众多 形式较为灵活的模型可供选择[2]。 目前,统计降尺度方法越来越多地作为有效的工 具应用到研究中[3-7]。Guo 等应用 ASD 降尺度方法黄 河流域降雨变化进行预测,得出 2010~2099 年 A2、 B2 不同情景下的年降雨量趋势变化;Chen 等采用改 进的平滑支持向量机, 利用 CGCM2 与 HadCM3 两种 模式在 A2 情景下的输出,预测汉江流域未来的降雨 趋势变化,为南水北调工程提供了有效的科技支持; 褚健婷等将 SDSM 模型应用到海河流域进行未来降 雨、蒸发的预测,取得了较好的效果;Chen 等通过将 多种 GCM 模式与水文模型耦合进行预测的结果对比, 得出 NSC 与 RSR 是评价 GCMs 输出因子与水文模型 耦合效果优劣的关键统计指标的结论;Jeong 等采用 多元回归、稳健回归、岭回归及人工神经网络方法对 于加拿大不同省份进行气温的预测,通过比较不同方 法取得的效果,认为多元回归在加拿大大部分地区最 为适用,而稳健回归、岭回归的效果相对较差。 统计降尺度由于所需数据较动力降尺度少很多, 找出气象因子与气候数据之间的合适的回归关系较 为灵活,所以具有巨大的发展空间。我们可以通过模 型改进等多种手段对统计降尺度算法进行优化,同时 对于不同地区及流域建立不同参数的统计降尺度模 型,从而达到用少量气象数据获得较好降尺度效果的 目标,其研究意义十分明显。而在众多统计降尺度模 型中,Chen 等的研究表明,SVM 回归比一般回归模 型拥有更强的学习能力,在长序列气象数据情况下基 于 SVM 回归的模型降尺度效果较一般回归更好,具 有进一步研究的潜力。因此,在此基础上,本文主要 讨论以 SVM 算法作为模型核心的统计降尺度的原理 方法及应用改进。
F1t 为 LS-SVM 回归得到的预报因子与降雨状态之间
(8)
式中, Vobs 为率定期实测 Rt* 的方差; Vcalibration 为率定 期通过回归得到的 Rt* 确定性部分方差;ε 为服从标准 正态分布的随机数; b 值在使用 NCEP 数据进行检验 时,一般取值为 0,当采用 GCM 数据生成未来情景 时, b 值计算如下:
究当中。本文以湘江流域为例,开发了一种基于 LS-SVM 回归的改进统计降尺度算法,并与经典统计 降尺度模型 SDSM (Statistical Downscaling Model)进行比较。结果表明,在湘江流域,无论是降水模拟 和温度模拟,基于 LS-SVM 回归算法的改进统计降尺度方法都能达到 SDSM 的效果,而温度的模拟, LS-SVM 回归降尺度方法模拟结果更好。为了使得这种方法能更适合气候变化对水资源的影响研究, 还需要在更多的区域进行应用证明。 关键词:统计降尺度;LS-SVM;SDSM
Abstract: The statistical downscaling method has been more and more utilized in the climate change study for its simplicity and flexibility. A statistical downscaling method based on LS-SVM (least squares support vector machines) was developed and compared with SDSM (Statistical Downscaling Model) to test its ability in downscaling precipitation and temperature in Xiangjiang Basin. The results showed that the method based on LS-SVM has the similar performance with the SDSM method in simulating precipitation, while it was superior to SDSM in simulating temperature. The proposed method still needs to be applied to more regions to make it more suitable for studying the impact on water resources under climate change. Keywords: Statistical Downscaling; LS-SVM; SDSM
= b M obs − M calibration
的多元非线性回归关系。最终率定期通过实测降雨资 料与对应时段的大尺度气象因子,获得降雨状态的 LS-SVM 回归关系。 ■模拟期:降雨状态模拟 利用模拟期大尺度因子与率定期获得的回归关 系,结合随机天气发生器原理,进行模拟期降雨状态 的模拟,如下:
(9)
式中, ε 为服从标准正态分布的随机误差项,用以衡 量由于降雨状态阈值设置而带来的降雨状态划分误
e 为一个假设服从高斯分布的误差随机项,参照 ASD
算法[9],其计算如下:
= e Vobs − Vcalibration ⋅ ε + b
ˆt1 , u ˆt2 , , u ˆtj 为挑选出来的 j 个大尺度气象因子; 差; u
计降尺度一般分为三类:回归分析、天气分型技术及 尽管各类方法采用不同的步骤及算法, 天气发生器[8]。 但都是建立在区域气候是大尺度大气状态的函数这 一重要假设的基础上的。大尺度气候变量(GCM 预报 因子 ) 与区域气候变量 ( 预报量 ) 之间的统计关系可以 用随机或确定性的方法表达,总的来说其关系如下所 示:
1 wt = 0 Rt > threshold Rt ≤ threshold
2. 基于 SVM 回归的统计降尺度算法
2.1. 统计降尺度方法介绍
统计降尺度方法利用长序列观测资料,构建大尺 度 GCM 输出因子与区域气候要素之间的线性或非线 性统计关系,通过验证所构建统计关系的合理性,将 这种统计关系用于 GCM 的尺度降解。较为复杂的统
Hale Waihona Puke 基于 LS-SVM 的改进统计降尺度方法
侯雨坤,陈 华,黄 逍,许崇育
武汉大学水资源与水电工程科学国家重点实验室,武汉 Email: 417680591@ 收稿日期:2013 年 9 月 30 日;修回日期:2013 年 11 月 20 日;录用日期:2013 年 11 月 26 日
摘
要:统计降尺度方法作为一种计算量小、使用灵活的降尺度模型,被越来越多应用到气候变化研
Journal of Water Resources Research 水资源研究, 2014, 3(1), 72-77 /10.12677/jwrr.2014.31012 Published Online February 2014 (/journal/jwrr.html)
Y = F(X )
(1)
式中,Y 代表需要预测的区域气候变量,X 为一系列 GCM 大尺度输出气候因子, F 为建立两者的函数表达 式。
2.2. 基于 LS-SVM 回归的降尺度算法
支持向量机以其模型简单、具有好的推广能力和 全局最优解等特点,被应用月时间序列建模与预测、 智能控制等方面,已经在统计降尺度上得到了应用。 然而,由于其基于二次规划的优化计算方法不适合海 量数据训练,采用最小二乘支持向量机进行函数估计, 改进其优化计算方法以提高其实用性。 本文采用 LS-SVM 回归算法为基础对流域进行降 尺度分析。LS-SVM 的基本思想为:将寻求最优超平 面的算法定义为求最优化解的规划问题, 利用 Mercer 核函数进行数据处理,将样本空间映射至高维乃至无 穷维的特征空间,从而达到用线性学习机处理非线性 数据的能力,以达到更好的拟合效果。与标准 SVM 相比,LS-SVM 回归只需要确定核函数的形状参数和 惩罚系数,而不需要不敏感损失函数的值,这既简化 了计算,又便于实际使用。具体如下: (1) 降雨状态序列的生成 0 ■率定期:降雨状态模型率定 对于率定期的降雨数据,规定一个降雨状态的判 断阈值 threshold, 认为雨量大于该阈值的状态为湿天, 小于该阈值的状态为干天,如下所示。
A Statistical Downscaling Method Based on Least Squares Support Vector Machines
Yukun Hou, Hua Chen, Xiao Huang, Chongyu Xu