基于特征指数加权的最小二乘支持向量机算法

ｃｅｆｉｎｓａｅｄｔｒｎｄｂｅｇｅｏｒｌｔｎｄｇｅｐｒａｈＩｅｍｅｔ，ｅｅｅｔｅｅｓｏｔｅａｇｒｈｏｆｉｅｔｌｅｅｍｉｅｙｔｒｙｃｒｅａｏｅｒｅａｐｏｃ．ｎｔａｉｃｈｉｈｎｍｅｔｆｃｉｎｓｆｌｏｔｍｈｖｈｉ
数的预测能力明显提高，具有一定的实用价值。
关键词：支持向量回归机：特征加权：灰色关联度：评价指标；核函数
ＬｅｓｕａｅｕｐｐｔｃｏａｈｉｓｄｎｐｏｎｔａｌｅｇｅＦｅｔｅａｔＳｑｒｓＳｏｒｔｒＭｃｎｅＢａｅｏＥｘｎｅｉｌＷｉｈｔｄａｕｒＶｅｙ
ｉｄｘ；ｅｅｎｅｋｒｌｎ
１引言
支持向量机是由Ｖｐｉ等人提出并在统计学习理ａｎｋ
响的、与回归无关的以及被噪声污染的特征与其它特
征拥有相同地位则会对支持向量回归机的实用效果产生影响。文献【】出了一种基于特征系数加权的支持１提
ｓｎｆａｃｆｉｈｅａｒｅｒａｚｔｎｌｓｓｕｒｓｕｐ￣ｖｃｒｅｅｓｎｍａｈｎ（ＳＳＲｂｅｎｉｉｃｅｏ Байду номын сангаасｇｔｆｔｅＲｒｏｌａｉ，ａｔｑａｅｐｇｉｎｗｅｄｅｕａｎｍｉｏｅｓｏｅｔｇｓｉｃｉｅＬ－Ｖ）ａｄｏｏｒｒｏｓ
ｈｕｅｆｒｍｅｓｎｘｅｔｌｅｅｔｅｉｕｅｉｏｅｐｅｉｎａｃｒｃ，ｈｅｉｔｅｎｍｂｒｏａａｔｒａｄｅｐｎｎａｙｗｉｔｄｆａｒｓｄｔｒｖｒｄｃｏｃｕａｙｔｅｗｉｔｇｐｅｏｉｌｈｇｅｕｓｏｍｐｉｔｈｇｎ
ｃｒｅａｉｅｄｇｅｏｔｅｒｇｅｓｏ，ｔｅａｅｔｏａａｔｒｏｔｅｏｍａｃｆｆｒｃｓｎａｎｇｉｔｃｏｎｔｔｅｏｒｌｔｖｅｅｔｅｓｉｎｈｆｃｆｐｒｍｅｅｓｔｈｅｐｒｒｎｅｏｏｅａｔａｄｔｋｉｏａｃｕｒｈｒｆｎｈ
（ＳＳＲ）算法，减少参数数量，针对参数对预测效果的影响，并考虑到特征加权的意义，采用特征指数进行Ｌ．ｖ
加权，其权重系数由灰色关联度确定，提出了基于特征指数加权的最小二乘支持向量回归机算法。为验证该算
法的有效性，对实际股票价格进行预测，结果表明该算法较传统最小二乘支持向量回归机算法，其回归估计函
Ｋｅｏｄ：ｌｓｓｕｒｓｓｐｒｖｃｒｒｇｅｓｎｍａｈｅｗｅｔｅｔｅｇａｏｅｔｎｄｇｅ；ｖｌａｏｙｗｒｓｅｔｑａｅｕｐｔｅｔｅｒｓｉｃｉ；ｉｅｆｕ；ｒｙｃｒｌｏｅｒｅｅａｔｎａｏｏｏｎｈｇｄａｒａｉｕｉ
ｉｄｍｏｓｒｔｄｉｆｒｃｓｎｈｅａｔａｏｋｐｉｅＴｅｅｐｒｎａｓｌｏｔａｉｉｐｒｒ０ｃａｓａｐｏｓｅｎｔｅｎｏｅａｔｇｔｃｕｌｔｃｒ．ｈｘｉｔｌｅｕｔｓｗｈｔｔｓｓｅｉｔｌｉｌｕｐｒａｉｓｃｅｍｅｒｓｈｕｏｓｃｓｔｖｃｏｍａｈｎｎｄｃｌｓｇｉｃｎｌｍｐｏｅｔｅｐｅｃｉｅａｉｔ．ｅｔｒｃｉｅａａｌｉｆａｔｎｉｙｉｒｖｈｒｄｔｂｌｙｉｖｉ
ＰＡＮＬａ＇ＡＮＧＺｈｏｇＪｎｎＷｎ－ｕ
（ｃｏｌｆｃｅｃ，／ｈｎＵｉｅｓｙｏＴｃｎｌｙＷｕａ３００ＣｉａＳｈｏｉｅ＂ｕａｎｖｒｔｆｅｈｏｏ，ｈｎ４０７，ｈｎ）ｏＳｎ￣ｉｇ
Ａｂｔａｔｓｒｃ：Ａｃｏｄｎｏｔｅｂｓｃｐｉｃｐｅｏｕｐｒｅｔｒｒｇｅｓｏｌｏｉｍ，ｆｒｔｅｄｆｅｅｃｆｆａｒｓｃｒｉｇｔｈａｉｒｉｌｆｓｐｏｔｖｃｏｅｒｓｉｎａｇｒｈｎｔｏｉｒｎｅｏｅｔｅ ’ ｈｕ
ｗｅｇｔｄｆａｕｅｉｒｐｓｄｉｉａｒｉｉｈｌａｔｑａｅｕｐｒｖｃｏｅｒｓｉｎａｇｒｈｉｕｅｅｕｅｉｈｅｅｔｒｐｏｏｅｔｓｐｐ，ｗｈｃ，ｅｓｕｒｓｓｐｏｔｅｔｒｇｅｓｏｏｔｍｓｓｄｔｒｄｃｓｎｈｅｎｓｒｌｉｏ
２１０２年第２卷第５期ｌ
ｈｔ：ｗ．ｓ＆ｒ．ｌｔｌｗｗｃ－ｏｇｃｐｌ・ｔ
计算机系统应用
基于特征指数加权的最小二乘支持向量机算法①
潘岚，王仲君
（武汉理工大学理学院，武汉４０７）３００
摘
要：根据支持向量回归机原理，针对样本特征对回归预测重要性的差异，采用最小二乘支持向量回归机

合集下载

基于加权最小二乘支持向量机的月度负荷预测

基于加权最小二乘支持向量机的月度负荷预测
吴钰，王杰
（）上海交通大学电气工程系，上海２００２４０摘要：考虑到实际电力负荷预测中各数据的重要程度并不相同，在标准最小二乘支持向量机回归算法的训练样本中设置权值系数，建立了加权最小二乘支持向量机模型，以实现样本的优化选择，达到历史数据“ 重近轻远” 的学习效果；同时考虑到粒子群优化算法收敛速度快和混沌运动遍历性、随机性等特点，提出了一种基于混沌思想的粒子群优化算法对模型参数进行优化，引入优势粒子和劣势粒子的权重自适应调节机制，使算法结果表明本文方法与常规方法相比降低了具有动态适应性。将改进的模型应用于江西省萍乡市月度负荷预测中，预测误差，且速度较快。关键词：月度负荷；预测；最小二乘支持向量机；加权；混沌粒子群中图分类号：ＴＭ７１５文献标志码：Ａ
第３０卷第５期
吴钰等：基于加权最小二乘支持向量机的月度负荷预测
Ｎ
·１７５·
１Ｔ１２烄ｍｉｎＪ＊（ ω，＝ ω ω ＋ γ∑ ｉ）ｉｉ ξ ξ ２２ｉ＝１μ 烅（）４Ｔ（ …，ｓ．ｔ．ｘｉ＝１，２，Ｎ＋ｂ＋ξ ｙｉ＝ω φ ｉ）ｉ烆），通过建立Ｌ即：ａｒａｎｅ方程求解式（４ｇｇ
随着国民经济的发展和人民生活水平的提高，电力系统月度负荷呈现出逐年增长的趋势；同时，受气温升降、春耕秋收、产业政策等因素的影响，月度负荷随季节变化呈现出波动的趋势。因此对月度负荷进行预测时，要考虑到其具有增长性和季节性波动的二重趋势。月度负荷预测是以月为预测时段、以月度指标（如月度电量、月度电为预测内容对电力系统中期运行计划进行力等）安排，以降低运行成本，达到提高供电可靠性的目

基于特征指数加权的最小二乘支持向量机算法

基于特征指数加权的最小二乘支持向量机算法潘岚;王仲君【摘要】According to the basic principle of support vector regression algorithm, for the difference of features' correlative degree to the regression, the affect of parameters to the performance of forecast and taking into account the significance of weighted feature after normalization, least squares support vector regression machine (LS-SVR) based on weighted feature is proposed in this paper, in which, least squares support vector regression algorithm is used to reduce the number of parameters and exponentially weighted feature is used to improve prediction accuracy, the weighting coefficients are determined by the grey correlation degree approach. In the meantime, the effectiveness of the algorithm is demonstrated in forecasting the actual stock price. The experimental results show that it is superior to classical support vector machine and can significantly improve the predictive ability.%根据支持向量回归机原理,针对样本特征对回归预测重要性的差异,采用最小二乘支持向量回归机(LS-SVR)算法,减少参数数量,针对参数对预测效果的影响,并考虑到特征加权的意义,采用特征指数进行加权,其权重系数由灰色关联度确定,提出了基于特征指数加权的最小二乘支持向量回归机算法.为验证该算法的有效性,对实际股票价格进行预测,结果表明该算法较传统最小二乘支持向量回归机算法,其回归估计函数的预测能力明显提高,具有一定的实用价值.【期刊名称】《计算机系统应用》【年(卷),期】2012(021)005【总页数】4页(P205-208)【关键词】支持向量回归机;特征加权;灰色关联度;评价指标;核函数【作者】潘岚;王仲君【作者单位】武汉理工大学理学院,武汉430070;武汉理工大学理学院,武汉430070【正文语种】中文1 引言支持向量机是由Vapnik等人提出并在统计学习理论（SLT）的基础之上快速发展起来的最开始用于分类的一种新的学习方法。

DEM构建的加权最小二乘支持向量机算法

DEM构建的加权最小二乘支持向量机算法李明飞;陈传法;戴洪磊;李翼龙;李宇航【摘要】为了减少采样点中的粗差对DEM构建精度的影响,将最小二乘支持向量机(LSSVM)运用到DEM中,发展了一种DEM构建的新算法,即加权最小二乘支持向量机(LSSVM-W).LSSVM-W以LSSVM为基础,依据LSSVM计算的拉格朗日系数阵α求出各误差变量的权重系数,再求出更好的拉格朗日系数阵α,这样迭代多次,最终获得满足拟合精度的系数阵α.文中以数值模拟曲面为研究对象,分析并比较了当采样误差为不同污染率的正态分布时LSSVM与LSSVM-W模拟结果的精度.模拟结果表明,LSSVM-W的抗差性优于LSSVM,是一种较好的DEM构建方法.【期刊名称】《地理空间信息》【年(卷),期】2015(013)006【总页数】2页(P82-83)【关键词】LSSVM;粗差;抗差;DEM;LSSVM-W【作者】李明飞;陈传法;戴洪磊;李翼龙;李宇航【作者单位】山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590【正文语种】中文【中图分类】P207在采集数据时，由于各种条件限制造成采样数据中含有粗差，进而导致DEM[1]失真，甚至完全不能使用。

为了用含粗差的数据构建出与实际地形相符合的DEM，相关科研人员提出了一系列的方法，如自适应抗差最小二乘估计方法[2]和基于最小绝对偏差的多面函数抗差方法[3]等。

SVM是以结构风险最小化原则代替经验风险最小化原则的一种机器学习方法，具有泛化能力强、精度高等优良性能。

Suykens等用等式约束代替SVM的不等式约束，提出了LSSVM[4.5]，它在保持优良的泛化能力和精度的同时，拥有了更高的计算效率，可以用于海量数据的处理。

基于加权最小二乘支持向量机的应急物资需求预测方法

（ＤｅｐａｒｔｍｅｎｔｏｆＬｏｇｉｓｔｉｃｓＭａｎａｇｅｍｅｎｔ，ＬｉａｏｎｉｎｇＰｒｏｖｉｎｃｉａｌＣｏｌｌｅｇｅｏｆＣｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｓｈｅｎｙａｎｇ１１０１２２，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｉｎｖｉｅｗｏｆｔｈｅｐｒｏｂｌｅｍｓｉｎｔｈｅｆｏｒｅｃａｓｔｉｎｇｏｆｔｈｅｄｅｍａｎｄｖｏｌｕｍｅｏｆｔｈｅｅｍｅｒｇｅｎｃｙｍａｔｅｒｉｌｓａ，ｗｅｐｒｏｐｏｓｅｄａｎｉｍｐｒｏｖｅｄｗｅｉｓｈｔｅｄＬＳＳＶＭｍｅｔｈｏｄ，ｔｈｅｎｉｎｔｒｏｄｕｃｅｄｔｈｅｗｏｒｋｉｎｇｍｅｃｈｎｉａｓｍｏｆｉｔ，ｎｄａａｔｔｈｅｅｎｄ，ｂｙａｐｐｌｙｉｎｇｉｔｔｏａｎｅｍｐｉｒｉｃｌａｃａｓｅｏｆｄｉｓａｓｔｅｒｒｅｌｉｃｆ，ｐｏｖｒｅｄ
现在主要以概念模型为主，且基于影响因素以及一些参数的
层次分析法计算关键因素模糊权重，专家通过突发事件现场采集到的信息对关键因素进行赋值，形成关键因素模糊矩阵，
通过计算海明距离得到应急救援等级划分，为物资需求预测提供参考；赵一兵等口针对应急物资预测方法缺乏科学依据的难题，提出了一种新的科学预测方法一两步法，即支持向量机

加权最小二乘法

obs 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
Y 1578 1654 1400 1829 2200 2017 2105 1600 2250 2420 2570 1720 1900 2100 2300
X 24127 25604 26500 27670 28300 27430 29560 28150 32100 32500 35250 33500 36000 36200 38200
6
2。模型变换法
（1）模型变换法的定义（2）模型变换法的关键（3）模型变换法的变换过程（4）实际处理异方差时，f(xi)的常用形式（5）常用变换举例（6）利用EViews作模型变换
8
3。加权最小二乘法
（1）加权最小二乘法的思路（2）加权最小二乘法的机理（3）加权最小二乘法的定义（4）OLS是加权最小二乘法的特例（5）加权最小二乘法与模型变换法所得结果是一致（6）在EViews中实现加权最小二乘法
30
obs 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Y 264 105 90 131 122 107 406 503 431 588 898 950 779 819 1222 1072
X 8777 9210 9954 10508 10979 11912 12747 13499 14269 15522 16730 17663 18575 19535 21163 22880
43
（2）G-Q检验
1。求两个子样回归方程残差平方和加载(lx4下)yfch.wf工作文件到内存 SORT X 按居民收入排序 SMPL 1 12 LS Y C X 得ESS1 SMPL 20 31 LS Y C X 得ESS2

最小二乘支持向量机算法在数据分类中的应用

最小二乘支持向量机算法在数据分类中的应用数据分类是机器学习领域的一个重要研究方向，它涉及到很多的算法技术。

早期的机器学习算法包括朴素贝叶斯、决策树以及神经网络等。

这些算法都各有优缺点，在不同的场合下都有各自适用的情况。

本文将重点介绍一种数据分类算法：最小二乘支持向量机算法。

一、最小二乘支持向量机算法概述最小二乘支持向量机算法（Least Squares Support Vector Machines，LS-SVM）是由比利时科学家Suykens等人于1999年提出的分类算法。

与传统的支持向量机算法SVN相比，LS-SVM 将在线性不可分的情况下，将数据映射到高维的空间中，通过引入核函数来实现。

这种算法的特点是在保持支持向量机分类精度的基础上，大大降低了训练时空复杂度，是一种较为理想的数据分类算法。

二、最小二乘支持向量机算法原理1. 建立模型假设给定的训练集为{(x1，y1)，(x2，y2)，…，(xn，yn)}，其中xi∈Rn为输入向量，yi∈R为对应的输出标记。

目标是将训练集分成两类（如果是多类别问题，可以通过人为定义将其转化为二类问题）。

在支持向量机算法中，我们的目标是找到一个最优的超平面，将两类数据分开。

但在LS-SVM中，我们并不直接寻找超平面，而是建立一个目标函数：最小化误差平方和：min(1/2 w^Tw +Cξ^Tξ)s.t. y_i(w^Tφ(x_i)+b)-1+ξ_i≥0,i=1,2,...,n其中w为权重向量，b为常量，C为惩罚因子，ξ为标准化后的误差。

2. 求解问题由于上述问题中，自变量的个数远大于因变量的个数，因此对于w和b的求解需要采用最小二乘法来进行。

对于任意一个输入向量xi和输出标记yi，我们都可以得到如下的判别函数：f(x)=sign(w^Tφ(x)+b)可以发现，这个函数的取值只有两种可能：+1或-1。

因此，最小二乘支持向量机算法就可以通过这个判别函数来对新样本进行分类。

基于最小二乘支持向量机的特征增量学习算法

刘新旺殷建平张国敏罗。，，菜詹宇斌，
ＬＵｉ－ｎ￣ＹＩＪａｐｎ￣ＺＩＸｎｗａｇ，Ｎｉｗｉｇ，ＨＡＮＧｏｍｉｘＬＧｕ－ｎ，ＵＯｅｚＺＨＡＮＦｎ，Ｙｗｂｎｉｔ
（．１国防科技大学计算机学院，湖南长沙４０７；．１０３２重庆工商大学计算机科学与工程学院，重庆４０６）００７
摘
要：本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题，设计适应样本特征维数增加
的训练算法。在基于最小二乘支持向量机的基础上，出了特征增量学习算法。该算法充分利用先前训练得到的分类器提的结构参数，仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明，该算法能够在保证分类精度的同时，有效
ｔａｎｎｉｅａｄｔｅｍｅｒｐｃａｅｒｄｃｄＳｍｅＵＣＩａａｅｓａｅｕｅｅｎｔａｅｔｅｌｓｒｉｉｇｔｅｏｅｒｉｉｇｔｍｏｙｓａｅｃｎｂｅｕｅ．ｏｍｎｈｔｓｔｒｓｄｔｄｍｏｓｒｔｈｓｔａｎｎｉｒｔｄｏｅｍｈ
ｂｔｅｅｆｒｎｅｏｈｓａｇｒｈｈｎｔｅｓａｄｒｅｓｑａｅｓｐｏｔｖｃｏｃｉｅｅｔｒｐｒｏｍａｃｆｔｉｌｏｉｔｍｔａｈｔａｄｌｔｓｕｒｕｐｒｅｔｒｍｈｎ．ｎａａ
关键词：支持向量机；小二乘支持向量机；最特征雏数增量学习
（．ｃｏｌｆｏｕｅｃｎｅＮｔｎｌｎｖｒｉｆｅｅｓＴｃｎｌｙＣａｇｈ１０３１ＳｈｏｏｍｐｔＳｉｃ。ａｉａＵｉｓｙｏｆｎｅｅｈｏｇ，ｈｎｓａ４０７；ＣｒｅｏｅｔＤｏ

基于特征加权FDCT和模糊最小二乘支持向量机的虹膜识别算法

虽然采用小波变换进行虹膜特征提取，取得了良好的效果。但是小波变换也存在缺陷性，小波变换反映点奇异性．在表示线奇异的二维图像时，不具有空间各向异性的要求，不能有效捕捉虹膜图像的边缘信息。从而影响虹膜识别的准确性。Ｃｕｒｖｅｌｅｔ（曲波）变换克服了小波这一局限性，除了具有小波变换多尺度特性之外．还具有多方向性和各向异性，对图像边缘特征的表达更优于小波变换。罗忠亮等阎利用Ｃｕｒｖｅｌｅｔ变换提取虹膜特征取得了较好的识别效果。
关键词：虹膜识别；特征加权；快速离散曲波变换；模糊最／ｂ－乘支持向量机；最优二叉树
中图分类号：ＴＰ３９１
文献标识码：Ａ
ｄｏｉ：１０．１１９５９／ｊ．ｉｓｓｎ．１０００—０８０１．２０１６０５８
Ｉｒｉｓｒｅｃｏ，ｇｎｉｔＵｉｏｎａｌｇＲｏｒｉｔｈｎｍｂａｓｅｄｏｎｆｅａｔｕｒｅｗｅｉ＂ｇｈＩｉｔｉｎｇｆｔａｓｔｄｉｓｃｒｅｔｅＣｕｒｖｅｌｅｔｔｒａｎｓｆｏｒｍａｎｄｆｕｚｚｙＬＳ—ＳＶＭ
ＨＥＺｈｅｎｈｏｎｇＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＧａｎｓｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙｆｏｒＮａｔｉｏｎａｌｉｔｉｅｓ，Ｈｅｚｕｏ７４７０００，Ｃｈｉｎａ
Ａｂｓｔｒａｃｔ：ＩｎｏｒｄｅｒｔｏｏｖｅｒｃｏｍｅｔｈｅｗｅａｋｎｅｓｓｏｆｗａｖｅｌｅｔｔｒａｎｓｆｏｒｉＢｉｎｔｗｏｄｉｍｅｎｓｉｏｎａｌｓｐａｔｉａｌａｎａｌｙｓｉｓ．ａｎｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｆａｓｔｄｉｓｃｒｅｔｅＣｕｒｖｅｌｅｔｔｒａｎｓｆｏｒｍｆｏｒｉｒｉｓｒｅｃｏｇｎｉｔｉｏｎｗａｓｐｒｏｐｏｓｅｄ．Ｃｕｒｖｅｌｅｔｔｒａｎｓｆｏｒｍｗｈｉｃｈｃａｎｅｆｆｅｃｔｉｖｅｌｙｃａｐｔｕｒｅｔｈｅｉｍａｇｅｅｄｇｅｉｎｆｏｒｍａｔｉｏｎｗａｓｉｎｔｒｏｄｕｃｅｄｔｏｄｅｃｏｍｐｏｓｅｉｒｉｓｉｍａｇｅ．Ｍｅａｎａｎｄｖａｒｉａｎｃｅｏｆｌｏｗｆｒｅｑｕｅｎｃｙｓｕｂ—ｂａｎｄｃｏｅｆｆｉｃｉｅｎｔｓａｎｄｔｈｅｅｎｅｒｇｙｏｆｈｉｇｈｆｒｅｑｕｅｎｃｙｓｕｂ·ｂａｎｄｗｅｒｅｅｘｔｒａｃｔｅｄ．Ｔｈｅｎｔｈｅｆｅａｔｕｒｅｖｅｃｔｏｒｓｗｅｒｅｗｅｉｇｈｔｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｄｉｆｆｅｒｅｎｃｅｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎａｂｉｌｉｔｙｏｆｓｕｂ—ｂａｎｄｆｅａｔｕｒｅ．Ｆｕｚｚｙｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｗｉｔｈｏｐｔｉｍａｌｂｉｎａｒｙｔｒｅｅｗａｓｄｅｖｅｌｏｐｅｄｔｏｉｍｐｌｅｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｈａｓｈｉｇｈｅｒｒｅｃｏｇｎｉｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｔｈａｎｔｈｅｐｒｅｓｅｎｔｍｅｔｈｏｄ．Ｋｅｙｗｏｒｄｓ：ｉｒｉｓｒｅｃｏｇｎｉｔｉｏｎ，ｆｅａｔｕｒｅｗｅｉｇｈｔｉｎｇ，ｆａｓｔｄｉｓｃｒｅｔｅＣｕｒｖｅｌｅｔｔｒａｎｓｆｏｒｍ，ｆｕｚｚｙｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ｏｐｔｉｍａｌｂｉｎａｒｙｔｒｅｅ

基于熵值法的加权最小二乘支持向量机

基于熵值法的加权最小二乘支持向量机刘畅;范彬【期刊名称】《计算机科学》【年(卷),期】2017(044)0z2【摘要】支持向量机是一种以统计学习理论为基础的机器学习算法,着重解决小样本的建模问题,并且对非线性高维数据具有较好的处理能力.通常对于多维特征的数据,会对每一维数据做归一化处理以消除量纲的影响,但缺点在于忽视了各维特征的权重差异.提出了一种加权最小二乘支持向量机的建模方法,通过熵值法确定每一维特征的权重,根据特征权重对数据进行加权处理,最后由最小二乘支持向量机建立该系统模型.实验表明,对于多维特征的数据,所提方法具有更好的建模效果.%Support vector machine is a kind of machine learning algorithm based on statistical learning theory,which has a desirable modeling performance for nonlinear and high-dimensional data,even in the case of small samples.Typically,the data with multiple features would be normalized due to different dimensions.However,it ignores the dissimilarity of different features.A weighted least squares support vector machine was proposed.According to the entropy evaluation method,the feature weights may be determined so that the data could be normalized and weighted.Then the system model would be established through the least squares support vector machine.The experimental results demonstrate the effectiveness and superiority of the proposed method for the system with multiple features.【总页数】4页(P428-431)【作者】刘畅;范彬【作者单位】中南大学机电工程学院长沙410012;中南大学机电工程学院长沙410012【正文语种】中文【中图分类】TP181【相关文献】1.基于加权最小二乘支持向量机的欠定盲源分离 [J], 赵立权;刘珊珊2.基于遗传算法的加权最小二乘支持向量机GPS高程拟合法 [J], 李明飞;郇敏;秦川3.基于自适应加权最小二乘支持向量机的青霉素发酵过程软测量建模 [J], 赵超;李俊;戴坤成;王贵评4.基于机理模型和模糊加权最小二乘支持向量机(LSSVM)算法的农杆菌发酵过程混合建模与优化 [J], 邵玉倩; 宗原; 刘以安; 刘登峰5.基于改进加权最小二乘支持向量机的UWSN定位 [J], 蒋华;蔡晨;王慧娇;王鑫因版权原因，仅展示原文概要，查看原文内容请购买。

最小二乘支持向量机

最小二乘支持向量机：用于分类和回归问题的机器学习算法随着计算机技术的不断发展，机器学习（Machine Learning）已经成为当前人工智能领域的重要应用之一。

（Least Squares Support Vector Machines，LSSVM）是一种用于分类和回归问题的机器学习算法。

它利用最小二乘法，将样本数据分为不同的类别或预测目标。

LSSVM有着广泛的应用领域，例如语音识别、图像处理、生物医学工程等，具有较好的效果。

SVM的发展背景SVM（Support Vector Machine）是由Vapnik等人在1980年代发明的。

它是一种二分类模型，通过构建一个最优的超平面来分离数据。

SVM在许多问题中取得了出色的解决方案。

然而，它们只设计了处理训练样本是线性可分的情况。

在实际问题中，许多数据集是线性不可分的。

因此，LSSVM是SVM的发展方向之一，它可以用于处理过度拟合或线性不可分的数据集。

支持向量机的数学模型支持向量机（SVM）是一种基于概率的监督学习算法，在分类和回归问题中广泛应用。

在二分类问题中，SVM的目标是找到一个最优的超平面，将样本数据分为两个类别。

其中，这个超平面的特点是离两个类别最近的样本点最远。

这两个样本点被称为“支持向量”。

SVM的数学模型可以表示为：$ \min \limits_{\alpha, b} \frac{1}{2} \alpha^T H \alpha - \alpha^T e $其中， $H$是Gram矩阵， $e$是所有样本的标签向量，$ \alpha $是拉格朗日乘子。

LSSVM是一种推广了SVM算法的机器学习算法。

它通过最小化重建误差，把训练样本映射到高维空间，从而实现非线性分类和回归。

LSSVM和SVM都是在特征空间中构造一个超平面，但LSSVM选择使用最小二乘法来解决优化问题。

LSSVM的数学模型为：$ \min \limits_{w, b, e} \frac{1}{2} w^T w +\frac{C}{2}\sum_{i=1}^{n} e_i^2 $$ y_i = w^T\phi(x_i) + b = \sum_{j=1}^n \alpha_j \phi(x_j) \phi(x_i) +b $其中w是一个权重向量， $b$是常数项， $e$是松弛变量。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。