支持向量机与最小二乘法的关系研究

基于均匀设计的最小二乘支持向量机改进算法

摘要：针对最小二乘支持向量机模型的参数选取耗时长，容易陷入局部最优而导致过拟合的问题，提出了一种基于均匀设计
的将大样本搜索转化为小样本搜索技术的参数寻优方法。把支持向量机算法的每一次训练过程作为一个试验考虑，ｓｌｓｏｓｔａｔｃｎｂｔｏｖｈｓｐｏｌｍｆｅｓｓｕｒｓｓｐｏｅｔｒｍａｈｎｓａｄｈｎｓｈｉａｉｅｕｔｈｗｈｔｉａｏｈｓｌｅｔｉｒｂｅｏａｔｑａｅｕｐｒｖｃｏｃｉｅｎｍｕｏｌｔ
２．ＴｅｃｒＡｄｖｎｃｄＳｔｄｙＳｈｏｆＣｈｎｉａｈｅａｅｕｃｏｌｏｅｘ，ＣｈｅｉＨｕａ４１５ｎｘ，ｎｎ，９００；
３ｎｏａｉｃｎｅａｄＴｃｎｌｏｅｅｆｕａｇｃｌｒｎｅｓｙｈｎｓａＨｎｎ４０２，Ｃｉａ．ＩｆｍｔｎＳｉｃｎｅｈｏｏＣｌｇｎｎＡｒｕｔａＵｉｒｔ，Ｃａｇｈｕａ１１８ｈ）ｒｏｅｙｇｌｏＨｉｕｌｖｉｎ
ＸＩＡＮＧａｇｓｅｇ，Ｃｈｎ－ｈｎＺＨＯＵ－ｙｎＺＺｉｉｇ，ＨＡＮＧｉ — ｅｇＬｎｆｎ
（．Ｏｅｔｃｎｅ＆ＴｃｎｌｙＣｌｇｆｕａｇｉｌｒｌｎｖｒｔ，ｈｎｓａＨｎｎ４０２，ｈｎ；１ｒｎＳｉｃｉｅｅｈｏｏｏｌｅｏＨｎｎＡｒｕｕａＵｉｓｙＣａｇｈｕａ１１８Ｃｉａｇｅｃｔｅｉ

直线拟合的四种方法

直线拟合的四种方法直线拟合是一种常见的数据分析方法，用于找到一条直线来描述数据集中的趋势。

在实际应用中，直线拟合常用于回归分析、统计建模、机器学习等领域。

下面将介绍四种常用的直线拟合方法。

1. 最小二乘法（Least Squares Method）最小二乘法是最常见的直线拟合方法之一、该方法的基本思想是通过最小化实际观测数据点与直线的残差平方和来确定最佳拟合直线。

具体步骤如下：(1)给定包含n个数据点的数据集；(2) 设直线方程为y = ax + b，其中a为斜率，b为截距；(3)计算每个数据点到直线的垂直距离，即残差；(4)将残差平方和最小化，求解a和b的值。

2. 总体均值法（Method of Overall Averages）总体均值法也是一种常用的直线拟合方法。

该方法的基本思想是通过计算数据集的x和y的均值，将直线拟合到通过这两个均值点的直线上。

具体步骤如下：(1)给定包含n个数据点的数据集；(2) 计算x和y的均值，即x_mean和y_mean；(3) 利用直线方程y = a(x - x_mean) + y_mean拟合数据。

3. 多项式拟合法（Polynomial Fitting Method）多项式拟合法是一种常见的直线拟合方法，适用于数据集中存在非线性趋势的情况。

该方法的基本思想是通过将数据拟合到多项式模型，找到最佳拟合直线。

具体步骤如下：(1)给定包含n个数据点的数据集；(2) 设多项式方程为y = a0 + a1*x + a2*x^2 + ... + an*x^n；(3) 通过最小二乘法求解a0, a1, a2, ..., an的值；(4)通过求解得到的多项式方程进行数据拟合。

4. 支持向量机（Support Vector Machine）支持向量机是一种经典的机器学习方法，适用于直线拟合问题。

该方法的基本思想是找到离数据集最近的点，然后构建一条平行于这两个点的直线。

具体步骤如下：(1)给定包含n个数据点的数据集；(2)将数据点划分为两个类别，如正类和负类；(3)找到离两个类别最近的点，将其作为支持向量；(4)根据支持向量构建一条平行于两个类别的直线，使得两个类别之间的间隔最大化。

基于最小二乘支持向量机的轨道电路故障诊断方法

断，且具有更快的运算速度。与ＢＰ神经网络故障诊断方法比较，故障诊断正确率提高了１７．１４％，运算时间减
少２／３。
关键词：ＺＰＷ一２０００轨道电路；故障诊断；最小二乘支持向量机；多故障分类中图分类号：Ｕ２８４．２文献标识码：ＡＤＯＩ：１０。１３２３８／ｊ．ｉｓｓｎ．１００４ — ２９５４．２０１４．０２．０２１
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｔｒｏｕｂｌｅｓｈｏｏｔｉｎｇｅｆｆｉｃｉｅｎｃｙａｎｄａｃｃｕｒａｃｙｏｆｔｒａｃｋｃｉｒｃｕｉｔ，ｔｈｅｍｕｌｔｉ－ｆａｕｌｔｄｉａｇｎｏｓｉｓｍｅｔｈｏｄｏｆｔｒａｃｋｃｉｒｃｕｉｔｗａｓｒｅｓｅａｒｃｈｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｆａｕｌｔｄｉａｇｎｏｓｉｓｍｏｄｅｌｏｆｔｒａｃｋｃｉｒｃｕｉｔ
ａｃｔｕａｌｔｒａｃｋｃｉｒｃｕｉｔｗｅｒｅｅｍｐｌｏｙｅｄｔｏｖｅｒｉｆｙｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｉｓｍｏｄｅ１．Ｆｉｎａｌｌｙ，ｔｈｉｓｍｏｄｅｌｗａｓｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｆａｕｌｔｄｉａｇｎｏｓｉｓｍｅｔｈｏｄｂａｓｅｄｏｎＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｒｅｓｅａｒｃｈｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｉｓｔｒａｃｋｃｉｒｃｕｉｔｆａｕｌｔｄｉａｇｎｏｓｉｓｍｏｄｅｌｂａｓｅｄｏｎｌｅａｓｔｓｑｕａｒｅｓｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｃａｎｅｆｆｅｃｔｉｖｅｌｙｄｉａｇｎｏｓｅｆｉｖｅｋｉｎｄｓｏｆｔｒａｃｋｃｉｒｃｕｉｔｆａｕｌｔｓｗｉｔｈｍｕｃｈｆａｓｔｅｒｃｏｍｐｕｔｉｎｇｓｐｅｅｄ．ＣｏｍｐａｒｅｄｗｉｔｈｆａｕｌｔｄｉａｇｎｏｓｉｓｍｅｔｈｏｄｓｂａｓｅｄｏｎＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ，ｔｈｅａｃｃｕｒａｃｙｗａｓｉｍｐｒｏｖｅｄｂｙ１７．１４％，ａｎｄｔｈｅｃｏｍｐｕｔｉｎｇｔｉｍｅｗａｓｒｅｄｕｃｅｄｂｙｔｗｏ — ｔｈｉｒｄｓ．Ｋｅｙｗｏｒｄｓ：ＺＰＷ一２０００ｔｒａｃｋｃｉｒｃｕｉｔｓ；ｆａｕｌｔｄｉａｇｎｏｓｉｓ；ｌｅａｓｔｓｑｕａｒｅｓｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｍｕｌｔｉ－

基于最小二乘支持向量机算法的测量数据时序异常检测方法

维普资讯
第３５卷第３期
２００８年５月
华北电力大学学报
ＪｕｌｆＮｏｔｉａＥｅｔｉｏｒＵｎｖｒｉｏｍａｏｒｈＣｈｎｌｃｒＰｗｅｉｅｓｙｃｔ
Ｖｏ．５，Ｎｏ．１３３Ｍａ，２０ｙ０８
ＭｉｉｒｆｄｃｔｎＮｏｔｈｎｌｔｃｏｒｉｅｉ，ｅｉ０２６Ｃｉａｎｔｏｕａｉ，ｒＣｉＥｅｒｗｅｖｒｔＢｉｎ１２０，ｈ）ｓｙＥｏｈａｃＰｉＵｎｓｙｊｇｎＡｓｒｃ：ｅｌｒｈｒｕｌｒｄｔｃｎｈａａｕｅａａｎｔｅｉｒｕｅｏｔｌｙｔ（Ｃ）ｉｂｔｔＡｎｗａｏｔｍｆｔｅｅｅｔｇｉｔｅｄｍｅｓｒｄｔｉｓｉｔｃｎｒｓｍＤＳｎａｇｉｏｏｉｓｉｎｂｄｈｄｔｂｄｏｓｅ
ｍｅｈｓａｌｈｓａｍｏｅｔｅｅｔｔｅｔｕａｕｆｔｅｍｅｓｒａａｉＳｉｗｅｌｎ，ＩｈｓｔｅａｖｎａｅｔｏｅｔｂｉｅｄｌｏｒｆｃｈｒｅｖｌｅｏａｕｅｄｔＤＣｐｄｓｌｈｄｎｎｏｒｐａｔｔａｈｄａｔｇｓｏｉｈｆｒｃｓｉｇａｃｒｃ，ｇｏａｏｔｌｒｐｒｙ，ａｄｍｏｅｇｎｒｌｅｅｆｒｎｅｆｈｇｅａｔｃｕａｙｌｂｌｐｉｏｅｔｏｎｍａｐｎｒｅｅａｉｐｒｏｍａｃ，Ａｐｌｏａ６０ＭＷｕｅｚｄｐｉｔ０ｄｅｓｐｒｃｉｃｌｏｌｕｎｎｔｉｏｌｒｈ－ＶＭｄｌｗｈｃａｅｎｔａｎｅｅｔｈａａｕｅａａｉｈｒｉａｃａ— ｒｉｇｕｉｔＢｉ，ｔｅＩＳｔｂｌｙｅＳｍｏｅｉｈｄｂｅｒｉｅｄｔｃｓｔｅｂｄｍｅｓｒｄｄｔｎｔｅｈｄｔｓａｌｌｓｉｈｅｅｔｓｅｍｅｅａｕｅｄｔｅ，ｆｒｃｓｅｈｒｅｖｌｅｎｏｈａｎｓｕｒｏｔｅｒｒｅｔｓｐｅｎｔｅｒｈａｔａｔｍｐｒｔｒａａｓｔｏｅａｔｔｅｔｕａｕ，ａｄｇｔｔｅｍｅｑａｅｒｏｒｏｎｄａｄｔｅｍｅｎｒｌｔｅｅｒｒｆ０７％ａｄ０．５％，ｔｅｍｅｎｓｕｅｒｏｒｏｒ７６％ａｄ８．７ｎｈａｅａｉｒｏｖｏ０．６ｎ００ｈａｑａｏｔｅｒｒａｅ８．５ｒｎ２２％ｏａｋｆｂｃ

基于最小二乘支持向量机的城市客运量预测模型

／＂支持向量机的城市客运量预测模型。结合西安市历年城市客运量数据，程实现该预测模ｂ－乘编型，真结果表明了该预测模型的有效性。仿关键词最小二乘支持向量机；市客运量预测；函数城核
维普资讯
５０
交通与计算机
２００７年第５期第２卷总１８期５３
基于最小二乘支持向量机的城市客运量预测模型＊
刘芹张文峰吴卓葵叶祥
（恺农业技术学院广州５０２）（ｉｆ１２５西北工业大学。西安７０７）１０２摘要针对城市公路客运量预测中存在的非线性、杂性和不确定性，出了一种基于最复提
已经在此方面做了大量研究，并取得了一些有益
的成果［］１。
厂ｌ（）一ｍａ（，ＹｘＯＩ —ｆ（）一￡，ｘＩ）回归问题就是
最小化目标函数
ｆ
，
支持向量机Ｌ（ｕｐｒｖｃｏｃｉｅ４ｓｐｏｔｅｔｒｍａｈｎ，］ＳＶＭ）Ｖ．Ｖａｎｋ等人发明的一种专门研究小是ｐｉ样本情况下机器学习规律的理论。最ｚ－乘支持Ｊ－￣
ＳＶＭ回归为
厂（）一（，（）＋ｂ ’ ・）．（）１
公路客运站场规划的重要理论依据。城市公路客
运量预测是一个非线性问题，具有模糊、不易预测的特点，实际预测中往往非常复杂，内外学者在国

最小二乘支持向量机在GPS高程转换中的应用

已经完全能够取代传统的平面控制测量，平面其
定位精度达到了亚毫米级乃至更高。然而ＧＰＳ
关键词：Ｐ；ｓＶＲＦ高程转换；ＧＳＬ —ＳＭ；Ｂ；二次曲面拟合
中图分类号：２８３Ｐ２．
文献标识码：Ａ
收稿日期：０００－０２１－３２
ＬｅｓｑａｅＳｕｐｏｔＶｅｔｒＭａｈｎｎＧＰＳＨｅｇｔＣｏｖｒｉｎａｔＳｕｒｐｒｃｏｃｉｅｉｉｈｎｅｓｏ
ｄｉ１．９９ｊｉｓ．６２７４．０００．２ｏ：０３６／．ｓｎ１７－９０２１．２０１
最小二乘支持向量机在ＧＰＳ高程转换中的应用
‘
周理含 ‘
（海岩土工程勘察设计研究院有限公司，海２０３）上上０４８
ｎｒｌｅｇｔ（ｎｒｓｔｅｈｉｈｂｖｈｕｓ— ｇｏｄ，ＳｈｉｅｅｃｅｗｅｎｔｅｏｍａｉｈＨｏ）ｉｈｅｇｔａｏｅｔｅｑａｉｅｉｈＯｔｅｄｆｒｎｅｂｔｅｈｆ
ｔｅｇｔｓｓｅｓｃｌｄｈｉｈｎｍａｙｎｔｉａｅ，ｓｍｅｉｅｔｃｌｕｖｙｐｉｔｆＷＯｈｉｈｙｔｍｓｉａｌｅｇｔａｏｌ．ＩｈｓｐｐｒｏｎｉａｒｅｏｎｓｏｅｄｓａＧＰＳｃｎｒｌｎｔｉｄｐｅｓｔｅｄｔｅｎａａｙｉ，ａｄｔｅａｔＳｕｒｕｐｒｏｔｏｅｓａｏｔｄａｈａｅｓｔｉｎｌｓｓｎｈｎＬｅｓｑａｅＳｐｏｔＶｅｔｒＭａｈｎＬＳＳｃｏｃｉｅ（ — ＶＭ）ｗｉｈｒｄａａｉｆｎｔｎ（Ｆ）ｉｒｐｓｄｔｉｔｅｈｉｈｔａｉｌｓｓｕｃｉｂｏＲＢＳｐｏｏｅｏｆｔｈｅｇｔａｏｌＯａｏｃｎｅｔｎｍａｙＳｓｔｏｖｒＳｈｉｈｏｎｒｌｅｇｔＧＰｅｇｔｔｏｍａｉｈ．ＴｈｅｕｔｈｗｈｔｔｅＬｈｅｒｓｌｓｓｏｔａｈＳ— ＳＶＲｉｒｒｍｉｉｇｔａｏｉｏｄｆｔｇｍｅｈｄｉｏｖｒｉｇＧＰＳｈｅｇ．ｓｍｏｅｐｏｓｎｈｎｃｎｃｉｉｉｔｏｎｃｎｅｔｔｎｎｉｈｔ

基于拉曼光谱和最小二乘支持向量机的橄榄油掺伪检测方法研究

气相色谱法（）２以及气相色谱质谱联用法（Ａ－）］，（ｌＣ２ＭＳ口等
这些法有使用的没备昂贵、操作要求高、耗时长等缺点。
Ｉ前，振动光谱应用于橄榄油掺伪检测的研究正在展开，：１将例如：巾红外光谱法（Ｒ［ＭＩ）、近红外光谱法（Ｒ）、傅ＮＩ［］哩叶红外光谱法ｒ、拉曼光谱法［。。拉曼光谱是一种７ ’ 。等非弹性的散射光谱，具有优秀的指纹能力，在１～４００Ｏ０ｃｍ范同内，拉曼特征峰与机分子官能基团对应，其锐利有的谱线可以反映出有机分子结构的细微变化，而提高检测从
一）ｅ（一一
函数如下式所示
）ｅ（一ｘ一ｐ
）
（）４
激发光源波长７５ｎ８ｍ，功率３５ｍＷ；光谱仪扫描范围７
Ｌ－ＶＣ是利用Ｌ－Ｖ，决二元分类问题，其判别ＳＳＳＳＭ解
１００ｍ，辨率６ｃ，积分时问５ｓ描次数５￣２１０ｃ分ｍ。扫３，２如此获得ｌ７组拉曼光谱数据，ｌ空气光谱作为空白信号，
引言
橄榄油是用成熟橄榄鲜果直接物理冷压和油水分离制取的油脂。根据欧盟（Ｅ５８９）准，级初榨橄榄油含ＥＣ２６／１标特有９以上的不饱和脂肪酸，富含对人体有极高的营养价值Ｏ的多酚类物质，被称为“ 液体黄金 ” 。目前，界市场上的橄世
１３方法与步骤．
按照１１节中的方法，容量为５ｍＩ的离心管中，用．在

基于最小二乘支持向量机的电动机故障诊断方法

２．ＳａｈａｎｓａｌｔｏｇｎｅｉｈｎｇｉＩｔｌａｉｎＥｎｉｅｒｎｇＣｏ．Ｌｄｔ．，Ｓａｇａ０００．Ｃｈｎ）ｈｎｈｉ０３２ｉａ
，
ＡｂｔａｔＩｒｅｏｄｓｉｇｉａｌｔｒｔｏｌｃｅａａｏｔｒｆｅｕｎｖａｅａｌｚｄａｄｃａｓｆｅｓｒｃ：ｎｏｄｒｔｉｔｕｓｆｕｔｍｏｏｎｈｙｈｅｃｌｅｔｄｄｔｆｍｏｏｒｑｅｃｒｎａｙｅｎｌｓｉｄｉ
关键词：线性调频Ｚ变换；小二乘支持向量机；准确率；实用性最
中图分类号：Ｍ３７１Ｔ０．文献标识码：Ｂ文章编号：０１８４２１）２— ０９— ３１０ —０７（０２００８０
ＤｉｇｏｉｆＡｓｎｈｏｏｓＭｏｏａｌＢｓｄｏＳ．ＶＭａｎｓｓｏｙｃｒｎｕｔｒＦｕｔａｅｎＬＳ
变换（Ｆ）得到图ｌ的波形。ＦＴ，从ＦＴ变换的数据频谱，法区别正常电动机Ｆ无和故障电动机。ＣＴ变换（性调频ｚ变换）段Ｚ线分频谱细化能够很好分析出断条电动机的频谱成分，
实现电动机分类。应用ＣＴ变换可以计算单位圆Ｚ
２１０２年第２期
煤
矿
机电
・９・８
基于最小二乘支持向量机的电动机故障诊断方法
腾黎明黄成博，