最小二乘支持向量机分类的稀疏化方法研究

合集下载

LSSVM概述学习资料

5 最小二乘支持向量机（LSSVM)估计算法
支持向量机主要是基于如下思想：通过事先选择的非线性映射将输入向量映射到高维特征空间，在这个空间中构造最优决策函数。在构造最优决策函数时，利用了结构风险最小化原则。并巧妙的利用原空间的核函数取代了高维特征空间中的点积运算。
设样本为 n维向量，某区域的 l个样本及其值表示为
( x1, y1 ),......, ( xl , y l ) R n R
首先用一非线性映射 Y( x)把样本从原空间R n映射到特征
空间 Y(x) (j (x1 ),j (x2 ),..., j (xl ))。在这个高维特征空间中构造最优决策函数 y(x) w .j ( x) b。这样非线性估计
所谓 VC 维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC 维越高，一个问题就越复杂。正是因为 SVM 关注的是 VC维，后面我们可以看到，SVM 解决问题的时候，呾样本的维数是无关的（甚至样本是上万维的都可以，这使得 SVM 径适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。
函数转化为高维特征空间中的线性估计函数。利用结构
风险最小化原则，w寻,b找就是最小化
R
1 2
w2
c Remp，其中w 2控制模型的复杂度，
c为正规化参数R。 emp为误差控制函数，也不即敏感损失
函数。常用的损失有函线数性损失函数，二损次失函
数，hube损 r 失函数。选取了的不损同失函数，可构同造不
SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个输入样本于一个支持向量机的内积，因此也就叫做支持向量网络。
4 相关名词解释

《基于最小二乘支持向量机的短时交通流预测方法研究》范文

《基于最小二乘支持向量机的短时交通流预测方法研究》篇一一、引言随着城市化进程的加快和交通网络复杂性的提升，准确预测短时交通流量对于智能交通系统的建设和交通规划显得愈发重要。

准确的短时交通流预测能够提高交通运行效率、降低交通拥堵程度、改善城市居民出行体验，并有助于实现智能交通系统的智能化和自动化。

然而，由于交通流量的动态变化性、非线性和不确定性，传统的预测方法往往难以满足实际需求。

因此，本文提出了一种基于最小二乘支持向量机（Least Squares Support Vector Machine，LSSVM）的短时交通流预测方法。

二、最小二乘支持向量机理论最小二乘支持向量机是一种基于统计学习理论的机器学习方法，它通过构建一个高维空间中的超平面来对数据进行分类或回归。

与传统的支持向量机相比，LSSVM在处理回归问题时具有更好的泛化能力和更高的预测精度。

此外，LSSVM还具有算法简单、计算量小等优点，适用于处理大规模数据集。

三、短时交通流预测模型的构建1. 数据预处理：首先，收集历史交通流量数据，并对数据进行清洗、去噪和标准化处理，以消除异常值和噪声对预测结果的影响。

2. 特征提取：从历史交通流量数据中提取出与短时交通流预测相关的特征，如时间、天气、节假日等。

3. 模型构建：利用LSSVM构建短时交通流预测模型。

具体地，将历史交通流量数据作为输入，将预测的目标值（如未来某一时刻的交通流量）作为输出，通过优化算法求解得到模型参数。

4. 模型训练与优化：利用训练数据集对模型进行训练，通过交叉验证等方法对模型进行优化，以提高模型的预测精度。

四、实验与分析1. 数据集与实验环境：本文采用某城市实际交通流量数据作为实验数据集，实验环境为高性能计算机。

2. 实验方法与步骤：将实验数据集分为训练集和测试集，利用训练集对模型进行训练和优化，利用测试集对模型进行测试和评估。

3. 结果与分析：通过对比LSSVM与其他传统预测方法的预测结果，发现LSSVM在短时交通流预测方面具有更高的预测精度和更强的泛化能力。

LSSVM概述学习资料

所谓 VC 维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC 维越高，一个问题就越复杂。正是因为 SVM 关注的是 VC维，后面我们可以看到，SVM 解决问题的时候，呾样本的维数是无关的（甚至样本是上万维的都可以，这使得 SVM 径适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。
( x1, y1 ),......, ( xl , y l ) R n R
首先用一非线性映射 Y( x)把样本从原空间R n映射到特征
空间 Y(x) (j (x1 ),j (x2 ),..., j (xl ))。在这个高维特征空间中构造最优决策函数 y(x) w .j ( x) b。这样非线性估计
LS-SVM方法简化了计算的复杂性。另外，由于LS-SVM采用了最小二乘法，因此运算速度明显快于支持向量机的其它版本。
3 SVM和示意图
最优分类函数为：
f(x ) sg n {li 1i* y iK (x i,x ) b * }
这就是支持向量机。
概括地说，支持向量机就是通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求最优分类面。
SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个输入样本于一个支持向量机的内积，因此也就叫做支持向量网络。
4 相关名词解释
VC 维理论：
为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT 定义了一些指标来衡量函数集的性能，其中最重要的就是VC维(VapnikChervonenkis Dimension)。对于一个指示函数（即只有0和1两种取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。

最小二乘问题的研究现状

最小二乘问题的研究现状研究者们一直在研究最小二乘问题，最小二乘问题（Least Squares Problem，简称LSP）是一类重要的数值解决问题。

现有的研究表明，最小二乘问题在解决优化问题中有着重要作用。

那么，本文将致力于介绍和总结最小二乘问题的研究现状。

首先，本文将介绍最小二乘问题的基本定义。

它的定义是：对给定的一组数据（x1，y1）…（xn，yn），让表达式f（x）=a0 + a1x + a2x2 +精确地拟合这组数据，即使得此函数f（x）的残差平方和最小。

这种拟合问题就叫做最小二乘问题。

最小二乘问题可以应用于线性回归、非线性拟合以及其他优化问题。

接下来，本文将介绍最小二乘问题的具体实现方法。

一般来说，最小二乘问题的解可以用非线性方程求解或者利用迭代搜索算法，包括梯度下降法、牛顿法以及拟牛顿法等。

此外，利用雅可比矩阵可以解决最小二乘问题，其中步骤如下：（1）首先写出f（x）的偏导数；（2）然后构造雅可比矩阵；（3）求解雅可比矩阵的线性方程；（4）最后得到最小二乘解。

再接着，本文将介绍最小二乘问题的研究发展现状。

近年来，最小二乘问题的研究取得显著进展，发展出了各种新的计算方法，比如全局优化方法、误差平方和最小化方法、收敛速度优化方法、无穷维优化方法等。

同时，学者们还对最小二乘问题的解法设计、加权最小二乘问题、非线性最小二乘问题做了深入的研究，为解决复杂优化问题提供了可靠的算法和计算方法。

最后，本文将介绍最小二乘问题的发展前景。

未来，最小二乘问题将会是解决复杂优化问题的重要方法。

目前有许多非线性优化问题尚未被解决，因此对最小二乘问题的研究有重要的理论意义和实际意义。

与此同时，随着机器学习和大数据技术的发展，最小二乘问题的研究也会受到越来越多的关注。

在未来，最小二乘问题的理论和实践将继续发展，为解决复杂优化问题提供新的思路和解决方案。

综上所述，本文介绍了最小二乘问题的基本定义、具体实现方法以及研究发展现状和发展前景。

稀疏向量法

稀疏向量法是一种在数据分析和机器学习中广泛使用的方法，它的主要目的是通过使用稀疏表示来优化计算效率和内存使用。

这种方法常常应用于大规模数据的处理，尤其是在高维数据中，它可以显著减少内存占用和计算时间。

在稀疏向量法中，向量被表示为几个非零元素的集合。

这些非零元素被组织成一个列向量，其中的零是空位，表示对应位置上的元素为零。

这种表示方法的一个主要优点是，只有当元素真正需要被存储和计算时，它们才会被赋予实际的值。

稀疏向量法的应用非常广泛，它不仅可以用于线性代数、统计和机器学习等领域，还可以应用于大规模数据集的处理。

例如，在推荐系统中，稀疏向量法可以用于表示用户和物品的特征向量，通过稀疏表示，可以大大减少内存占用和计算时间。

在自然语言处理中，稀疏表示也可以用于词向量表示和语义分析。

稀疏向量法的实现通常涉及到两个主要步骤：特征选择和稀疏表示。

特征选择是指从原始数据中选择出最重要的特征，以便更好地描述数据。

稀疏表示则是将这些特征表示为一个稀疏向量，其中非零元素对应于最重要的特征。

稀疏向量法的优点包括：1. 减少内存占用和计算时间：通过使用稀疏表示，可以大大减少内存占用和计算时间，特别是在处理大规模数据时。

2. 提高模型的可解释性：由于稀疏表示强调了最重要的特征，因此模型的可解释性更强。

3. 适用于高维数据：在高维数据中，稀疏表示方法能够有效地处理和处理数据。

然而，稀疏向量法也存在一些缺点：1. 准确度可能受到影响：由于使用了稀疏表示，可能会丢失一些原始数据的信息，从而影响模型的准确度。

2. 对特征选择的要求较高：特征选择的质量对稀疏表示的效果有重要影响。

如果选择不当，可能会影响模型的性能。

总的来说，稀疏向量法是一种非常有效的数据处理方法，它在许多领域都有广泛的应用。

通过正确地应用特征选择和稀疏表示，可以获得更好的模型性能和更有效的数据处理方法。

支持向量机和最小二乘支持向量机的比较及应用研究

支持向量机和最小二乘支持向量机的比较及应用研究一、本文概述随着和机器学习技术的迅速发展，支持向量机（Support Vector Machine, SVM）和最小二乘支持向量机（Least Squares Support Vector Machine, LSSVM）作为两类重要的分类和回归算法，在诸多领域都取得了显著的应用成果。

本文旨在对SVM和LSSVM进行深入研究，对比分析两者的理论原理、算法特性以及应用效果，探讨各自的优势和局限性，从而为实际问题的求解提供更为精准和高效的算法选择。

本文首先回顾SVM和LSSVM的基本理论和算法实现，阐述其在处理分类和回归问题时的基本思想和方法。

随后，通过对比分析，探讨两者在算法复杂度、求解效率、泛化性能等方面的差异，并结合具体应用场景，评估两种算法的实际表现。

在此基础上，本文将进一步探索SVM和LSSVM在实际应用中的优化策略，如参数选择、核函数设计、多分类处理等，以提高算法的性能和鲁棒性。

本文将总结SVM和LSSVM的优缺点，并对未来研究方向进行展望。

通过本文的研究，希望能够为相关领域的研究者和实践者提供有益的参考，推动SVM和LSSVM在实际应用中的进一步发展。

二、支持向量机（SVM）的基本原理与特点支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的机器学习算法，它主要用于分类、回归和异常检测等任务。

SVM 的基本思想是通过寻找一个最优超平面来对数据进行分类，使得该超平面能够最大化地将不同类别的数据分隔开。

这个超平面是由支持向量确定的，这些支持向量是离超平面最近的样本点。

稀疏性：SVM 的决策函数仅依赖于少数的支持向量，这使得模型具有稀疏性，能够处理高维数据并减少计算复杂度。

全局最优解：SVM 的优化问题是一个凸二次规划问题，这意味着存在唯一的全局最优解，避免了局部最优的问题。

核函数灵活性：SVM 可以通过选择不同的核函数来处理不同类型的数据和问题，例如线性核、多项式核、径向基函数（RBF）核等。

一种改进的最小二乘支持向量机软测量建模方法

一种改进的最小二乘支持向量机软测量建模方法
毛晓娟;何小阳;温伟峰
【期刊名称】《自动化仪表》
【年(卷),期】2011(032)005
【摘要】针对最小二乘支持向量机(LS-SVM)缺少支持向量所具有的稀疏性和模型参数值难以选择的问题,提出利用马氏距离进行样本相似程度分析,去除集中部分样本,以恢复最小二乘支持向量机的稀疏性的方法.同时,采用κ-折交叉验证误差作为学习目标的粒子群优化算法来选取模型参数,并利用改进算法建立了精馏产品浓度的软测量模型.通过仿真验证了改进算法的有效性.结果表明模型精度较高,泛化能力强,满足工业测量要求.
【总页数】4页(P39-41,45)
【作者】毛晓娟;何小阳;温伟峰
【作者单位】广西大学电气工程学院,广西南宁,530004;广西大学电气工程学院,广西南宁,530004;广西大学电气工程学院,广西南宁,530004
【正文语种】中文
【中图分类】TP274
【相关文献】
1.一种改进细菌觅食优化算法及其在软测量建模中的应用 [J], 李炜;徐卫
2.一种基于改进加权粗糙集的多模型软测量建模方法 [J], 陈定三;杨慧中
3.一种基于混合建模技术的MIMO软测量建模方法 [J], 傅永峰;陈祥华;徐欧官
4.一种基于改进扩张搜索聚类算法的软测量建模方法 [J], 张孙力;杨慧中
5.基于一种改进灰关联分析的双进双出钢球磨制粉出力软测量建模 [J], 冯磊华;桂卫华;杨锋
因版权原因，仅展示原文概要，查看原文内容请购买。

最小二乘支持向量机分类问题的算法实现

目前，人工神经网络（Ｎ）Ｎ已经广泛应用于工业过程建模和控制中，是Ｎ但Ｎ存在着一些缺陷：
的过大样本也会增加算法的训练时间；化目标优是基于经验风险的最小化，只能保证学习样本这点的估计误差最小，化性能不强，在 “ 拟泛存过
摘
要：介绍了支持向量机理论、常用的支持向量机内积核函数以及最小二乘支持向量机算法．采用最小二
乘法实现了支持向量机分类算法．数字仿真结果表明，该算法的识别正确率可达１００％．
关键词：最小二乘法；支持向量机；核函数；分类
中图分类号：０７．１４６文献标识码：Ａ
收稿日期：２００２０８— ２— ２，
作者简介：周建萍（９８一）女，１７，在渎博士，江西萍乡人．主要研究方向为智能控制与故障诊断等． — ａ：ｚｏ２Ｅｍｉｊｈｕ８０ｌｐ
＠ｙｈｏｃｒ．ｌａｏ．ｏｃ．ｎ１
性，如训练可能过早结束，权值衰退等，容易陷入局部最优，甚至无法得到最优解；过分依赖学习样
本的数量和质量，习样本数据仅是实际的高维学
输入空间中的稀疏分布，而且即使得到了高质量化原理来提高泛化能力，较好地解决了小样本、非
ｃａｓｆｃｔｎｉｅｌｚｄｂｅｓｑｕｒｌｏｔｍｎｕｍｅｃｌｓｍｕａｉｎｉｅｆｒｄ．Ｓｉｌｔｏｌｓｉａｉｓｒａｉｅｙｌａｔｓａｅａｇｒｈａｄｎｉｏｉｉｒａｉｌｔｓｐｒｏｍｅｏｍｕａｉｎｒｓｔｈｗａｅｏｎｔｎｒｔｆｔｅｐｒｐｓｄｍｅｈｄｉｐｔ０ｅｕｌｓｏｔｔｒｃｇｉｉａｅｏｈｏｏｅｔｏｓｕｏ１０％．ｓｈｏ

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

代替了不等式约束，提出了最小二乘ＳＭ（ｅｓＳｕｒｓＶＬａｔｑａｅＳｐｏｔＶｃｏｃｉｅＳＶ。简化的约束条件使得ｕｐｒｅｔｒＭａｈｎ，ＬＳＭ）ＬＳＭ可以采用ＬｇａｇＳＶａｒｎｅ方法求解，从而得到了优化问题
作者倚介：陈圣磊（９７，讲师、博士，１７一）男，主研方向：机器学习，
数据挖掘；陈耿，授、博士；薛教晖，讲师、博士
收稿日：２１—８１期０１ —２０
Ｅｍｉｒｔ＿ｈｎ２．ｒ－ａ：ｔｓｎｃｅ＠１６ｏｌｉａｃｎ
１６４
致算法在预测新样本时速度较慢。
２最小二乘支持向量机分类
对于给定的训练数据集Ｄ＝（Ｙｌ，｛ｉｌ其中，Ｒ为，）：Ｘ∈
基金项目：国家自然科学基金资助项目（９６，０００２；江苏７７０７６９５０）０１
省高校自科学重大基础研究基金资助项目（８Ｊ５００）然０ＫＡ２０１；江苏省六大人才高峰基金资助项目２０８；江苏高校 “ （０７４）１青蓝工程”基金资助项目；江苏政府留学奖学金基金资助项目
关健词：支持向量机；最小二乘；稀疏化；分类；特征空间；二次规划
Ｒｅｅｒｈ０ｐｒｉｃｔｏｐｏｃｏｓａｃｎＳａｓｆａｉｎＡｐｒａｈｆｒｉ
ＬｅｓｑａｅｕｐｒｃｏａｈｎａｓｆｃｔｏａｔｕｒｓＳｐｏｔＳＶｅｔｒＭｃｉｅＣｌｓｉａｉｎｉ
为得到ＬＳＭ解的稀疏表示，文献【使用了减枝法，ＳＶ４］通过修剪样本，去除Ｌｇａｇａｒｎｅ乘子相对较小的支持向量，从
而提升算法的稀疏性。该方法需要求解一系列线性方程组，虽然得到了稀疏解，但是增加了算法复杂性，降低了训练速度。文献【］出了一种基于预选、筛选支持向量的稀疏最小５提二乘支持向量机，能够得到稀疏性。然而，这些方法需要先选取原始样本集的子集作为训练样本，有时所选子集并不能代表原始样本集的特性，因此会影响学习的效果。
第３卷第２期７２
、ｏ．７，１３
・
计
算
机
工
程
２１年１０１１月
Ｎｏｍｂｒ０１ｖｅｅ２ｌ
ＮＯ－２２
ＣｏｕｔｒＥｎｎｅｒｎｇｍｐｅｇｉｅｉ
人工智能及识别技术・
文章编号：１ｏ４８ｏ１２＿４—０ｏ＿３（１）—０５＿文献标识码：０２２２１３Ａ
相关的向量，并且证明了该方法得到的向量集是有限的，通过参数可以控制该向量集逼近真实向量集的程度。本文采用这种稀疏化方法，即对于样本集中的每个样本，检查其是否能够在特征空间中被子集Ｂ中的样本线性表示，若不能，则将当前样本加入到Ｂ中，如此迭代所有的样本，则得到一个子集Ｂ能够在特征空间中线性表示所有样本。假设当前子集Ｂ为｛，ｊ），对于新样本（，）（Ｙ），），如，
２ＳｈｏｆｏｕｅｃｅｃｎｎｉｅｒｇＳｕｈａｔｉｅｓｙＮａｊｇ２０９，ｈｎ）．ｃｏｌｍｐｔｒｉｎｅａｄＥｇｎｅｎ，ｏｔｅｓＵｎｖｒｉ，ｎｉ１０６ＣｉａｏＣＳｉｔｎ
［ｓｒｃ］ＬａｔＳｕｒｓＳｐｏｔｅｔｒｃｉｅＬＳＭ）ｎｒａｅｈｌｏｔｍ’ ｅｃｎｙｂｔｅｓａｓｔｏｅｓｌｔｎｉｌｓｗｈｃＡｂｔａｔｅｓｑａｅｕｐｒＶｃｈｎ（ＳＶｉｃｅｓｓｔｅａｇｒｈＳｆｉｃ，ｕｐｒｉｆｏｕｉｓｏｔｉｏＭａｉｉｅｈｔｙｔｈｏ，ｈ
ｒｓｌｓｉｈｏｐｅｉｔｓｅｏｅｅｕｔｎｔｅｌｗｒｄｃｉｏｎｐｅｄｆｎｗｓｍｐｌｓａｅ．ＡｅｓａｓｆｅｎｗｐｒｉｄＬＳＳｉＶＭｃａｓｆｃｔｏｌｏｔｍｓｐｏｏｅｌｓｉａｉｎａｇｒｉｉｈｉｒｐｓｄ．Ｔｈａｐｏｉｔｉｅｒｅｐｒｘｍａｅｌｎａｉｄｐｎｅｔｅｔｒｅｎｅｔｒｓａｅｓｆｒｔｓａｃｅｎｔｕｈｓａｓｉｃｍｉａｉｅｕｃｉｎｃｎｂｏｔｃｅ．ＴｅｃｒｅｐｎｉｇｎｅｅｄｎｖｃｏｓｔｉｆａｕｅｐｃｉｓｅｈｄａｄｈｓｔｅｐｒｅｄｓｒｎｔｆｎｔａｅｃｎｓｕｔｄｈｏｒｓｏｄｎｉｒｉｖｏｒｏｔｉａｏｒｂｌｍｆＬＳＶＭａｈｎｂｏｖｄｔｒｕｇｅｌｅｒｅｕａｏｎｓｔＳｅｏｔｍａｉｃｍｉａｖｕｃｏｓａｈｅｅＥｘｅｍｅｔｐｍｚｔｎｐｏｅｏＳｉｉｃｎｔｅｅｓｌｅｈｏｈｔｉａｑｔｅ．ｏｔｐｈｎｉｈｉｌｄｓｒｎｔｅｆｎｔｎｉｃｉｖｄ．ｐｒｉｉｉｉｎｓｓｏｔａｅｐｅｉｔｏｐｅｄｏｅｐｏｏｅｌｏｔｍａｔｒａａｆＬＳｈｗｔｒｄｃｉｎｓｅｆｒｐｓｄａｇｒｈｉｆｓｅｎｔｔｏＳＶＭｔｏｔｅｌｓｆｃａｓｆｃｔｏｃｕｒｃ．ｈｔｈｈｔｉｓｈｔｈｗｉｕｓｏｌｓｉａｉｎａｃａｙｈｈｔｏｉ
西（ ∑７（））７』Ｊ
２ｓｓ
计
算机
工
程
２１年Ｈ月２０１０日
第ｉ个训练样本的输入值；Ｙ∈Ｒ为类标号，ｌ构造高维特征空间中的分类判别函数：
，（＝ｗＴ））（＋（）１
３１｛练样本集的稀疏化．ＩＩＩ训练样本集的稀疏化方法有贪婪法、随机法㈣等，但
ＣＨＥＮｈｎ－ｉＣＨＥＮｎＸＵＥｉＳｅｇｌｅ，Ｇｅｇ，Ｈｕ
（．ｃｏｌｆｎｏｍａｉｎＳｉｎｅＮａｊｎＡｕｉＵｎｖｒｉ，ｎｉｇ２１１，ｉａ１ＳｈｏＩｆｒｔｃｅｃ，ｎｉｇｄｔｉｅｓｙＮａｊｎ１８５Ｃｈｎ；ｏｏｔ
样本，但是从总体来讲，得到的向量组未必是最优的，甚至局部最优都不能保证，本文采用一种直接去除那些特征空间中近似线性相关向量的方法，从而能够基于特征空间线性Ｊ
无关向量组构造分类判别函数，得到分类判别函数的稀疏表示。
的解析解。该方法能够降低问题解的复杂性，但是却丧失了解的稀疏性，即解中含有的支持向量包括了全部的样本，导
中，把最小化平均重建误差的样本加入向量组中，这种方法在每一次迭代中选择了当前看来能够最小化平均重建误差的
在解决小样本、非线性和高维模式识别问题中表现出特有的优势，并在很大程度上克服了 “ 维数灾难”和 “ 过学习”问题，在机器学习领域受到广泛的关注Ｊ。
这些方法都不能确保好的训练效果。文献Ｉ】７提出了一种特征
空间的在线稀疏化方法，直接去除那些特征空问中近似线性
其中，非线性映射（把样本从输入空间映射到特征空间，・）以便使输入空间中的非线性分类问题变成高维特征空间中的
线性问题，特征空间可以是有限维，也可以是无限维，向量Ｗ为系数，ｂ ∈Ｒ为截距。
中图分类号：Ｔ３１３Ｐ１１．
最小二乘支持向量机分类的稀疏化方法研究
陈圣磊，陈耿，薛晖
（．１南京审计学院信息科学学院，南京２１１；２东南大学计算机科学与工程学院，南京２０９）１８５．１０６
摘
要：最小二乘支持向量机在提高求解效率的同时，会丧失解的稀疏性，导致其在预测新样本时速度较慢。为此，提出一种稀疏化最小
标准的支持向量机学习问题可以归结为一个带约束的二次规划问题，不管是牛顿法、内点法等经典的最优化算法，还是专门为Ｓ设计的ＳＶＭＭＯ算法，都存在优化效率较低的问题，限制了该方法在实际应用中的推广。文献【］３对标准ＳＭ进行了改进，目标函数中使用了平方误差，Ｖ在等式约束
１概述
支持向量机（ｕｐｒＶｃｒＭａｈｎ，ＳＭ）ＳｐｏｔｅｔｃｉｅＶ是建立在统ｏ计学习理论和结构风险最小化原理基础上的机器学习方法，
本文针对分类问题，提出了一种新的ＬＳＳＶＭ稀疏化方法，该方法通过寻找特征空间的一组近似线性无关的向量，直接构造分类判别函数的稀疏表示，然后通过ＬＳＭ求解ＳＶ最优分类判别函数。在样本集的稀疏化过程中，稀疏程度可以通过参数Ｖ控制。稀疏化的分类算法能够在不降低测试精度的前提下，有效减少测试时间。该方法可以看成是文献［】６提出的降秩核岭回归在分类问题中的推广，所不同的是，文献［】６在寻找特征空间向量组时采用贪婪算法，即在每次迭代