支持向量机训练算法综述_姬水旺
支持向量机法在灌区节水改造工程评价中的应用
支持向量机法在灌区节水改造工程评价中的应用随着社会经济的发展，灌区节水改造工程逐渐成为国家水资源管理的重要工作之一。
灌区节水改造工程的目标是通过科学技术手段，提高水资源利用效率，降低灌溉用水量，保障农业生产的需水需用，减少农田径流的外排，改善土壤和水质，维护水资源的可持续利用。
在灌区节水改造工程中，工程评价是十分重要的一环，它决定了工程的可行性、效果和长期影响。
而支持向量机法则成为一种有效的工程评价手段。
支持向量机（SVM）是由Vapnik于1995年提出的一种新型的算法模型，它可以应用于分类、回归和异常值检测等领域。
支持向量机法在灌区节水改造工程评价中的应用，主要体现在以下几个方面：一、数据预处理在灌区节水改造工程评价中，数据的准确性和完整性对评价结果的准确性有着重要的影响。
而支持向量机法可以通过数据预处理的方式，对原始数据进行清洗和补充，提高数据的可靠性。
对于农田土壤的水分含量和作物的需水量等数据，支持向量机可以通过回归分析的方法，对异常值和缺失值进行预测和填补，从而保证评价结果的准确性。
二、特征提取在灌区节水改造工程评价中，数据通常是多维度的，而支持向量机可以通过特征提取的方式，将原始数据转化为高维度的特征空间，从而便于进行模型的建立和评价。
对于农田土壤的水分含量、土壤类型、地形地貌等多维数据，支持向量机可以通过特征提取的方法，将这些数据转化为特征向量，从而方便进行模型的训练和预测。
三、模型建立在灌区节水改造工程评价中，支持向量机可以通过样本数据的分析和拟合，建立评价模型。
对于农田土壤水分含量和作物的需水量等数据，支持向量机可以通过回归分析建立土壤水分含量与作物需水量的关系模型，从而为节水改造工程的设计和实施提供科学依据。
四、评价预测在灌区节水改造工程评价中，支持向量机可以通过已建立的评价模型，进行工程效果的预测和评价。
对于节水灌溉技术的应用和节水灌区的建设等，支持向量机可以通过回归分析的方法，对工程效果进行预测和评价，为工程的调整和改进提供科学依据。
支持向量机算法在图像识别中的研究与应用
支持向量机算法在图像识别中的研究与应用在当今信息技术高速发展的时代，图像识别技术已经成为了人们生活中不可或缺的一部分。
随着计算机性能及算法的进步，图像识别技术也越来越成熟。
其中，支持向量机算法是一种被广泛应用于图像识别中的重要算法。
本文将就支持向量机算法在图像识别中的研究与应用进行深入探讨。
一、支持向量机算法概述支持向量机算法，也叫做SVM，是一种监督学习的分类算法。
SVM的核心思想是将数据映射到高维空间中，然后通过找到最大间隔超平面来将不同类别的样本分离开来。
在实际应用中，SVM广泛用于文本分类、图像识别、生物信息学等领域。
二、支持向量机算法在图像识别中的应用1. 人脸识别人脸识别是图像识别中的一个常见任务，也是SVM算法的一个重要应用领域。
在人脸识别中，SVM算法可以通过将人脸图像与降维后的特征空间中的训练数据进行比较，来判断测试样本的类别。
2. 图像分类在图像分类任务中，SVM算法同样有着广泛的应用。
以图像分类中的猫狗分类为例，SVM算法可以通过提取图像中的特征，构建训练样本集和测试样本集，最终通过SVM算法的分类准确率对测试样本进行分类。
3. 文字识别在文字识别中，SVM算法也是目前主流的分类算法之一。
通过对训练集中的文字图像进行特征提取，使用SVM算法构建分类模型，可以实现对测试数据的高精确度分类，从而实现自动化文字识别的功能。
三、支持向量机算法在图像识别中的研究1. 特征提取在图像识别中，特征提取是一个重要的环节。
目前常用的特征提取方法有SIFT、HoG、LBP等。
其中SIFT特征可以通过SVM算法进行分类，从而实现图像识别。
2. 数据增强数据增强是一种有效的方法，可以提高SVM算法的分类准确率。
数据增强技术可以通过基于原始数据的旋转、翻转、缩放等方式，对训练样本进行扩充，以提高分类准确率。
3. 优化算法在SVM算法中，核函数的选择以及参数优化对分类结果的影响十分重要。
目前，主要的优化算法有SMO、PSO等。
支持向量机简介与基本原理
支持向量机简介与基本原理支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，被广泛应用于模式识别、数据分类以及回归分析等领域。
其独特的优势在于可以有效地处理高维数据和非线性问题。
本文将介绍支持向量机的基本原理和应用。
一、支持向量机的基本原理支持向量机的基本思想是通过寻找一个最优超平面，将不同类别的数据点分隔开来。
这个超平面可以是线性的，也可以是非线性的。
在寻找最优超平面的过程中，支持向量机依赖于一些特殊的数据点，称为支持向量。
支持向量是离超平面最近的数据点，它们对于确定超平面的位置和方向起着决定性的作用。
支持向量机的目标是找到一个超平面，使得离它最近的支持向量到该超平面的距离最大化。
这个距离被称为间隔（margin），最大化间隔可以使得分类器更具鲁棒性，对新的未知数据具有更好的泛化能力。
支持向量机的求解过程可以转化为一个凸优化问题，通过求解对偶问题可以得到最优解。
二、支持向量机的核函数在实际应用中，很多问题并不是线性可分的，此时需要使用非线性的超平面进行分类。
为了解决这个问题，支持向量机引入了核函数的概念。
核函数可以将低维的非线性问题映射到高维空间中，使得原本线性不可分的问题变得线性可分。
常用的核函数有线性核函数、多项式核函数、高斯核函数等。
线性核函数适用于线性可分问题，多项式核函数可以处理一些简单的非线性问题，而高斯核函数则适用于复杂的非线性问题。
选择合适的核函数可以提高支持向量机的分类性能。
三、支持向量机的应用支持向量机在实际应用中有着广泛的应用。
在图像识别领域，支持向量机可以用于人脸识别、物体检测等任务。
在生物信息学领域，支持向量机可以用于蛋白质分类、基因识别等任务。
在金融领域，支持向量机可以用于股票市场预测、信用评估等任务。
此外，支持向量机还可以用于文本分类、情感分析、异常检测等领域。
由于其强大的分类性能和泛化能力，支持向量机成为了机器学习领域中的重要算法之一。
支持向量机在遥感图像处理中的应用方法(九)
支持向量机在遥感图像处理中的应用方法远程感知技术作为一种非接触式的数据获取方式，已经被广泛应用于环境监测、农业、城市规划等领域。
随着遥感图像数据量的不断增加，如何高效地处理这些数据成为一个亟待解决的问题。
支持向量机（Support Vector Machine, SVM）作为一种强大的机器学习算法，已经在遥感图像处理中展现出了其独特的优势。
本文将从几个方面探讨支持向量机在遥感图像处理中的应用方法。
SVM的基本原理支持向量机是一种监督学习算法，其基本原理是找到一个最优的超平面，将不同类别的数据分隔开。
通过引入核函数，SVM可以将非线性问题映射到高维空间中，从而实现对非线性数据的分类。
在遥感图像处理中，由于图像数据通常是高维且复杂的，SVM的高维特性使得其在处理遥感图像数据时表现出了极大的优势。
SVM在遥感图像分类中的应用遥感图像分类是遥感图像处理的一个重要应用领域，其目的是根据图像中的特征对地物进行分类。
传统的遥感图像分类方法通常依赖于人工提取特征和手动设计分类器。
然而，这些方法往往面临着特征提取复杂、分类精度低等问题。
而SVM 作为一种数据驱动的分类方法，可以通过对训练数据的学习，自动提取特征并构建分类模型，从而实现对遥感图像的高效分类。
SVM在遥感图像目标检测中的应用除了分类外，目标检测也是遥感图像处理中的一个重要任务。
目标检测的目的是在遥感图像中自动识别和定位特定的目标，如建筑物、道路、植被等。
SVM可以通过对训练数据的学习，构建目标检测模型，实现对遥感图像中目标的准确检测。
SVM在遥感图像分割中的应用遥感图像分割是将遥感图像分割成若干个具有语义信息的区域的过程。
传统的遥感图像分割方法通常面临着复杂的光照和遮挡等问题，导致分割精度不高。
而SVM作为一种强大的分类器，可以在图像中自动分割出具有相似特征的区域，从而实现对遥感图像的高精度分割。
SVM在遥感图像处理中的挑战与展望然而，虽然支持向量机在遥感图像处理中展现出了强大的能力，但是在实际应用中仍然面临着一些挑战。
支持向量机原理SVMPPT课件
回归分析
除了分类问题，SVM也可以用于 回归分析，如预测股票价格、预 测天气等。通过训练模型，SVM
能够预测未知数据的输出值。
数据降维
SVM还可以用于数据降维，通过 找到数据的低维表示，降低数据
的复杂性，便于分析和理解。
02 支持向量机的基本原理
线性可分与不可分数据
线性可分数据
在二维空间中，如果存在一条直线， 使得该直线能够将两类样本完全分开 ，则称这些数据为线性可分数据。
支持向量机原理 svmppt课件
目录
CONTENTS
• 引言 • 支持向量机的基本原理 • 支持向量机的数学模型 • 支持向量机的优化问题 • 支持向量机的核函数 • 支持向量机的训练和预测 • 支持向量机的应用案例 • 总结与展望
01 引言
什么是支持向量机
定义
支持向量机（Support Vector Machine，简称SVM）是一种监督学习算法， 用于分类和回归分析。它通过找到一个超平面来分隔数据集，使得分隔后的两 类数据点到该平面的距离最远。
支持向量机的优势和局限性
01
对大规模数据集效 率较低
对于大规模数据集，支持向量机 可能需要较长时间进行训练和预 测。
02
核函数选择和参数 调整
核函数的选择和参数调整对支持 向量机的性能有很大影响，需要 仔细选择和调整。
03
对多分类问题处理 不够灵活
对于多分类问题，支持向量机通 常需要采用一对一或一对多的策 略进行处理，可能不够灵活。
图像识别
• 总结词：支持向量机用于图像识别，通过对图像特征的提取和分类，实现图像 的自动识别和分类。
• 详细描述：支持向量机在图像识别中发挥了重要作用，通过对图像特征的提取 和选择，将图像数据映射到高维空间，然后利用分类器将相似的图像归为同一 类别，不相似图像归为不同类别。
支持向量机中的正则化方法与参数调优
支持向量机中的正则化方法与参数调优支持向量机（Support Vector Machine，简称SVM）是一种常用的机器学习算法，在分类和回归问题中都有广泛的应用。
正则化方法和参数调优是SVM中非常重要的概念和技巧，能够有效地提高模型的泛化能力和性能。
正则化是指在目标函数中引入一个正则项，用来控制模型的复杂度。
常见的正则化方法有L1正则化和L2正则化。
L1正则化通过在目标函数中加入参数的绝对值之和，可以实现特征选择，即将一些不重要的特征的权重置为0。
而L2正则化通过在目标函数中加入参数的平方和，可以防止模型过拟合，使得参数的值更加平滑。
参数调优是指通过调整模型的参数，使得模型的性能达到最佳。
在SVM中，有两个重要的参数需要调优，分别是惩罚参数C和核函数的参数。
惩罚参数C用来平衡模型在训练集上的拟合程度和在测试集上的泛化能力，C越大，模型在训练集上的拟合程度越高，但可能导致过拟合；C越小，模型在测试集上的泛化能力越好，但可能导致欠拟合。
核函数的参数用来调节样本在特征空间中的映射程度，不同的核函数具有不同的映射效果，需要根据具体问题选择合适的核函数和参数。
为了进行参数调优，常用的方法有网格搜索和交叉验证。
网格搜索通过遍历一定范围内的参数组合，计算模型在验证集上的性能，找到最优的参数组合。
交叉验证是一种评估模型性能的方法，将数据集划分为训练集和验证集，多次训练模型并在验证集上评估性能，最后取平均值作为模型的性能指标。
通过交叉验证可以更准确地评估模型的性能，并选择最优的参数组合。
除了正则化方法和参数调优，SVM还有一些其他的技巧和改进方法，如核函数的选择、样本不平衡问题的处理等。
核函数的选择需要根据具体问题的特点来确定，常用的核函数有线性核函数、多项式核函数和高斯核函数等。
样本不平衡问题是指在训练集中正负样本的比例不平衡，可以通过对样本进行重采样或调整类别权重来解决。
总之，正则化方法和参数调优是SVM中非常重要的技巧，能够提高模型的泛化能力和性能。
支持向量机PPT课件
支持向量机ppt课件
https://
REPORTING
2023
目录
• 支持向量机概述 • 支持向量机的基本原理 • 支持向量机的实现步骤 • 支持向量机的应用案例 • 支持向量机的未来发展与挑战 • 总结与展望
2023
PART 01
支持向量机概述
REPORTING
详细描述
传统的支持向量机通常是针对单个任务进行训练和预测，但在实际应用中，经常需要处理多个相关任务。多任务 学习和迁移学习技术可以通过共享特征或知识，使得支持向量机能够更好地适应多个任务，提高模型的泛化性能。
深度学习与神经网络的结合
总结词
将支持向量机与深度学习或神经网络相结合，可以发挥各自的优势，提高模型的性能和鲁棒性。
模型训练
使用训练集对支持向量机模型进行训练。
参数调整
根据验证集的性能指标，调整模型参数，如惩罚因子C和核函数类 型等。
模型优化
采用交叉验证、网格搜索等技术对模型进行优化，提高模型性能。
模型评估与调整
性能评估
使用测试集对模型进行 评估，计算准确率、召 回率、F1值等指标。
模型对比
将支持向量机与其他分 类器进行对比，评估其 性能优劣。
模型调整
根据评估结果，对模型 进行调整，如更换核函 数、调整参数等，以提 高性能。
2023
PART 04
支持向量机的应用案例
REPORTING
文本分类
总结词
利用支持向量机对文本数据进行分类 ，实现文本信息的有效管理。
详细描述
支持向量机在文本分类中发挥了重要 作用，通过对文本内容的特征提取和 分类，能够实现新闻分类、垃圾邮件 过滤、情感分析等应用。
《2024年基于支持向量机的供水管道泄漏检测算法研究》范文
《基于支持向量机的供水管道泄漏检测算法研究》篇一一、引言随着城市化进程的加快，供水系统作为城市基础设施的重要组成部分，其安全性和稳定性显得尤为重要。
供水管道泄漏检测是保障供水系统正常运行的关键环节。
传统的泄漏检测方法往往依赖于人工巡检或定期检查，这种方式效率低下且易出现漏检、误检等问题。
因此，研究一种高效、准确的供水管道泄漏检测算法具有重要的现实意义。
本文提出了一种基于支持向量机（SVM）的供水管道泄漏检测算法，旨在提高泄漏检测的准确性和效率。
二、支持向量机（SVM）理论概述支持向量机是一种监督学习算法，主要用于分类和回归问题。
其基本思想是将输入空间通过非线性变换映射到高维特征空间，然后在该空间中构建最优分类边界。
SVM具有较好的泛化能力和鲁棒性，在处理高维数据和复杂模式识别问题上表现出色。
在供水管道泄漏检测中，SVM可以通过学习正常和泄漏状态下的管道数据，建立泄漏检测模型，实现对管道泄漏的准确判断。
三、算法设计1. 数据采集与预处理首先，需要收集正常和泄漏状态下的供水管道数据，包括压力、流量、温度等参数。
对数据进行清洗、去噪和归一化处理，以消除异常值和噪声对模型的影响。
2. 特征提取与选择从预处理后的数据中提取出与管道泄漏相关的特征，如压力变化率、流量波动等。
通过特征选择算法，选择出对泄漏检测敏感且具有代表性的特征。
3. 模型训练与优化将提取出的特征输入到SVM模型中进行训练。
通过调整SVM的参数，如核函数、惩罚系数等，优化模型的性能。
同时，采用交叉验证等方法对模型进行评估，确保模型的泛化能力和鲁棒性。
4. 泄漏检测与报警将实时采集的管道数据输入到训练好的SVM模型中，判断管道是否发生泄漏。
当模型判断为泄漏时，启动报警系统，通知相关人员进行处理。
同时，可以结合其他检测手段对泄漏情况进行进一步确认和处理。
四、实验与分析为了验证基于SVM的供水管道泄漏检测算法的有效性，我们进行了实验分析。
实验数据来源于某城市供水系统的实际运行数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期:2003-06-13作者简介:姬水旺(1977)),男,陕西府谷人,硕士,研究方向为机器学习、模式识别、数据挖掘。
支持向量机训练算法综述姬水旺,姬旺田(陕西移动通信有限责任公司,陕西西安710082)摘 要:训练SVM 的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用。
针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解。
由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM 广泛应用的一个重要原因。
文章系统回顾了SVM 训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向。
关键词:统计学习理论;支持向量机;训练算法中图分类号:T P30116 文献标识码:A 文章编号:1005-3751(2004)01-0018-03A Tutorial Survey of Support Vector Machine Training AlgorithmsJI Shu-i wang,JI Wang -tian(Shaanx i M obile Communicatio n Co.,Ltd,Xi .an 710082,China)Abstract:Trai n i ng SVM can be formulated into a quadratic programm i ng problem.For large learning tasks w ith many training exam ples,off-the-shelf opti m i zation techniques quickly become i ntractable i n their m emory and time requirem ents.T hus,many efficient tech -niques have been developed.These techniques divide the origi nal problem into several s maller sub-problems.By solving these s ub-prob -lems iteratively,the ori ginal larger problem is solved.All proposed methods suffer from the bottlen eck of long training ti me.This severely limited the w idespread application of SVM.T his paper systematically surveyed three mains tream SVM training algorithms:chunking,de -composition ,and sequenti al minimal optimization algorithms.It concludes with an illustrati on of future directions.Key words:statistical learning theory;support vector machine;trai ning algorithms0 引 言支持向量机(Support Vector M achine)是贝尔实验室研究人员V.Vapnik [1~3]等人在对统计学习理论三十多年的研究基础之上发展起来的一种全新的机器学习算法,也使统计学习理论第一次对实际应用产生重大影响。
SVM 是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力。
由于SVM 方法有统计学习理论作为其坚实的数学基础,并且可以很好地克服维数灾难和过拟合等传统算法所不可规避的问题,所以受到了越来越多的研究人员的关注。
近年来,关于SVM 方法的研究,包括算法本身的改进和算法的实际应用,都陆续提了出来。
尽管SVM 算法的性能在许多实际问题的应用中得到了验证,但是该算法在计算上存在着一些问题,包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。
训练SVM 的本质是解决一个二次规划问题[4]:在约束条件0F A i F C,i =1,,,l (1)E li =1Ai y i =0(2)下,求W(A )=E li =1A i -12E i,JAi A j y i y j {7(x i )#7(x j )}=E li =1Ai -12E i,JA i A j y i y j K (x i ,x j )(3)的最大值,其中K (x i ,x j )=7(x i )#7(x j )是满足Merce r 定理[4]条件的核函数。
如果令+=(A 1,A 2,,,A l )T,D ij =y i y j K (x i ,x j )以上问题就可以写为:在约束条件+T y =0(4)0F +F C (5)下,求W(+)=+Tl -12+TD +(6)的最大值。
由于矩阵D 是非负定的,这个二次规划问题是一个凸函数的优化问题,因此Kohn -Tucker 条件[5]是最优点第14卷 第1期2004年1月 微 机 发 展M icr ocomputer Dev elopment V ol.14 N o.1Jan.2004应满足的充要条件。
Kohn-Tuc ker条件可化简为一个简单的形式[6],即所有训练样本应满足:Ai=0Z y i f(x i)E1(7) 0<A i<C Z y i f(x i)=1(8)A i=C Z y i f(x i)F1(9)其中f(x i)为SVM决策函数关于第i个样本的输出。
传统的标准二次型优化技术大都是针对矩阵D的维数较低的情况进行讨论的[5],即假设同时可以方便地对矩阵的所有行和列进行操作,对于SVM的训练问题矩阵D 的维数就是训练样本的个数,因此在大样本情况下SVM 的训练速度就必然很慢,这是阻碍SVM广泛应用的一个很大的障碍。
其主要原因是,首先,SVM方法需要计算和存储核函数矩阵,当样本点数目较大时,需要很大的内存,例如,当样本点数目超过4000时,存储核函数矩阵需要多达128MB内存[6],这使得在大样本情况下不可能将整个矩阵同时保存在内存中,增加了虚拟内存页替换的频率;其次,SVM在二次型寻优过程中要进行大量的矩阵运算,多数情况下,矩阵运算占用了算法时间的主要部分。
SVM方法的训练速度是限制它的广泛应用的主要原因,近年来人们针对方法本身的特点提出了许多算法来解决对偶寻优问题,这些算法的一个共同的思想就是采用分而治之的原则将原问题分解为规模较小的子问题,通过循环解决一系列子问题来求得原问题的解。
根据分解策略、分解后子问题的大小以及子问题的求解策略可以将现有的训练算法分为三种:块算法、分解算法和顺序最小优化算法。
2块算法(Chunking Algorithm)块算法最早是由Bose r等人[1]提出来的,它的出发点是:删除矩阵中对应于La grange乘数为零的行和列不会对最终结果产生影响。
对于给定的训练样本集,如果其中的支持向量是已知的,寻优算法就可以排除非支持向量,只需对支持向量计算权值(即Lagrange乘数)即可。
但是,在训练过程结束以前支持向量是未知的,因此,块算法的目标就是通过某种迭代方式逐步排除非支持向量。
具体的做法是,在算法的每一步中块算法解决一个包含下列样本的二次规划子问题:即上一步中剩下的具有非零La-grange乘数的样本,以及M个(事先确定的)不满足Kohn -Tucker条件(公式7~8)的最差的样本;如果在某一步中,不满足Kohn-Tucker条件的样本数不足M个,则这些样本全部加入到新的二次规划问题中。
每个二次规划子问题都采用上一个二次规划子问题的结果作为初始值。
在最后一步时,所有非零Lagrange乘数都被找到,因此最后一步解决了初始的大型二次规划问题。
块算法将矩阵的规模从训练样本数的平方减少到具有非零Lagrange乘数的样本数的平方,大大减少了训练过程对存储的要求,对于一般的问题这种算法可以满足对训练速度的要求。
对于训练样本数很大或支持向量数很大的问题,块算法仍然无法将矩阵放入内存中。
3分解算法(Decomposition Algorithm)当支持向量的数目远远小于训练样本数目时,块算法显然能够大大提高运算速度;然而,如果支持向量的数目本身就比较多,随着算法迭代次数的增多,工作样本集也会越来越大,算法依旧会变得十分复杂。
因此,如果把问题分解成为固定样本数的子问题:工作样本集的大小固定在算法速度可以容忍的限度内,迭代过程中只是将剩余样本中部分/情况最糟的样本0与工作样本集中的样本进行等量交换,即使支持向量的个数超过工作样本集的大小也不改变工作样本集的规模,而只对支持向量中的一部分进行优化,这就是分解算法的基本思想。
分解算法最早是由Osuna等人[7]提出的。
后来C. W.Hsu和T.Joachims[8,9]等人又对其进行了改进。
在文献[7,10]中,麻省理工学院生物与计算学习中心的Edgar Osunal等人介绍了一种具体的算法,并对人脸识别问题进行了实验。
他们将样本集分为两个集合B和N,集合B中包含b个样本,他们作为子问题工作样本集进行SVM训练,集合N中n有个样本,且b+n=l,在每一个子问题的训练过程中,所有N中的样本所对应的Lagrange乘数固定不变。
子问题训练结束后,用所得到的决策函数对N 中的样本进行测试,用违反Kohn-T ucker条件(公式7~ 8)最严重的样本替换初始工作集中Lagrange乘子为零的样本,于是可以按照以下步骤迭代求解:(1)随机选择b个样本组成集合B,构造子问题;(2)求子问题最优解A i,i I B及b,并置A j=0,j I N;(3)计算F j,j I N,找出其中不满足条件(公式7~ 8)的样本j,与B中满足A i=0的样本i交换,构成新的子问题,返回第二步,直到N中所有样本满足条件(公式7~ 8)。
Osuna等证明了一个定理,该定理指出:如果存在不满足Kohn-Tucker条件的样本,那么在把它加入到上一个子问题的集合中后,重新优化这个子问题,则可行点(Feasible Point)依然满足约束条件,且性能严格地改进。
因此,如果每一步至少加入一个不满足Kohn-T uc ke r条件的样本,一系列的二次规划子问题可保证最后单调收敛。