基于遗传算法优化支持向量机的航空装备维修费用预测

MATLAB实验遗传算法和优化设计

实验六 遗传算法与优化设计 一、实验目的 1. 了解遗传算法的基本原理和基本操作（选择、交叉、变异）； 2. 学习使用Matlab 中的遗传算法工具箱(gatool)来解决优化设计问题； 二、实验原理及遗传算法工具箱介绍 1. 一个优化设计例子 图1所示是用于传输微波信号的微带线(电极)的横截面结构示意图，上下两根黑条分别代表上电极和下电极，一般下电极接地，上电极接输入信号，电极之间是介质(如空气，陶瓷等)。微带电极的结构参数如图所示，W 、t 分别是上电极的宽度和厚度，D 是上下电极间距。当微波信号在微带线中传输时，由于趋肤效应，微带线中的电流集中在电极的表面，会产生较大的欧姆损耗。根据微带传输线理论，高频工作状态下（假定信号频率1GHz ），电极的欧姆损耗可以写成（简单起见，不考虑电极厚度造成电极宽度的增加）： 图1 微带线横截面结构以及场分布示意图 {} 28.6821ln 5020.942ln 20.942S W R W D D D t D W D D W W t D W W D e D D παπππ=+++-+++?????? ? ??? ??????????? ??????? (1) 其中πρμ0=S R 为金属的表面电阻率， ρ为电阻率。可见电极的结构参数影响着电极损耗，通过合理设计这些参数可以使电极的欧姆损耗做到最小，这就是所谓的最优化问题或者称为规划设计问题。此处设计变量有3个：W 、D 、t ，它们组成决策向量[W, D ,t ] T ，待优化函数(,,)W D t α称为目标函数。 上述优化设计问题可以抽象为数学描述： ()()min .. 0,1,2,...,j f X s t g X j p ????≤=? (2)

实验2分类预测模型_支持向量机

实验2分类预测模型——支持向量机SVM 一、 实验目的 1. 了解和掌握支持向量机的基本原理。 2. 熟悉一些基本的建模仿真软件（比如SPSS 、Matlab 等）的操作和使用。 3. 通过仿真实验，进一步理解和掌握支持向量机的运行机制，以及其运用的场景，特别是 在分类和预测中的应用。 二、 实验环境 PC 机一台，SPSS 、Matlab 等软件平台。 三、 理论分析 1. SVM 的基本思想 支持向量机（Support Vector Machine, SVM ），是Vapnik 等人根据统计学习理论中结构风险最小化原则提出的。SVM 能够尽量提高学习机的推广能力，即使由有限数据集得到的判别函数，其对独立的测试集仍能够得到较小的误差。此外，支持向量机是一个凸二次优化问题，能够保证找到的极值解就是全局最优解。这希尔特点使支持向量机成为一种优秀的基于机器学习的算法。 SVM 是从线性可分情况下的最优分类面发展而来的，其基本思想可用图1所示的二维情况说明。 图1最优分类面示意图 图1中，空心点和实心点代表两类数据样本，H 为分类线，H1、H2分别为过各类中离分类线最近的数据样本且平行于分类线的直线，他们之间的距离叫做分类间隔（margin ）。所谓最优分类线，就是要求分类线不但能将两类正确分开，使训练错误率为0，而且还要使分类间隔最大。前者保证分类风险最小；后者（即：分类间隔最大）使推广性的界中的置信范围最小，从而时真实风险最小。推广到高维空间，最优分类线就成为了最优分类面。 2. 核函数 ω

支持向量机的成功源于两项关键技术：利用SVM 原则设计具有最大间隔的最优分类面；在高维特征空间中设计前述的最有分类面，利用核函数的技巧得到输入空间中的非线性学习算法。其中，第二项技术就是核函数方法，就是当前一个非常活跃的研究领域。核函数方法就是用非线性变换 Φ 将n 维矢量空间中的随机矢量x 映射到高维特征空间，在高维特征空间中设计线性学习算法，若其中各坐标分量间相互作用仅限于内积，则不需要非线性变换 Φ 的具体形式，只要用满足Mercer 条件的核函数替换线性算法中的内积，就能得到原输入空间中对应的非线性算法。 常用的满足Mercer 条件的核函数有多项式函数、径向基函数和Sigmoid 函数等，选用不同的核函数可构造不同的支持向量机。在实践中，核的选择并未导致结果准确率的很大差别。 3. SVM 的两个重要应用：分类与回归 分类和回归是实际应用中比较重要的两类方法。SVM 分类的思想来源于统计学习理论，其基本思想是构造一个超平面作为分类判别平面，使两类数据样本之间的间隔最大。SVM 分类问题可细分为线性可分、近似线性可分及非线性可分三种情况。SVM 训练和分类过程如图2所示。 图2 SVM 训练和分类过程 SVM 回归问题与分类问题有些相似，给定的数据样本集合为 x i ,y i ,…, x n ,y n 。其中， x i x i ∈R,i =1,2,3…n 。与分类问题不同，这里的 y i 可取任意实数。回归问题就是给定一个新的输入样本x ，根据给定的数据样本推断他所对应的输出y 是多少。如图3-1所示，“×”表示给定数据集中的样本点，回归所要寻找的函数 f x 所对应的曲线。同分类器算法的思路一样，回归算法需要定义一个损失函数，该函数可以忽略真实值某个上下范围内的误差，这种类型的函数也就是 ε 不敏感损失函数。变量ξ度量了训练点上误差的代价，在 ε 不敏感区内误差为0。损失函数的解以函数最小化为特征，使用 ε 不敏感损失函数就有这个优势，以确保全局最小解的存在和可靠泛化界的优化。图3-2显示了具有ε 不敏感带的回归函数。 o x y 图3-1 回归问题几何示意图 o x y 图3-2 回归函数的不敏感地

遗传算法与优化问题(重要,有代码)

实验十遗传算法与优化问题 一、问题背景与实验目的 遗传算法（Genetic Algorithm—GA），是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是由美国Michigan大学的J.Holland教授于1975年首先提出的．遗传算法作为一种新的全局优化搜索算法，以其简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，奠定了它作为21世纪关键智能计算之一的地位． 本实验将首先介绍一下遗传算法的基本理论，然后用其解决几个简单的函数最值问题，使读者能够学会利用遗传算法进行初步的优化计算．1．遗传算法的基本原理 遗传算法的基本思想正是基于模仿生物界遗传学的遗传过程．它把问题的参数用基因代表，把问题的解用染色体代表（在计算机里用二进制码表示），从而得到一个由具有不同染色体的个体组成的群体．这个群体在问题特定的环境里生存竞争，适者有最好的机会生存和产生后代．后代随机化地继承了父代的最好特征，并也在生存环境的控制支配下继续这一过程．群体的染色体都将逐渐适应环境，不断进化，最后收敛到一族最适应环境的类似个体，即得到问题最优的解．值得注意的一点是，现在的遗传算法是受生物进化论学说的启发提出的，这种学说对我们用计算机解决复杂问题很有用，而它本身是否完全正确并不重要（目前生物界对此学说尚有争议）． （1）遗传算法中的生物遗传学概念 由于遗传算法是由进化论和遗传学机理而产生的直接搜索优化方法；故而在这个算法中要用到各种进化和遗传学的概念． 首先给出遗传学概念、遗传算法概念和相应的数学概念三者之间的对应关系．这些概念如下： 序号遗传学概念遗传算法概念数学概念 1 个体要处理的基本对象、结构也就是可行解 2 群体个体的集合被选定的一组可行解 3 染色体个体的表现形式可行解的编码 4 基因染色体中的元素编码中的元素 5 基因位某一基因在染色体中的位置元素在编码中的位置 6 适应值个体对于环境的适应程度， 或在环境压力下的生存能力可行解所对应的适应函数值 7 种群被选定的一组染色体或个体根据入选概率定出的一组 可行解 8 选择从群体中选择优胜的个体， 淘汰劣质个体的操作保留或复制适应值大的可行解，去掉小的可行解 9 交叉一组染色体上对应基因段的 交换根据交叉原则产生的一组新解 10 交叉概率染色体对应基因段交换的概 率（可能性大小）闭区间[0,1]上的一个值，一般为0.65~0.90 11 变异染色体水平上基因变化编码的某些元素被改变

支持向量机数据分类预测

支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';

支持向量机模型的研究与设计

百度文库- 让每个人平等地提升自我 支持向量机实验模型的研究与设计 用户手册 1．简介 本模型是基于SVM（即支持向量机）的机器学习模型，能够将线性可分的和非线性可分的两种情况下的两类数据集进行分类，并对分类结果进行分析。用户可以选择装载已有的数据进行分类，也可以手动创建两类数据集进行分类。用户根据要分类的数据集，从两个训练算法中选择适当的训练算法，并且从三个核函数中选择适当的核函数对数据集进行分类。 2．系统要求 操作系统方面：Windows 98，Windows NT，Windows ME，Windows 2000， Windows XP及Windows 2003系统； 应用软件方面：必须安装MATLAB 或以上版本 3．使用说明 （1）首先运行或者文件，进入模型主界面，如下图： 用户在进入实验前必须先按“设置路径”按钮设置路径，然后就可以通过“进入支持向量机模型”按钮进入模型。

百度文库- 让每个人平等地提升自我（2）进入支持向量机机器学习模型后，界面如下图：用户可以通过各个按钮对模型进行操作 （3）装载或创建数据 a．通过“装载数据”按钮装载数据，用户选择数据所在的文件 b．通过“创建数据”按钮创建数据

百度文库- 让每个人平等地提升自我 可以创建线性可分数据集如下： 可以创建非线性可分数据集如下： C．装载数据或创建数据后的界面上显示数据点，如下图：

百度文库- 让每个人平等地提升自我 （4）通过“训练SVM”按钮对数据集进行分类 在此仅介绍了对线性可分数据集分类的情况，对其他的数据集，操作也跟如下类似。在数据集线性可分情况下，使用不同算法的分类结果： 选择SMO训练算法和Linear核函数的分类结果： （5）通过“重新设置”按钮，重新选择SMO训练算法和Polynomial核函数的分类结果

基于支持向量机的模式识别

基于支持向量机的模式识别 摘要 随着人工智能和机器学习学科的不断发展，传统的机器学习方法已经不能适应学科的快速发展。而支持向量机（Support Vector Machine，SVM）则是根据统计学习理论提出的一种新型且有效的机器学习方法，它以结构风险最小化和VC 维理论为基础，适当的选择函数子集和决策函数，使学习机器的实际风险最小化，通过对有限的训练样本进行最小误差分类。支持向量机能够较好的解决小样本、非线性、过学习和局部最小等实际问题，同时具有较强的推广能力。支持向量机的样本训练问题实质是求解一个大的凸二次规划问题，从而所得到的解也是全局最优的，通常也是唯一的解。 本文以支持向量机理论为基础，对其在模式识别领域的应用进行系统的研究。首先运用传统的增式支持向量机对历史数据分类，该分类结果表明对于较复杂的数据辨识时效果不佳。然后运用改进后的增式支持向量机对历史数据进行分类，再利用支持向量机具有的分类优势对数据进行模式识别。 本文对传统增式支持向量机算法和改进增式支持向量机算法进行了仿真对比，仿真结果体现了改进增式支持向量机算法的优越性，改进增式支持向量机算法减少了训练样本集的样本数量，优化了时间复杂度和空间复杂度，提高了分类效率。该方法应用于模式识别领域中能明显提高系统的准确率。 关键词：支持向量机；模式识别；多类分类；增式算法

Pattern Recognition Based on Support Vector Machine Abstract With the discipline of artificial intelligence and machine learning continues to evolve, traditional machine learning methods can not adapt to the rapid development of disciplines. The support vector machine (Support Vector Machine, SVM) is based on statistical learning theory a new and effective machine learning method, which to base on the structural risk minimization and the VC dimension theory, a function subset of appropriate choice and decision-making function of appropriate choice, the learning machine to minimize the actual risk, through the limited training samples for minimum error classification. SVM can solve the small sample, nonlinear, over learning and local minimum practical issues, but also it has a strong outreach capacity. Sample training problems of Support Vector Machines to solve really a large convex quadratic programming problems, and to the global optimal solution is also obtained, usually the only solution. This paper based on support vector machine theory, its application in the field of pattern recognition system. First, by using the traditional incremental support vector machine classification of historical data, the classification results show that the data for the identification of more complex when the results are poor. And then improved by the use of incremental Support Vector Machines to classify the historical data, and then use the classification of Support Vector Machine has advantages for data pattern recognition. This type of traditional incremental Support Vector Machine and improved incremental Support Vector Machine algorithm was simulated comparison, simulation results demonstrate the improved incremental Support Vector Machine algorithm by superiority, improved incremental Support Vector Machine algorithm reduces the set of training samples number of samples，and to optimize the time complexity and space complexity, improving the classification efficiency. The method is applied to pattern recognition can significantly improve the accuracy of the system. Key words: Support Vector Machine; Pattern Recognition; Multi-class Classification; Incremental Algorithm

(数学建模教材)31第三十一章支持向量机

第三十一章 支持向量机 支持向量机是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问 题的新工具，最初由 V.Vapnik 等人提出，近几年来在其理论研究和算法实现等方面都 取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的 理论基础和实现途径的基本框架都已形成。 §1 支持向量分类机的基本原理 根据给定的训练集 l T = {(x 1,y 1 ), (x 2 ,y 2 ),L ,(x l ,y l )}∈ ( X ? Y ) ， 其中 x ∈ X = R n ， X 称为输入空间，输入空间中的每一个点 x 由 n 个属性特征组成， i i n y i ∈Y = {-1,1},i = 1,L ,l 。寻找 R 上的一个实值函数 g (x ) ，以便用分类函数 f (x ) = sgn( g (x )), 推断任意一个模式 x 相对应的 y 值的问题为分类问题。 1.1 线性可分支持向量分类机 考虑训练集 T ，若 ?ω ∈ R n ， b ∈ R 和正数 ε ，使得对所有使 y = 1 的下标 i 有 i (ω ? x i ) + b ≥ ε（这里 (ω ? x i ) 表示向量 ω 和 x i 的内积），而对所有使 y i = -1 的下标 i 有 (ω ? x i ) + b ≤ -ε ，则称训练集 T 线性可分，称相应的分类问题是线性可分的。 记两 类样本集分别为 M = {x i | y i = 1, x i ∈T }， M = {x i | y i = -1, x i ∈T }。定义 M + 的凸包 conv(M + ) 为 + - ? N + N + ? conv(M + ) = ?x = ∑λ x | ∑ λ λ ≥ 0, j = 1,L , N + ; x ∈ M + ←, = 1, j j j j j ? ↑ j =1 j =1 M - 的凸包 conv(M - ) 为 ? N - N - ? conv(M - ) = ?x = ∑λ x | ∑λ λ ≥ 0, j = 1,L , N - ; x ∈ M - ←. = 1, j j j j j ? ↑ j =1 j =1 其中 N + 表示 + 1 类样本集中样本点的个数， N - 表示 - 1类样本集中样本点的个数，定 理 1 给出了训练集 T 线性可分与两类样本集凸包之间的关系。 定理 1 训练集 T 线性可分的充要条件是， T 的两类样本集 M + 和 M - 的凸包相 离。如下图所示 图 1 训练集 T 线性可分时两类样本点集的凸包 证明：①必要性 -762-

支持向量机参数优化的一种新方法

小型微型计算机系统ＪｏｕｒｎａｌｏｆＣｈｉｎｅｓｅＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓ２００８年１月第１期Ｖ０１．２９Ｎｏ．１２００８ 支持向量机参数优化的一种新方法 肇莹，刘红星，高敦堂 （南京大学电子科学与工程系。江苏南京２１００９３） Ｅ－ｍａｉｌ：ｘｗｈｚｙ＠ｓｏｈｕ．ｃｏｍ 摘要：支持向量机（ＳＶＭ）的性能与ＳＶＭ参数的选择有关．ＳＶＭ参数的优化需要一个准则，本文提出了一种以原空间中样本到分类面的最短代数距离最大为准则的ＳＶＭ参数优化方法．该方法旨在使ＳＶＭ分类面在原空间中使样本“平分秋色”，更能体现ＳＶＭ分类器的结构风险最一１、化的原则．算法简单、几何直观性好、易于实现．通过在双螺旋线样本和Ｉｒｉｓ样本集上所作测试证明了该方法的有效性． 关键词：支持向量机；参数优化 中图分类号：ＴＰｌ８文献标识码：Ａ文章编号：１０００—１２２０（２００８）０１—０１０２—０４ ＡＮｅｗＭｅｔｈｏｄｆｏｒＳＶＭＨｙｐｅｒ—ｐａｒａｍｅｔｅｒｓＯｐｔｉｍｉｚａｔｉｏｎ ＺＨＡＯＹｉｎｇ，ＬＩＵＨｏｎｇ－ｘｉｎｇ，ＧＡＯＤｕｎ—ｔａｎｇ （ＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＤｅｐａｒｔｍｅｎｔ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｈｅｐｅｒｆｏｒｍａｎｃｅｏｆＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）ｉｓｄｅｔｅｒｍｉｎｅｄｂｙｉｔｓｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓ．Ｏｐｔｉｍｉｚｉｎｇｔｈｅｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓｎｅｅｄｓａｃｒｉｔｅｒｉｏｎ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎｅｗＳＶＭｈｙｐｅｒ—ｐａｒａｍｅｔｅｒｓｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄ，ｉｎｗｈｉｃｈｍａｘｉｍｉｚｉｎｇｔｈｅｍｉｎｉｍｕｍａｌｇｅｂｒａｉｃｄｉｓｔａｎｃｅｆｒｏｍｓａｍｐｌｅｓｔｏｔｈｅｃＩａｓｓ—ｓｅｐａｒａｔｉｎｇｈｙｐｅｒ—ｓｕｒｆａｃｅｉｎｉｎｐｕｔ ｓｐａｃｅｉｓｔａｋｅｎａｓｔｈｅｃｒｉｔｅｒｉｏｎ．Ｔｈｅ ｍａｉｎ ｐｕｒｐｏｓｅｏｆｔｈｉｓｍｅｔｈｏｄｉｓｔｏ’ｌｅｇａｎｄ ｌｅｇ’ｔｈｅｗｈｏｌｅｏｒｉｇｉｎａｌｉｎｐｕｔｓｐａｃｅｆｏｒａｌｌｔｈｅｓａｍｐｌｅｓ，ａｎｄｉｔｓｕｓｔａｉｎｓｔｈｅｓｔｒｕｃｔｕｒａｌ ｒｉｓｋｍｉｎｉｍｉｚａｔｉｏｎｐｒｉｎｃｉｐｌｅｂｅｔｔｅｒ．Ｔｈｅｍｅｔｈｏｄｉｓｓｉｍｐｌｅ，ｇｅｏｍｅｔｒｉｃｉｎｔｕｉｔｉｖｅａｎｄｃａｎｂｅｉｍｐｌｅｍｅｎｔｅｄ ｅａｓｉｌｙ．Ｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅｍｅｔｈｏｄｉｓｄｉｓｐｌａｙｅｄｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔｓｏｎｔｗｏｃｌａｓｓｉｃａｌｂｅｎｃｈｍａｒｋｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍｓ－－ＴｗｏＳｐｉｒａｌｓＰｒｏｂｌｅｍ（ＴＳＰ）ａｎｄＩｒｉｓｓａｍｐｌｅｓ． Ｋｅｙｗｏｒｄｓ：ＳＶＭ；ｈｙｐｅｒ－ｐａｒａｍｅｔｅｒｏｐｔｉｍｉｚａｔｉｏｎ １引言 支持向量机（ＳＶＭ）的泛化性能不仅与核函数形式有关，而且与核函数的参数有关．图１是核函数选定为ＲＢＦ形式、即Ｋ。，ｚ，）一ｅｘｐ（一ｊＬ掣），而其核函数参数ｙ分别取不同值时，双螺线问题（ＴＳＰ）的ＳＶＭ分类结果．图（ａ）中，ｙ取值过大，使得样本在变换域空间中线性不可分；图（ｂ）中，ｙ （ａ）ｙ一２０时的ＳＶＭ分类情况（ｂ）ｙ＝０．０１时的ＳＶＭ分类情况 图１对ＴＳＰ问题，选用ＲＢＦ核函数 Ｆｉｇ．１ＦｏｒＴＳＰｗｉｔｈＲＢＦｋｅｒｎｅｌｆｕｎｃｔｉｏｎｓｅｌｅｃｔｅｄ 收稿日期：２００６—０９?２０收修改稿日期：２００６—１２—２７基金项目；国家自然科学基金项目（６０２７５０４１）资助．作者简介：肇莹，女，１９７３年生，博士研究生，讲师，研究方向为模式识别与人工智能｝刘红星，男，１９６８年生，博士，教授，研究方向为模式识别与人工智能；高敦堂，男，１９４１ 年生，教授，研究方向为人工智能． 　万方数据

支持向量机(SVM)在作物需水预测中的应用研究综述

第卷第期农业水土工程研究进展课程论文V ol. Supp. . 2015年11月Paper of agricultural water and soil engineering progress subject Nov.2015 1 支持向量机（SVM）在作物需水预测中的应用研究综述 （1.中国农业大学水利与土木工程学院，北京，100083） 摘要：水资源的合理配置对于社会经济的发展具有重要意义。而在农业水资源的优化配置中常常需要提供精确的作物需水信息才能接下来进行水量的优化配置。支持向量机是基于统计学习理论的新型机器学习方法，因为其出色的学习性能，已经成为当前机器学习界的研究热点。但是目前对支持向量机的研究与应用大多集中在分类这一功能上，而在农业水资源配置中的应用又大多集中于预测径流量，本文系统介绍了支持向量机的理论与一些应用，并对支持向量机在作物需水预测的应用进行了展望。 关键词：作物需水预测；统计学习理论；支持向量机； 中图分类号：S16 文献标志码：A 文章编号： 0引言 作物的需水预测是农业水资源优化配置的前提和基础之一。但目前在解决数学模型中需要输入有预期的预测精度的数据时还是会遇到困难。例如，当大量的用水者的用水需求作为优化模型的输入时，预测精度太低时优化结果可能会出现偏差。此外，不确定性也存在于水的需求中，水需求受到一些影响因子和系统组成的影响（即人类活动，社会发展，可持续性要求以及政策法规），这不仅在不确定性因子间相互作用过程中使得问题更为复杂，也使得决策者在进行水资源分配过程中的风险增加。所以，准确的预测对水资源的需求对制定有效的水资源系统相关规划很重要。而提高需水量预测精度一直是国内外学术界研究难点和热点。 支持向量机(Support V ector Machine，SVM)是根据统计学理论提出的一种新的通用学习方法，该方法采用结构风险最小化准则(Structural Risk Minimization Principle)，求解二次型寻优问题，从理论上寻求全局最优解，较好地兼顾了神经网络和灰色模型的优点[1][2]，克服了人工神经网络结构依赖设计者经验的缺点，具有对未来样本的较好的泛化性能，较好解决了高维数、局部极小等问题[3]。目前，SVM已成功的应用于分类、函数逼近和时间序列预测等方面，并在水科学领域中取得了一些成果，Liong[4]已将SVM应用于水文预报，周秀平等[5]已将SVM应用于径流预测，王景雷等[6]亦已将SVM应用于地下水位预报。而需水预测问题本身也可以看作是一种对需水量及其影响因子间的复杂的非线性函数关系的逼近问题，但将SVM应用于作物需水预测的研究尚处于起步阶段。本文简要介绍支持向量机并对其研究进展进行综述，最后对未来使用支持向量机预测作物需水量进行展望。 收稿日期：修订日期：1支持向量机 1.1支持向量机国内外研究现状 自 1970 年以来，V apnik[1，2]等人发展了一种新的学习机——支持向量机。与现有的学习机包括神经网络，模糊学习机，遗传算法，人工智能等相比，它具有许多的优点：坚实的理论基础和较好的推广能力、强大的非线性处理能力和高维处理能力。因此这种学习方法有着出色的学习性能，并在许多领域已得到成功应用，如人脸检测、手写体数字识别、文本自动分类、非线性回归建模与预测、优化控制数据压缩及时间序列预测等。 1998年，Alex J. Smola[7]系统地介绍了支持向量机回归问题的基本概念和求解算法。Drucher[8]将支持向量机回归模型同基于特征空间的回归树和岭回归的集成回归技术bagging做了比较；Alessandro verri[9]将支持向量机回归模型同支持向量机分类模型和禁忌搜索（basic pursuit denoising）作了比较，并且给出了贝叶斯解释。通过分析得出了如下结论：支持向量机回归模型由于不依赖于输入空间的维数，所以在高维中显示出了其优越性。为了简化支持向量机，降低其复杂性，已有了一些研究成果。比如，Burges[10]提出根据给定的支持向量机生成缩减的样本集，从而在给定的精度下简化支持向量机，但生成缩减样本集的过程也是一个优化过程，计算比较复杂；1998年Scholkopf[11]等人在目标函数中增加了参数v以控制支持向量的数目，称为v-SVR，证明了参数v与支持向量数目及误差之间的关系，但支持向量数目的减少是以增大误差为代价的。Suykens等人[12]1999年提出的最小二乘支持向量机(LS-SVM)算法具有很高的学习效率，对大规模数据可采用共轭梯度法求解；田盛丰[13]等人提出了LS-SVM与序贯最优化算法（SMO）的混合算法。 1.2支持向量机在水资源领域研究现状

基于支持向量机的故障诊断

基于支持向量机的故障诊断 摘要 在化工生产过程中，为了准确检测故障，减少机械的损失和人员的伤亡，提出了支持向量机算法。支持向量机是基于统计学理论的方法，具有较强的逼近能力和泛化能力。但是在最近几年中，一种基于主元分析的过程监控方法已在工业过程中得到应用，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。本文主要就这两种方法展开运用。在实际生产过程中，一方面，主元分析方法故障诊断能力有限；另一方面，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。 本文首先运用传统支持向量机算法对历史数据进行分类，分类结果表明该方法对于简单的数据比较容易区分，但是在数据复杂，可辨性较低的情况下，效果不明显。然后运用改进了的传统支持向量机算法对历史数据进行分类，即运用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。 本文对传统支持向量机算法和改进支持向量机算法进行了仿真比较，仿真结果体现了改进支持向量机算法的优越性；改进支持向量机算法提高了传统支持向量机算法分类的正确率。该种方法在实际工程中能够提高系统的诊断性能，减少不必要的损失。 关键词：支持向量机；故障诊断；主元分析方法；田纳西-伊斯曼过程；

Fault Diagnosis Based on Support Vector Machine Abstract In order to detect faults accurately, reduce mechanical lossesand casualties in the chemical production process, the algorithm of support vector machines was proposed. Based on the statistics theories, support vector machine is a method of approximation ability and generalization ability. Recently, a new method of process monitoring based on principal component analysis is applied in industrial production process. The statistical model built by principal component analysis method using historic data could detect unusual changes and faults happening in the process accurately. This research is on the application of these two methods. In the actual production process, principal component analysis has certain limitations in diagnosing fault. Besides, the vast volume of historical data was collected in both normal and unusual conditions. It is of great importance to make full use of the data to improve the capacity of fault diagnosis. Firstly, this paper classified the historical data by applying the traditional support vector machine algorithm. The results showed that traditionalmethod works well on simple data sets. However, it showed insignificant effects under a complex and low-differentiability condition. In succession, an advanced approach was used to improve the traditional method, which was approached to enhance the ability of fault diagnosis by using principal component analysis to extract the main features of the data, then with the use of support vector machine which has the advantages of online diagnostic on process data to classify. In this paper, the traditional support vector machine algorithm and advanced support vector machine algorithm were compared in simulation process, the results indicates the superiority of the advanced method which improved the correctness of the traditional one on classification. It could also improve the diagnostic performance in the actual process and reduce unnecessary losses consequently. Key words: Support Vector Machine; Fault Diagnosis; Principal Component Analysis; Tennessee Eastman Process

基于支持向量机的分类方法

基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。

基于支持向量机回归模型的海量数据预测

２００７，４３（５）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 １问题的提出 航空公司在客舱服务部逐步实行“费用包干”政策，即：综合各方面的因素，总公司每年给客舱服务部一定额度的经费，由客舱服务部提供客舱服务，而客舱服务产生的所有费用，由客舱服务部在“费用包干额度”中自行支配。新的政策既给客舱服务部的管理带来了机遇，同时也带来了很大的挑战。通过“费用包干”政策的实施，公司希望能够充分调用客舱服务部的积极性和主动性，进一步改进管理手段，促进新的现代化管理机制的形成。 为了进行合理的分配，必须首先搞清楚部门的各项成本、成本构成、成本之间的相互关系。本文首先对成本组成进行分析，然后用回归模型和支持向量机预测模型对未来的成本进行预测［１－３］，并对预测结果的评价和选取情况进行了分析。 ２问题的分析 由于客舱服务部的特殊性，“费用包干”政策的一项重要内容就集中在小时费的重新分配问题上，因为作为客舱乘务员的主要组成部分—— —“老合同”员工的基本工资、年龄工资以及一些补贴都有相应的政策对应，属于相对固定的部分，至少目前还不是调整的最好时机。乘务员的小时费收入则是根据各自的飞行小时来确定的变动收入，是当前可以灵活调整的部分。实际上，对于绝大多数员工来说，小时费是其主要的收入部分，因此，用于反映乘务人员劳动强度的小时费就必然地成为改革的重要部分。 现在知道飞行小时和客万公里可能和未来的成本支出有关系，在当前的数据库中有以往的飞行小时（月）数据以及客万公里数据，并且同时知道各月的支出成本，现在希望预测在知道未来计划飞行小时和市场部门希望达到的客万公里的情况下的成本支出。 根据我们对问题的了解，可以先建立这个部门的成本层次模型，搞清楚部门的各项成本、成本构成、成本之间的相互关系。这样，可以对部门成本支出建立一个层次模型：人力资源成本、单独预算成本、管理成本，这三个部分又可以分别继续分层 次细分，如图１所示。 基于支持向量机回归模型的海量数据预测 郭水霞１，王一夫１，陈安２ ＧＵＯＳｈｕｉ－ｘｉａ１，ＷＡＮＧＹｉ－ｆｕ１，ＣＨＥＮＡｎ２ １．湖南师范大学数学与计算机科学学院，长沙４１００８１ ２．中国科学院科技政策与管理科学研究所，北京１０００８０ １．ＣｏｌｌｅｇｅｏｆＭａｔｈ．ａｎｄＣｏｍｐｕｔｅｒ，ＨｕｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１００８１，Ｃｈｉｎａ ２．ＩｎｓｔｉｔｕｔｅｏｆＰｏｌｉｃｙａｎｄＭａｎａｇｅｍｅｎｔ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ Ｅ－ｍａｉｌ：ｇｕｏｓｈｕｉｘｉａ＠ｓｉｎａ．ｃｏｍ ＧＵＯＳｈｕｉ－ｘｉａ，ＷＡＮＧＹｉ－ｆｕ，ＣＨＥＮＡｎ．Ｐｒｅｄｉｃｔｉｏｎｏｎｈｕｇｅｄａｔａｂａｓｅｏｎｔｈｅｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（５）：１２－１４． Ａｂｓｔｒａｃｔ：Ａｓａｎｉｍｐｏｒｔａｎｔｍｅｔｈｏｄａｎｄｔｅｃｈｎｉｑｕｅ，ｐｒｅｄｉｃｔｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｉｎｍａｎｙａｒｅａｓ．Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｉｎｇａｍｏｕｎｔｏｆｄａｔａ，ｐｒｅｄｉｃｔｉｏｎｆｒｏｍｈｕｇｅｄａｔａｂａｓｅｂｅｃｏｍｅｓｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔ．Ｂａｓｅｄｏｎｔｈｅｂａｓｉｃｐｒｉｎｃｉｐｌｅｏｆｖｅｃｔｏｒｍａｃｈｉｎｅａｎｄｉｍ－ｐｌｅｍｅｎｔａｒｉｔｈｍｅｔｉｃ，ａｐｒｅｄｉｃｔｉｏｎｓｙｓｔｅｍｉｎｆｒａｓｔｒｕｃｔｕｒｅｏｎａｎａｉｒｃｏｍｐａｎｙｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｌａｓｔｌｙ，ｔｈｅｒｕｌｅｓｏｆｅｖａｌｕａｔｉｏｎａｎｄｓｅｌｅｃｔｉｏｎｏｆｔｈｅｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｓａｒｅｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｐｒｅｄｉｃｔｉｏｎ；ｄａｔａｍｉｎｉｎｇ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌ 摘要：预测是很多行业都需要的一项方法和技术，随着数据积累的越来越多，基于海量数据的预测越来越重要，在介绍支持向量机基本原理和实现算法的基础上，给出了航空服务成本预测模型，最后对预测结果的评价和选取情况进行了分析。 关键词：预测；数据挖掘；支持向量机；回归模型 文章编号：１００２－８３３１（２００７）０５－００１２－０３文献标识码：Ａ中图分类号：ＴＰ１８ 基金项目：国家自然科学基金（ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．１０５７１０５１）；湖南省教育厅资助科研课题（ｔｈｅＲｅｓｅａｒｃｈＰｒｏｊｅｃｔｏｆＤｅｐａｒｔｍｅｎｔｏｆＥｄｕｃａｔｉｏｎｏｆＨｕｎａｎＰｒｏｖｉｎｃｅ，ＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．０６Ｃ５２３）。 作者简介：郭水霞（１９７５－），女，博士生，讲师，主要研究领域为统计分析；王一夫（１９７１－），男，博士生，副教授，主要研究领域为计算机应用技术，软件工程技术；陈安（１９７０－），男，副研究员，主要研究领域为数据挖掘与决策分析。 １２