编程中的优化算法问题

iSIGHT中优化算法分类

iSIGHT中优化方法种类 iSIGHT里面的优化方法大致可分为三类： 1 数值优化方法 数值优化方法通常假设设计空间是单峰值的，凸性的，连续的。iSIGHT中有以下几种： （1）外点罚函数法（EP）： 外点罚函数法被广泛应用于约束优化问题。此方法非常很可靠，通常能够在有最小值的情况下，相对容易地找到真正的目标值。外点罚函数法可以通过使罚函数的值达到无穷值，把设计变量从不可行域拉回到可行域里，从而达到目标值。 （2）广义简约梯度法（LSGRG2）： 通常用广义简约梯度算法来解决非线性约束问题。此算法同其他有效约束优化一样，可以在某方向微小位移下保持约束的有效性。 （3）广义虎克定律直接搜索法： 此方法适用于在初始设计点周围的设计空间进行局部寻优。它不要求目标函数的连续性。因为算法不必求导，函数不需要是可微的。另外，还提供收敛系数（rho），用来预计目标函数方程的数目，从而确保收敛性。 （4）可行方向法（CONMIN）： 可行方向法是一个直接数值优化方法，它可以直接在非线性的设计空间进行搜索。它可以在搜索空间的某个方向上不断寻求最优解。用数学方程描述如下： Design i = Design i-1 + A * Search Direction i方程中，i表示循环变量，A表示在某个空间搜索时决定的常数。它的优点就是在保持解的可行性下降低了目标函数值。这种方法可以快速地达到目标值并可以处理不等式约束。缺点是目前还不能解决包含等式约束的优化问题。 （5）混合整型优化法（MOST）： 混合整型优化法首先假定优化问题的设计变量是连续的，并用序列二次规划法得到一个初始的优化解。如果所有的设计变量是实型的，则优化过程停止。否则，如果一些设计变量为整型或是离散型，那么这个初始优化解不能满足这些限制条件，需要对每一个非实型参数寻找一个设计点，该点满足非实型参数的限制条件。这些限制条件被作为新的约束条件加入优化过程，重新优化产生一个新的优化解，迭代依次进行。在优化过程中，非实型变量为重点考虑的对象，直到所有的限制条件都得到满足，优化过程结束，得到最优解。 （6）序列线性规划法（SLP）：序列线性规划法利用一系列的子优化方法来解决约束优化问题。此方法非常好实现，适用于许多工程实例问题。 （7）序列二次规划法（DONLP）： 此方法对拉各朗日法的海森矩阵进行了微小的改动，进行变量的缩放，并且改善了armijo型步长算法。这种算法在设计空间中通过梯度投影法进行搜索。 （8）序列二次规划法（NLPQL）： 这种算法假设目标函数是连续可微的。基本思想是将目标函数以二阶拉氏方程展开，并把约束条件线性化，使得转化为一个二次规划问题。二阶方程通过quasi－Newton公式得到了改进，而且加入了直线搜索提高了算法的稳定性。 （9）逐次逼近法（SAM）： 逐次逼近法把非线性问题当做线性问题来处理。使用了稀疏矩阵法和单纯形法求解线性问题。如果某个变量被声明成整型，单纯形法通过重复大量的矩阵运算来达到预期的最优值。逐次逼近法是在M. Berkalaar和J.J. Dirks提出的二次线性算法。 2 探索优化方法 探索优化法避免了在局部出现最优解的情况。这种方法通常在整个设计空间中搜索全局最优值。iSIGHT中有以下两种： （1）多岛遗传算法（MIGA）： 在多岛遗传算法中，和其他的遗传算法一样每个设计点都有一个适应度值,这个值是建立在目标函

基于局部优化的多类分类算法

2016年10月 控 制 工 程 Oct. 2016 第23卷第10期 Control Engineering of China V ol.23, No.10 文章编号：1671-7848(2016)10-1607-05 DOI: 10.14107/https://www.360docs.net/doc/123612309.html,ki.kzgc.150689 基于局部优化的多类分类算法 单瑾，刘明纲，罗侃 （成都工业学院 信息与计算科学系，成都 611730） 摘 要：为了解决传统多类分类问题中普遍出现的偏离性与不平衡性，依据互通信熵理 论与支持向量数据描述（SVDD ）分类原理，设计出一种改进的局部性SVDD 多类分类算法，即EL-SVDD 算法。此算法首先以局部样本信息为载体，计算出互通信熵参数值；其次在多维度空间球体中以互通信熵参数值分类放置测试样本数据信息；最后综合分析测试样本大小与互通信熵参数值，重新诠释了SVDD 算法中的C 值。实验表明，EL-SVDD 算法不仅具有可行性，而且能够有效和稳定地提高多类分析精度。 关键词：SVDD; 互通信熵; 多类分类; C 值 中图分类号：TP181 文献标志码：A Multi-class Classification Algorithm Based on Local Optimization SHAN Jin, LIU Ming-gang, LUO Kan (Department of Information and Computing Science, Chengdu Technological University, Chengdu 611730, China) Abstract: In order to solve the blindness and imbalance that appeares commonly in the traditional multi-class classification, this paper designs an improved and localized multi-class classification algorithm based on mutual communication entropy and support vector data description (SVDD), which is known as EL-SVDD algorithm. Firstly, this algorithm calculates the mutual communication entropy with many local classes of samples. Secondly, one class is placed inside the ball based on the mutual communication entropy. Finally, according to the samples and mutual communication entropy, it reinterprets the C values of SVDD algorithm. Experiment results show that EL-SVDD algorithm not only has the feasibility, but also can effectively and stably improve the accuracy of many types of analysis. Key words: SVDD; mutual communication entropy; multi-class classification; C value 1 引 言 近年来，由于支持向量机理论原理的不断成熟发展，在人工智能、模式识别领域得到越来越多的应用与拓展。其中国内外研究学者为完善与扩展支持向量机知识体系做出了很多贡献，如文献[1]提出了支持向量数据描述（SVDD ）的概念，并设计单类别分类SVDD 算法，达到了良好的性能效果；文献[2]在SVDD 理论知识的基础之上，扩展SVDD 样本容量，使得改进的SVDD 算法能够应用于两类别分类问题的求解；文献[3]进一步拓展，使得改进的SVDD 算法可以应用于多类别分类问题的求解；文献[4]通过模拟SVDD 操作性质（ROC ）面积对SVDD 分类精度进行了优化分析等。文献[5]用支持向量描述训练求得包围各类样本的最小超球体,并使得分类间隔最大化。文献[6] 将相对密度扩展到核空间, 进而提出了一种基于 核空间相对密度的SVDD 多类分类算法。然而深入透析现有的SVDD 方面的各种研究成果，对于SVDD 传统的单多类别分类算法，均出现了正负类别样本数据信息偏离性问题，并且在SVDD 惩罚参数值（C 值）设定方面也存在一定的不平衡性问题。针对以上情况，本文在传统的SVDD 理论体系基础之上，依据互通信熵与局部性样本数据信息，设计出一种改进的局部性SVDD 多类别分类算法，即EL-SVDD 算法，此算法首先以互通信熵值对正负球体进行环绕式处理，对不同互通信熵值大小的类进行划分存储，然后通过互通信熵值与分布式局部样本信息重新诠释了SVDD 算法中的C 值。通过实验表明，EL-SVDD 算法不仅 收稿日期：2015-07-23；修回日期：2015-10-08 作者简介：单瑾（1980-），女，辽宁大连人，研究生，讲师，主要从事模式识别、数据挖掘和软件工程等方面的教学 和科研工作；刘明纲（1978-），男，四川成都人，研究生，讲师，主要从事人工智能和数据挖掘等方面的教学与科研工作；罗侃(1976-)，男，四川蓬安人，研究生，副高级实验师，主要从事计算机应用和软件工程等方面的教学与科研工作。 万方数据

基于小生境遗传算法的分类优化方法

基于小生境遗传算法的分类优化方法 李隽颖;楼晓俊 【期刊名称】《计算机应用研究》 【年(卷),期】2012(029)005 【摘要】对于多分类问题,大多是经二分类器组合进行训练的,在分类类别多、特征维数高时,存在识别准确率不高和训练速度较慢的问题.将超球支持向量机应用到多类问题,为每个类建立一个超球体模型,通过多个超球体划分样本空间.采用改进的基于排挤的小生境遗传算法(improved crowding niche genetic algorithm,ICNGA)进行特征选择,为不同的目标类别寻找最优的特征子集,优化超球支持向量机的输入.利用UCI标准数据集的数值实验表明,在分类数据类别较多、特征维数较高时,经过ICNGA特征选择之后的多超球支持向量机的识别准确度更好,非常适合解决类别数多、特征维数高的分类问题.%According to multi-classify problem, the multi-classes classifier constructed by binary classes classifier are usually very slow to be trained. When a large number of categories of data are to be classified, the training work could be very difficult. Hyper-sphere support vector machine (HSSVM) can be extended to solve this multi-classification problem. Each category data trains only one HSSVM, the sample space is divided by multiple optimal hyper-spheres. In order to improve the performance of classifier, this paper used improved crowding niche genetic algorithm (ICNGA) to select features, chose optimal feature subset for different target classes. Using UCI data set of numerical experiment shows that