差分进化算法及应用研究

湖南大学

硕士学位论文

差分进化算法及应用研究

姓名：吴亮红

申请学位级别：硕士

专业：控制理论与控制工程指导教师：王耀南

20070310

硕士学位论文

摘要

论文首先介绍了智能优化算法的产生对现代优化技术的重要影响，阐述了智能优化算法的研究和发展对现代优化技术和工程实践应用的必要性，归纳总结了智能优化算法的主要特点，简要介绍了智能优化算法的主要研究内容及应用领域。

对差分进化算法的原理进行了详细的介绍，给出了差分进化算法的伪代码。针对混合整数非线性规划问题的特点，在差分进化算法的变异操作中加入取整运算，提出了一种适合于求解各种混合整数非线性规划问题的改进差分进化算法。同时，采用时变交叉概率因子的方法以提高算法的全局搜索能力和收敛速率。用四个典型测试函数进行了实验研究，实验结果表明，改进的差分进化算法用于求解混合整数非线性规划问题时收敛速度快，精度高，鲁棒性强。

采用非固定多段映射罚函数法处理问题的约束条件，提出了一种用改进差分进化算法求解非线性约束优化问题的新方法。结合差分进化算法两种不同变异方式的特点，引入模拟退火策略，使算法在搜索的初始阶段有较强的全局搜索能力，而在后阶段有较强的局部搜索能力，以提高算法的全局收敛性和收敛速率。用几个典型Benchmarks函数进行了测试，实验结果表明，该方法全局搜索能力强，鲁棒性好，精度高，收敛速度快，是一种求解非线性约束优化问题的有效方法。

为保持所求得的多目标优化问题Pareto最优解的多样性，提出了一种精英保留和根据目标函数值进行排序的多目标优化差分进化算法。对排序策略中目标函数的选择方式进行了分析和比较，并提出了一种确定进化过程中求得的精英解是否进入Pareto最优解集的阈值确定方法。用多个经典测试函数进行了实验分析，并与NSGA-Ⅱ算法进行了比较。实验结果表明，本文方法收敛到问题的Pareto前沿效果良好，获得解的散布范围广，能有效保持所求得的Pareto最优解的多样性。

提出了一种新的基于群体适应度方差自适应二次变异的差分进化算法。该算法在运行过程中根据群体适应度方差的大小，增加一种新的变异算子对最优个体和部分其它个体同时进行变异操作，以提高种群多样性，增强差分进化算法跳出局部最优解的能力。对几种典型Benchmarks函数进行了测试，实验结果表明，该方法能有效避免早熟收敛，显著提高算法的全局搜索能力。提出了将该改进算法用来整定不完全微分PID控制器最优或近似最优参数的新方法。为克服频域中常用的积分性能指标如IAE，ISE和ITSE的不足，提出了一种新的时域性能指标对控制器性能进行测试和评价。用三个典型的控制系统对提出的ASMDE-PID控制器进行了测试。实验结果表明，该方法实现容易，收敛性能稳定，计算效率高。与ZN，GA和ASA方法相比，DE在提高系统单位阶跃响应性能方面效率更高，鲁棒性更强。

为了提高差分进化算法的全局搜索能力和收敛速率，提出了一种双群体伪并行差分

差分进化算法及应用研究

进化算法。该算法结合差分进化算法DE/best/2/bin变异方式局部搜索能力强，收敛速度快，和DE/rand/1/bin变异方式全局搜索能力强，鲁棒性好的特点，采用串行算法结构实现并行差分进化算法独立进化、信息交换的思想。为使初始化个体均匀分布在搜索空间，提高算法收敛到全局最优解的鲁棒性，提出了一种基于平均熵的初始化策略。典型Benchmarks函数测试和非线性系统模型参数估计结果表明，该方法能显著提高算法的收敛速率和全局搜索能力。

基本差分进化算法的控制参数在进化过程中是保持不变的，对于不同的优化问题要确定合适的控制参数是件不容易的事。根据生成差分矢量的两个不同个体矢量在搜索空间中的相对位置，对缩放因子F提出了一种自适应策略；根据目标个体矢量的收敛情况，提出了一种自适应交叉概率CR策略，使适应度好的目标个体矢量的CR小而适应度差的目标个体矢量的CR大。同时，为提高算法的收敛速率，对基本差分进化算法的变异操作进行了改进，提出了一种新的变异操作。典型的Benchmarks函数测试及三关节平面冗余机械手的轨迹规划实验表明，本文提出的方法能显著提高算法的鲁棒性和收敛速率。

关键词：差分进化算法；混合整数非线性规划；非线性约束优化；多目标优化；不完全微分PID；参数估计；冗余机械手

硕士学位论文

Abstract

This paper firstly introduced the important impact of intelligent optimization algorithms for modern optimization technique. And then, the necessary of the research and development of intelligent optimization technique for modern optimization technique and real engineer application is expatiated. Lastly, the characteristics of intelligent optimization algorithms are induced, and the application areaes of intelligent optimization algorithms are introduced briefly.

The differential evolution algorithm (DE) is introduced in detail, and the pseudocode of DE is given. Aiming to the characteristics of mixed-integer nonlinear programming (MINP), a rounding operation was added to the mutation operator, and a modified differential evolution (MDE) algorithm fitted to the MINP is proposed. At the same time, the method of time-varying crossover probability factor was adopted to improve the global searching ability and convergence speed of MDE. The experiments researching were done by four classic testing functions. The experiment results show that the MDE has fast convergence speed, high precision and good robustness for solving MINP.

Using non-stationary multi-stage assignment penalty function to deal with the constrained conditions, a modified differential evolution (MDE) for nonlinear constrained optimization is proposed. In order to improve global convergence and convergence speed of the algorithm, two different mutation scheme of DE were combined, and simulation anneal tactics was adapted, which ensure the algorithm has good global exploring ability at the beginning stage and good local exploring ability at the last stage. Several classic Benchmarks functions were tested, the experiment results show that the MDE has powerful global exploring ability, good robustness, high precision, and fast convergence speed. So it is an effective way for nonlinear constrained optimization problems.

In order to preserve the diversity of Pareto optimality of multi-objective optimization problems (MOP), a differential evolution algorithm for MOP adopting elitist archive and sorting tactic based on objective function value is presented. The selection methods to the objective function in the sorting tactic were analyzed and compared. And the same time, a threshold determining way was proposed to decide whether a elitist solve found in the evolutionary process added to the Pareto set or not. The experiments were done using several classic test functions, and the comparisons were done with NSGA-Ⅱ. The experiment results show that, the proposed approach can convergence to the Pareto front and preserve the diversity of Pareto optimality efficiently, the obtained optimality has wider bound.

差分进化算法及应用研究

A new adaptive second mutation differential evolution algorithm (ASMDE) based on the variance of the population’s fitness is presented. In order to improve the population’s diversity and the ability of breaking away from the local optimum, according to the value of the variance of the population’s fitness during the running time, a new mutation operator is adapted to mutate both the best individual and partial other individuals. Several classic Benchmarks functions are tested, the results show that the new algorithm can avoid the premature convergence and improve the global convergence ability greatly. The proposed ASMDE was applied to optimize parameters of PID controller with incomplete derivation. To overcome the disadvantages of the integral performance criteria in the frequency domain such as IAE, ISE, and ITSE, a new performance criterion in the time domain was proposed. Three typical control systems were chosen to test and evaluate the adaptation and robustness of the proposed DE-PID controller. The simulation results show that the proposed approach had superior features, including easy implementation, stable convergence characteristic and good computational efficiency. Compared with the ZN, GA, and ASA, the proposed design method was indeed more efficient and robust in improving the step response of a control system.

To improve the global searching ability and convergence speed of DE, a pseudo parallel differential evolution algorithm with dual subpopulations (DSPPDE) is proposed. Combining with the properties of good local searching ability and fast convergence speed of DE/best/2/bin mutation scheme and the properties of good global searching ability and robustness of DE/rand/1/bin mutation scheme, the algorithm applied the ideal of isolated evolution and information exchanging in parallel DE algorithm by serial program structure. To diversify the initial individuals in the search space and improve the robustness of convergence to the global optimum, an initialization tactic based on the mean entropy is proposed. The tests of several classic Benchmarks function and the parameters estimation result of a nonlinear system model show that the proposed algorithm can improve the convergence speed and the global searching ability greatly.

Control parameters of original DE are kept fixed throughout the entire evolutionary process. However, it is not an easy task to properly set control parameters in DE for different optimization problems. According to relative position of the two different individual vectors selected to generate a difference vector in the searching place, a self-adapting strategy for the amplification factor F of the difference vector is proposed. In term of the convergence status of target vector, a self-adapting crossover probability constant CR strategy is proposed. Therefore, good target vectors have lower CR while worse target vectors have large CR. And the same time, the mutation operation was modified to improve the convergence speed. The performance of these proposed approaches are studied with the use of some benchmark

硕士学位论文

problems and applied to trajectory planning of a three-joint redundant manipulator. The experiment results show that the proposed approaches can improve robustness and convergence speed greatly.

Keywords: Differential evolution; Mixed-integer nonlinear programming; Nonlinear constrained optimization; Multi-objective optimization; PID controller with

incomplete derivation; Parameter estimation; Redundant manipulator

湖南大学

学位论文原创性声明

本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。

作者签名：日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本学位论文属于

1、保密□，在年解密后适用本授权书。

2、不保密□√。

（请在以上相应方框内打“√”）

作者签名：日期：年月日

导师签名：日期：年月日

硕士学位论文

第1章绪论

本章介绍了智能优化算法的产生对现代优化技术的重要影响，阐述了智能优化算法的研究和发展对现代优化技术和工程实践应用的必要性，归纳总结了智能优化算法的主要特点，简要介绍了智能优化算法的主要研究内容及应用领域，对差分进化算法进行了简要的概述，最后介绍了本文的主要研究内容。

1.1 引言

如今，科学技术正处于多学科相互交叉和渗透的时代。特别是计算机科学与技术的迅速发展，从根本上改变了人类的生产与生活。同时，随着人类生存空间的扩大以及认识与改造世界范围的拓宽，人们对科学技术提出了新的和更高的要求，其中对高效的优化技术和智能计算的要求日益迫切。

优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。作为一个重要的科学分支，它一直受到人们的广泛重视，并在诸多工程领域得到迅速推广和应用，如系统控制、人工智能、模式识别、生产调度、VLSI技术和计算机工程等。鉴于实际工程问题的复杂性、约束性、非线性、多极值、建模困难等特点，寻求一种适合于大规模并行且具有智能特征的算法已成为有关学科的一个重要研究目标和引人注目的研究方向[1]。

20世纪80年代以来，一些新颖的优化算法，如模拟退火算法、遗传算法、进化策略、进化规划、遗传程序设计、微粒群优化算法、蚁群算法、差分进化算法、人工免疫系统、DNA计算等，通过模拟或揭示某些自然现象或过程而得到发展，其思想和内容涉及数学、物理学、生物进化、人工智能、神经学科和统计力学等方面，为解决复杂问题提供了新的思路和手段。这些算法独特的优点和机制，引起了国内外学者的广泛重视并掀起了该领域的研究热潮，且在诸多领域得到了成功应用。在优化领域，由于这些算法构造的直观性与自然机理，因而通常称作智能优化算法（Intelligent Optimization Algorithms），或称现代启发式算法（Meta-heuristic Algorithm）。

1.2 优化算法及其分类

所谓优化算法，其实就是一种搜索过程或规则，它是基于某种思想和机制，通过一定的途径或规则来得到满足用户要求的问题的解。

就优化机制与行为而分，目前工程中常用的优化算法主要可分为：经典算法、构造型算法、改进型算法、基于系统动态演化的算法和混合型算法等[1]。

（1）经典算法。包括线性规划、动态规划、整数规划和分枝定界等经典最优化中的

差分进化算法及应用研究

传统算法，其算法计算复杂性一般很大，而且对函数要求连续、可导等，只适合求解小规模问题，在工程中往往不实用。

（2）构造型算法。用构造的方法快速建立问题的解，通常算法的优化质量差、难以满足工程需要。譬如，调度问题中的典型构造型方法有：Johnson法、Palmer法、Gupta 法、CDS法、Daunenbring的快速接近法等。

（3）改进型算法，或称邻域搜索算法。从任一解出发，对其领域的不断搜索和当前解的替换来实现优化。根据搜索行为，它又可分为局部搜索和指导性搜索法。

·局部搜索法。以局部优化策略在当前解的邻域中贪婪搜索，如只接受优于当前解的状态作为下一当前解的爬山法；接受当前解邻域中的最好解作为下一当前解的最陡下降法等。

·指导性搜索法。利用一些指导规则来指导整个解空间中优良解的探索，如遗传算法、进化策略、进化规划、微粒群优化算法、蚁群优化算法、差分进化算法等。

（4）基于系统动态演化的方法。将优化过程转化为系统动态的演化过程，基于系统动态的演化来实现优化，如神经网络和混沌搜索等。

（5）混合型算法。指上述各算法从结构或操作上相混合而产生的各类算法。

优化算法当然还可以从别的角度进行分类，如确定性算法和不确定性算法，局部优化算法和全局优化算法等。

1.3 智能优化算法的特点

智能优化算法与传统法相比，具有很多不同之处[2]。

1. 智能性

智能优化算法的智能性包括自组织、自适应和自学习性等。应用智能优化算法求解问题时，在确定了编码方案、适应值函数及遗传算子之后，算法将利用进化过程中获得的信息自行组织搜索。由于基于自然的选择策略为适者生存、不适应者淘汰，适应值优的个体具有较高的生存概率。通常适应值优的个体具有与环境更适应的基因结构，再通过杂交和基因突变等遗传操作就可能产生与环境更适应的后代。智能优化算法的这种自组织、自适应特征同时也赋予了它具有能根据环境的变化自动发现环境的特性和规律的能力。

2. 本质并行性

进化算法的本质并行性表现在两个方面。一方面，进化算法是内在并行的，即进化算法本身非常适合于大规模并行计算。最简单的并行方式是让几百甚至数千台计算机各自进行独立种群的进化计算，运行过程中甚至不进行任何通信（独立种群之间若有少量的通信一般会带来更好的结果），等到运算结束时才通信比较，选取最佳个体。这种并行处理方式对并行系统结构也没有什么限制和要求。另一方面，进化算法的内含并行性。进化算法采用种群的方式组织搜索，因而它可以同时搜索解空间的多个区域，并相互交

硕士学位论文

流信息。这种搜索方式使得它虽然每次只执行与种群规模N成比例的计算，而实质上已进行了大约O(N2)次有效搜索，能以较少的计算获得较大的收益。

3. 其他特征

除了其自组织、自适应性和本质并行性以外，智能优化算法的基本特征还表现在以下几个方面。

（1） 过程性。智能优化算法通过自然选择和遗传操作等自组织行为来增强群体的适应性。算法模拟的是一个过程，算法的实施也是一个过程。在这个过程中，算法本身无法判定个体处在解空间的位置，因此需要人为干预（即事先确定终止准则）才能终止。

（2） 多解性。智能优化算法的另一基本特征是采用群体的方式组织搜索。它从多个点出发，通过这些点内部结构的调整和重组来形成新的点。因而，每次都将提供多个近似解，对多目标搜索或有需要多个近似解作为参照的情况下是非常有用的。

（3） 不确定性。智能优化算法的不确定性是伴随其随机性而来的。一般而言，大多数智能优化算法的主要步骤都含有随机因素，从而在算法的进化过程中，事件发生与否带有很大的不确定性。

（4） 内在学习性。学习是进化过程自身所具有的不可与其分割的行为方式。与自然进化过程类似，它也有三种不同的学习方式，且这些学习方式又内在地体现在进化计算的整个过程中：①宗亲学习（Phylogenetic Learning），这种学习是发生在整个进化过程中，祖先的良好特征通过遗传传递给后代，后代通过家族成员“血缘”继承方式学习其先辈的自适应行为；②社团学习（Sociogenetic Learning），这种学习是一些经验和知识在某个社团内的共享，体现在进化计算中即是独立群体内部知识或结构的共享；③个体学习（Ontogenetic Learning），这种学习是自然界中发生的最为频繁的一种行为，生物体为了生存就必须进行学习，通过不断实践来积累知识和经验，以增强自己的适应性，进化计算的个体学习方式是通过改变个体的基因结构来提高自己的适应度。

（5） 统计性。智能优化算法的种群方式决定它是一个统计过程。在每一进化代，都要进行统计，以确定个体的优劣并推动进化的进行。

（6） 稳健性。由于智能优化算法利用个体的适应值推动群体的进化，而不管求解问题本身的结构特征，因而用进化计算求解不同问题时，只需要设计相应的适应性评价函数，而无需修改算法的其他部分。同时，因为智能优化算法具有自然系统的自适应特性，算法在效率和效益之间的权衡使得它能适应于不同的环境并取得较好的效果。

（7） 整体优化。传统的优化方法一般采用的是梯度下降的爬山策略，从而使得对多峰函数的情形往往容易陷入局部最优。而智能优化算法能同时在解空间的多个区域内进行搜索，并且能以较大的概率跳出局部最优，以找到整体最优解。

1.4 智能优化算法的应用

智能优化算法不依赖于问题具体的领域，对问题的种类有很强的鲁棒性，是求解复

差分进化算法及应用研究

杂系统优化问题的有效方法，所以广泛应用于许多学科。目前，智能优化算法在生物技术和生物学、化学和化学工程、计算机辅助设计，物理学和数据分析，动态处理、建模与模拟、医学与医学工程、微电子学、模式识别、人工智能、生产调度、机器学习、采矿工程、电信学、售货服务系统等领域都得到了应用，成为求解全局优化问题的有力工具之一[2]。

1. 函数优化

函数优化（Function Optimization）是智能优化算法的经典应用领域，也是对智能优化算法性能评价的常用算例。可以用各种各样的函数来验证智能优化算法的性能。对一些非线性、多模型、多目标的函数优化问题，使用智能优化算法可得到较好的结果。

2. 组合优化

随着问题规模的增大，组合优化问题的搜索空间也急剧扩大，有时在目前的计算机上用枚举法很难甚至不能求出问题的最优解，对这类问题，人们已意识到应把主要精力放在寻求其满意解上，而智能优化算法就是寻求这种满意解的最佳工具之一。实践证明，智能优化算法对于组合优化中的NP完全问题非常有效。

3. 生产调度问题

采用智能优化算法能够解决复杂的生产调度问题。在单件生产车间调度、流水线生产车间调度、生产规划、任务分配等方面，智能优化算法都得到了有效的应用。

4. 自动控制

在自动控制领域中有很多与优化相关的问题需要求解，智能优化算法已在其中得到了初步应用，并显示出了良好的效果。例如，基于智能优化算法的模糊控制器优化设计，用智能优化算法进行航空控制系统的优化，使用智能优化算法设计空间交会控制器等。

5. 机器人学

机器人是一类复杂的难以精确建模的人工系统，而智能优化算法起源来自对于人工自适应系统的研究，所以机器人学理所当然地成为智能优化算法的一个重要领域。例如，智能优化算法已经在移动机器人路径规划、机器人逆运动学求解等方面得到了很好的应用。

6. 图像处理

图像处理是计算机视觉中的一个重要领域，在图像处理过程中，如扫描、特征提取、图像分割等不可避免地会存在一些误差，这些误差会影响图像处理的效果。如何使这些误差最小是使计算机视觉达到实用化的重要要求，智能优化算法在这些图像处理的优化计算方面找到了用武之地。

7. 机器学习

基于智能优化算法的机器学习，特别是分类器系统，在很多领域中都得到了应用。例如，智能优化算法被用于模糊控制规则，利用智能优化算法来学习隶属函数等。基于智能优化算法的机器学习可用于调整人工神经网络的连接权，也可用于神经网络结构的

硕士学位论文

优化设计。分类器系统在多机器人路径规划系统中得到了成功的应用。

8. 数据挖掘

数据挖掘（Data Mining）是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式，它是数据库研究中的一个很有应用价值的新领域，由于智能优化算法的特点，智能优化算法可用于数据挖掘中的规则开采。

9. 信息战

智能优化算法在信息战领域得到了初步应用。使用智能优化算法能够进行雷达目标识别、数据挖掘、作战仿真、雷达辐射源识别、雷达天线优化设计、雷达目标跟踪、盲信号处理、空间谱估计、天线设计、网络入侵检测、情报分析中的数据挖掘和数据融合、信息战系统仿真作战效能评估、作战辅助决策等。

表1.1 智能优化算法的主要应用领域

应用领域例子

自动控制瓦斯管道控制，防避导弹控制、机器人控制

规划生产规划，并行机任务分配

设计 VLSI布局，通信网络设计，喷气发动机设计

组合优化 TSP问题，背包问题，图划分问题

信号处理滤波器设计，目标识别，运动目标分割

图像处理模式识别，特征提取，图像恢复

机器人路径规划

人工生命生命的遗传进化

1.5 本论文的主要研究内容

1.5.1 差分进化算法概述

差分进化（Differential Evolution, DE）算法是由Rainer Storn和Kenneth Price为求解切比雪夫多项式而于1996年共同提出的一种采用浮点矢量编码在连续空间中进行随机搜索的优化算法[3,4,5]。DE的原理简单，受控参数少，实施随机、并行、直接的全局搜索，易于理解和实现。在日本召开的第一届国际进化优化计算竞赛（International Competition on Evolutionary Optimization, ICEO）中[6]，DE表现突出，取得了第三名，头两名让位于非进化类算法，但其非进化类算法只在求解某一类问题时优于差分进化算法，没有普遍的适应性。J. Vestertron等人将DE与微粒群优化算法（Particle Swarm Optimization, PSO）和其它进化算法用34个广泛应用的Benchmark Problems进行了深入的比较研究，实验结果表明，DE的性能优于PSO和其它进化算法。DE已成为一种求解非线性、不可微、多极值和高维的复杂函数的一种有效和鲁棒的方法。目前，差分进经算法已引起了人们的广泛关注，在国外的各研究领域得到了广泛的应用，已成为进化

差分进化算法及应用研究

算法（EA）的一个重要分支。但目前，DE在国内的研究和应用较少。

近年来，DE在约束优化计算，模糊控制器优化设计，神经网络优化，滤波器设计等方面得到了广泛的应用。Yung-Chien Lin[14]等对DE的变异操作进行了改进，提出了一种对于整数变量直接在整数空间进行优化计算的改进差分进化算法，并将这种方法结合乘子更新法应用于工厂调度与规划，取得了满意的效果。Jouni Lampinen[20]等对约束的处理方法进行了分析，提出了一种新的简单的约束处理方法并结合DE算法进行了大量的数值分析实验。B. V. Babu[21]等对DE进行了加速收敛速度改进，并将该改进的DE 应用于非线性化学过程的优化问题中。刘建等提出了一种参数动态调整的DE算法，并利用改进的DE求解带平衡约束的圆形Packing问题。K. E. Parsopoulos等[33]提出了一种用于求解多目标优化问题的矢量评估差分进化算法。H. A. Abbass等[30][31]提出了求解多目标优化问题的Pareto前沿差分进化算法，并对DE算法的控制参数差分矢量缩放因子F进行了改进，采用[0, 1]之间服从高斯分布的随机数。B. V. Babu等[32]结合罚函数法和权值系数法，提出了一种求解多目标优化问题的差分进化算法。同时，B. V. Babu还基于Pareto理论用DE算法用于多目标优化问题的求解，并应用于隔热苯乙烯反应器的优化中。K. Nateri[34]等提出了一种基于Pareto理念的多目标DE算法，对多个经典测试函数进行了实验研究，取得了良好的结果。G.K Guak[51]等将DE设计PID控制器，用于非最小相位系统的控制。Sawsen Moalla[65]等用DE设计Beta Neural系统。F. Cheong和R. Lai[66]用DE设计了一分等级的模糊逻辑控制器。Rainer Storn将DE用于IIR滤波器的优化设计。Sandra Paterlini[68]用DE实现高性能的聚类分析。Serkan Aydin[69]等将DE与神经网络相结合，用于机器人的时间最优轨迹跟踪。R.K. Ursem[70]等将DE用于感应电机参数估计。此外，DE还在线性系统的优化、多传感器信息融合、系统建模，集成电路设计等问题中得到了应用。

DE是根据父代个体间的差分矢量进行变异、交叉和选择操作，与其它进化算法（如遗传算法）一样容易限入局部最优，存在早熟收敛现象。目前的解决方法主要是增加种群的规模，但这样会增加算法的运算量，也不能从根本上克服早熟收敛的问题。为提高DE的性能，很多学者提出了改进的方法。Ji-Pyng Chiou[35]等在算法中加入迁移算子和加速算子以提高算法的种群多样性和收敛速率。Junhong Liu[36]等针对差分矢量的缩放因子F和交叉概率CR两参数对算法的影响，提出了一种模糊自适应差分进化算法。谢晓峰[37]等将缩放因子F由固定数值设计为随机函数，减少了需调整的参数，实现了一个简化的DE版本。Wen-Jun Zhang等将PSO与DE算法结合，以提高算法的全局搜索能力。Xiaoyan Xu等在DE算法中加入Powell方向集，以提高算法的鲁棒性。范瑜等结合差分进化的基本思想和遗传算法的基因交叉和变异方法构建了一种新混合优化方法，提高了算法的收敛速度和可靠性。方强等提出了基于优进策略的差分进化算法，使得算法的全局搜索能力明显提高。这些改进方法，在一定程度上提高了DE的性能，但有的改进策略实现困难，并没有对DE的特点和参数进行分析，因而进一步对差分进化算法进行分

硕士学位论文

析和改进，提高全局搜索能力，加快收敛速度，提高算法的鲁棒性，使之适合于各种实际工程优化问题，仍是值得进一步研究的内容。

1.5.2 本论文的主要研究内容及结构安排

本论文主要针对差分进化算法的特点，对差分进化算法的控制参数及性能进行了深入的研究与分析，为提高差分进化算法的全局收敛能力和收敛速率，提出了一些改进措施，并将改进的差分进化算法应用于非线性约束优化、混合整数规划、不完全微分PID 控制器的设计、非线性系统参数估计、多目标优化、机械手轨迹优化等实际问题中。

全文共分七章，其主要成果和创新点分布在二、三、四、五、六和七章，论文的结构内容安排如下。

第1章为绪论，本章介绍了智能优化算法的产生对现代优化技术的重要影响，阐述了智能优化算法的研究和发展对现代优化技术和工程实践应用的必要性，归纳总结了智能优化算法的主要特点，简要介绍了智能优化算法的主要研究内容及应用领域，对差分进化算法进行了简要的概述，最后介绍了本文的主要研究内容。

第2章详细说明了差分进化算法的基本原理，给出了差分进化算法的伪代码，对差分进化算法的变种进行了介绍。由于差分进化算法是在连续空间进行寻优，不能直接应用于整数或混合整数规划问题。本章将差分进化算法进行改进，使之适合于混合整数非线性规划问题的求解。对典型的混合整数非线性规划问题进行了仿真研究，实验结果表明，改进的差分进化算法可应用于整数和混合整数非线性规划问题中。

第3章采用非固定多段映射罚函数法处理问题的约束条件，提出了一种用改进差分进化算法求解非线性约束优化问题的新方法。结合差分进化算法两种不同变异方式的特点，引入模拟退火策略，使算法在搜索的初始阶段有较强的全局搜索能力，而在后阶段有较强的局部搜索能力，以提高算法的全局收敛性和收敛速率。用几个典型Benchmarks 函数进行了测试，实验结果表明，该方法全局搜索能力强，鲁棒性好，精度高，收敛速度快，是一种求解非线性约束优化问题的有效方法。

第4章将差分进化算法应用于求解多目标优化问题。为保持所求得的多目标优化问题Pareto最优解的多样性，提出了一种精英保留和根据目标函数值进行排序的多目标优化差分进化算法。对排序策略中目标函数的选择方式进行了分析和比较，并提出了一种确定进化过程中求得的精英解是否进入Pareto最优解集的阈值确定方法。用多个经典测试函数进行了实验分析，并与NSGA-Ⅱ算法进行了比较。实验结果表明，该方法收敛到问题的Pareto前沿效果良好，获得解的散布范围广，能有效保持所求得的Pareto最优解的多样性。

第5章提出了一种新的基于群体适应度方差自适应二次变异的差分进化算法。该算法在运行过程中根据群体适应度方差的大小，增加一种新的变异算子对最优个体和部分其它个体同时进行变异操作，以提高种群多样性，增强差分进化算法跳出局部最优解的能力。对几种典型Benchmarks函数进行了测试，实验结果表明，该方法能有效避免早

差分进化算法及应用研究

熟收敛，显著提高算法的全局搜索能力。最后将该算法应用于最优不完全微分PID控制器的设计，对多个典型的控制系统进行了仿真研究，实验结果表明，差分进化算法实现容易，收敛性能稳定，计算效率高，与ZN，GA和ASA方法相比，DE在提高系统单位阶跃响应性能方面效率更高，鲁棒性更强。

第6章提出了一种双群体伪并行差分进化算法。该算法结合差分进化算法DE/best/2/bin变异方式局部搜索能力强，收敛速度快，和DE/rand/1/bin变异方式全局搜索能力强，鲁棒性好的特点，采用串行算法结构实现并行差分进化算法独立进化、信息交换的思想。为使初始化个体均匀分布在搜索空间，提高算法收敛到全局最优解的鲁棒性，提出了一种基于平均熵的初始化策略。典型Benchmarks函数测试和非线性系统模型参数估计结果表明，该方法能显著提高算法的收敛速率和全局搜索能力。

第7章提出了一种参数自适应的改进差分进化算法。基本差分进化算法的控制参数在进化过程中是保持不变的，对于不同的优化问题要确定合适的控制参数是件不容易的事。本章根据生成差分矢量的两个不同个体矢量在搜索空间中的相对位置，对缩放因子F提出了一种自适应策略；根据目标个体矢量的收敛情况，提出了一种自适应交叉概率CR策略，使适应度好的目标个体矢量的CR小而适应度差的目标个体矢量的CR大。同时，为提高算法的收敛速率，对基本差分进化算法的变异操作进行了改进，提出了一种新的变异操作。典型的Benchmarks函数测试及三关节平面冗余机械手的轨迹规划实验表明，本文提出的方法能显著提高算法的鲁棒性和收敛速率。

硕士学位论文

第2章 差分进化算法及其在求解

混合整数非线性规划问题中的应用

对差分进化算法的原理进行了详细的介绍，给出了差分进化算法的伪代码。针对混合整数非线性规划问题的特点，在差分进化算法的变异操作中加入取整运算，提出了一种适合于求解各种混合整数非线性规划问题的改进差分进化算法。同时，采用时变交叉概率因子的方法以提高算法的全局搜索能力和收敛速率。用四个典型测试函数进行了实验研究，实验结果表明，改进的差分进化算法用于求解混合整数非线性规划问题时收敛速度快，精度高，鲁棒性强。

2.1 差分进化算法原理

差分进化算法（Differential Evolution, DE ）由NP （种群规模）个D （决策变量个数）维参数矢量ij x （i =1,2,…,NP ;j =1,2,…,D ）在搜索空间进行并行直接的搜索。DE 的基本操作包括变异（Mutation ）、交叉（Crossover ）和选择（Selection ）三种操作。随机选择两个不同的个体矢量相减生成差分矢量，将差分矢量赋予权值之后加到第三个随机选择的个体矢量上，生成变异矢量，该操作称为变异。变异矢量与目标矢量进行参数混合，生成试验矢量，这一过程称之为交叉。如果试验矢量的适应度优于目标矢量的适应度，则用试验矢量取代目标矢量而形成下一代，该操作称为选择。在每一代的进化过程中，每一个体矢量作为目标矢量一次。初始种群是在搜索空间随机生成的，且要求初始种群覆盖整个搜索空间。初始群体一般采用均匀分布的随机函数来产生。详细的差分进化算法的基本策略描述如下[3][4][5]。

2.1.1 变异操作

DE 最基本的变异成分是父代的差分矢量，每个矢量对包括父代（第t 代）群体中两个不同的个体（t r x 1,t r x 2）。差分矢量定义为

t r t r r x x D 212,1?=. （2.1）

式中r 1和r 2表示种群中两个不同的个体的索引号。

将差分矢量加到另一个随机选择的个体矢量上，就生成了变异矢量。对每一目标矢量t i x ，变异操作为

)(2131t r t r t r t i x x F x v ??+=+. （2.2）

r 1, r 2, r 3∈{1,2,…,NP }，为互不相同的整数，且r 1, r 2, r 3与当前目标矢量索引i 不同，因此种群规模NP ≥4。F 为缩放因子，文献[3]给出的取值范围为[0,2]，以控制差分矢量缩放。图2.1为一2维函数优化过程中变异矢量生成过程示意图。图中曲线表示函数的等高线，╳表示种群中的个体矢量，○表示生成的变异矢量。

差分进化算法及应用研究

x

2.1.2 交叉操作

对于群体中目标矢量个体t i x ，将与变异矢量1+t i v 进行交叉操作，产生试验个体1+t i u 。为保证个体t i x 的进化，首先通过随机选择，使得1+t i u 至少有一位由1+t i v 贡献，而对于其它位，可利用一个交叉概率因子CR ，决定1+t i u 中哪位由1+t i v 贡献，哪位由t i x 贡献。交叉操作的方程为

?????≠>=≤=++)()(,)()(,11

i randn j and CR j rand x i randn j or CR j rand v u t ij t ij t ij （2.3）

式（2.3）中]1,0[)(∈j rand 为均匀分布的随机数，j 表示第j 个变量（基因），CR 为交叉概率常数，文献[3]给出的取值范围为[0,1]，大小预先确定。],...,2,1[)(D i randn ∈，为随机选择的维数变量索引，以保证试验矢量至少有一维变量由变异矢量贡献，否则试验矢量有可能与目标矢量相同而不能生成新个体。由式（2.3）可知，如果CR 越大，则1+t i v 对1+t i u 的贡献越多，当CR =1时，1+t i u =1+t i v ，有利于局部搜索和加速收敛速率；如果CR 越小，则t i x 对1+t i u 的贡献越多，当CR=0时，1+t i u =t i x ，有利于保持种群的多样性和全局搜索。由此可见，在保持种群多样性与收敛速率之间是矛盾的。图2.2为一7维变量的交叉过程示意图。

2.1.3 选择操作

DE 采用“贪婪”的搜索策略，经过变异与交叉操作后生成的试验个体1+t i u 与t i x 进行竞争，只有当1+t i u 的适应度较t i x 更优时才被选作子代，否则，直接将t i x 作为子代。以最小化优化为例，选择操作的方程为

图2.1 2维函数优化时变异矢量生成过程示意图

硕士学位论文

?????≥<=++++)()(,)()(,1111

t i t i t i t i t i t i t i x f u f x x f u f u x （2.4）

j=1

2

3

4

5

6

7

j=1234567

j=1234567t

x 1+t u 1+t v CR rand ≤)4(CR rand ≤)6(Target vector Mutated vector

Trial vector 2.1.4 差分进化算法的工作过程示意图

图2.3是差分进化算法的工作过程示意图，描述了当前种群经过变异、交叉和选择操作生成下一代种群（新种群）的过程。

1) Choose target vector and base vector

2) Random choice of two population members

}}}Population Mutant population New population t X P ,t

V P ,1,+t X P t NP X ,1?)

(,1t NP X f ?

图2.2 7维变量的交叉过程示意图

图2.3 差分进化算法的工作过程示意图

差分进化算法及应用研究

2.1.5 差分进化算法的C语言描述

/*------------------------------------------Main loop-------------------------------------------*/ while (count < gen_max) /*----------Halt after gen_max generations.--------*/ {

for (i=0; i

do c=rnd_uni ()*NP; while (c= =i | | c= =a | | c= =b); /*--------from i.-------*/

j=rnd_uni ()*D /* -----------Randomly pick the first parameter.-----*/

for (k=1; k<=D; k+ +) /* -----------Load D parameters into triall [].--------*/

{ if (rnd_uni () < CR | | k= =D) /* ------Source for binomial trials.------*/ { /*---------- a random vector plus weighted differential-*/

x1[c][j]+F*(x1[a][j] – x1[b][j]); /* ------------or------*/

=

trial

[j]

} /*---------trial parameter come from target vector-------*/

else trial [j] = x1[i][j]; /*------------ x1[i][j] itself.------------------*/

j=(j+1) % D; /* -----------get next parameter, modulo D,--------*/ } /*-------- Last parameter (k=D) comes from noisy random vector.-----*/ /*---------------------------Evaluate /select-------------------------*/ score = evaluate (trial); /*--------- Evaluate trial with your function.---------*/

if (score <= cost[i]) /*------------ if trial [] improves on x1[i][],----------*/

{ /*----------- move trial [] to secondary array --------*/ for (j=0; j

cost [i]=score; /*--------- and store improved cost -----------*/ }

else for (j=0; j

} /* -----------Mutated/recombine next primary array vector.--------- */ /*-----------------End of population loop; swap arrays---------------*/ for (i=0; j

{ /* ---------move secondary array into primary array.------- */ for (j=0; j

} /* ------------…or just swap pointers ( not shown ). ----------*/ count + +; /* ------------End of generation increment counter. --------*/ }

/*---------------------------------------End of main loop-----------------------------------*/

硕士学位论文

2.1.6 差分进化算法的变化形式

前面介绍的差分算法原理是差分进化算法的一种基本形式，Rainer Storn 和Kenneth Price 提出了多种差分进化算法的变化形式，为了表示方便，统一采用DE/x/y/z 的形式来描述。

x 表示变异操作中基矢量（被变异的个体矢量）的选择方式，x 可以为“rand ”（表

示从种群中随机选择的一个个体）或“best ”

（表示当前种群中适应值最优的个体）。 y 表示所用差分矢量的数目。

z 表示交叉方式，通常采用伯努力（Binomail ）实验方式来进行交叉操作，用“bin ”表示。

按照上述规定，则前述差分进化算法可表示为DE/rand/1/bin 。Rainer Storn 和Kenneth Price 提出的DE 变化方式如下[3][4]。

)(3211t r t r t r t i x x F x v ?+=+ (2.5)

)(211t r t r t gbest t i x x F x v ?+=+ (2.6)

)]()[(543211t r t r t r t r t r t i x x x x F x v ?+?+=+ (2.7)

)]()[(43211t r t r t r t r t gbest t i x x x x F x v ?+?+=+ (2.8)

)]()[(211t r t r t ri t gbest t i t i x x x x F x v ?+?+=+ (2.9)

各种变化方式有各自的特点，但Rainer Storn 和Kenneth Price 经过大量实验研究表明，DE/rand/1/bin （式2.5）和DE/best/2/bin （式2.8）的性能较其他方式要好，在实际工程设计过程中也应用最多。

2.2 改进差分进化算法在混合整数非线性规划中的应用

2.2.1 引言

混合整数非线性规划问题（MINP ）广泛存在于许多实际工程和管理等领域，如机械、化工、资源管理、生产调度、生物、军事等领域。求解MINP 的传统方法有分支定界法、

广义Benders 分解法（GBD ）

、外近似法等。由于同时含有实数变量和整数离散变量，MINP 被认为是一类NP 完全问题，随着变量维数的增加，计算量会急剧增大，从而使这些算法用于实时控制不可能，存在很大的局限性。近年来，有许多学者将进化算法如遗传算法（GA ）[7]-[10]、模拟退火算法（SA ）[8]、进化规划（EP ）[11]和粒子群优化算法（PSO ）[12,13]等用于求解MINP 问题。这些方法一般都是先在实数域进行优化然后对离散变量取整作为MINP 问题的近似解，存在一定的局限性[12]。

DE 是一种采用浮点矢量编码，在连续空间中进行启发式随机搜索的优化算法。为了将DE 用于MINP 问题，文献[14]对DE 的变异操作进行了改进，提出了一种对于整数变量直接在整数空间进行优化计算的改进差分进化算法。文献[15]将这种方法结合乘子更新法应用于工厂调度与规划，取得了满意的效果。文献[14]提出的混合序列DE 算