各种优化算法求解函数优化问题
各种优化算法求解函数优化问题
1.遗传算法的简单介绍及流程
1.1遗传算法的基本原理
遗传算法 ( Genetic Algorithm ,简称 GA) 是近年来迅速发展起来的一种全新的随机搜索优化算法。与传统搜索算法不同 ,遗传算法从一组随机产生的初始解 (称为群体 )开始搜索。群体中的每个个体是问题的一个解 ,称为染色体。这些染色体在后续迭代中不断进化 , 称为遗传。遗传算法主要通过交叉、变异、选择运算实现。交叉或变异运算生成下一代染色体,称为后
代。染色体的好坏用适应度来衡量。根据适应度的大小从上一代和后代中选择一定数量的个
体 ,作为下一代群体 ,再继续进化 ,这样经过若干代之后 ,算法收敛于最好的染色体 ,它很可能就是问题的最优解或次优解。遗传算法中使用适应度这个概念来度量群体中的各个个体在优化计算中有可能达到最优解的优良程度。度量个体适应度的函数称为适应度函数。适应度函数的定义一般与具体求解问题有关。
1.2遗传算法的流程
第一步：确定决策变量及各种约束条件，即确定出个体的表现型X和问题的解空间；
第二步：确定出目标函数的类型，即求目标函数的最大值还是最小值，以及其数学描述形式或量化方法，建立其优化模型；
第三步：确定表示可行解的染色体编码方法，即确定出个体的基因型X和遗传算法的搜
索空间。
第四步：确定解码方法，即确定出个体的基因型 X和个体的表现型 X的对应关系或转换方法；
第五步：确定个体时候适应度的量化评价方法，即确定出由目标函数 f(X) 值到个体适应度F(X) 的转换规则；
第六步：设计遗传算子，即确定出选择运算、交叉运算、变异运算等遗传算子的具体操作方法；
第七步：确定出遗传算法的运行参数，即确定出遗传算法的M、 T、 Pc、 Pm等参数。1.3 遗传算法求解函数优化问题中的参数分析
目前，函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用范
例。对于函数优化中求解实数型变量的问题，一般采用动态编码和实数编码的方法来提高其搜
索效率，所以是求解各类函数优化问题比较适合的算法。
1.3.1编码方案
在用遗传算法求解函数优化问题时，把解空间中的数据点都映射到遗传中对应的基因型数据，采用二进制编码，在给定函数的变量上下界和编码精度内，求得单个变量的编码长度，然后随机生成一些固定长度为的二进制数作为作为初始种群。
1.3.2适应度函数
先用解码函数将二进制代码转换为解空间中的数据，把数据带入测试函数中，得到种群
中每个个体的适应值，然后以种群中函数值取得最大值的个体的函数值与每个个体的函数值之差，再与最大函数值的 n倍(假设种群粒子数为 n) 和种群中所有个体的函数值之和的比值，得到每个个体的适应度。如果求函数最小值问题，则适应度值越大其函数值越小。
1.3.3选择算子
遗传算法最常用的选择策略就是正比选择策略，即每个个体被选中进行遗传运算的概率为该个体的适应值和群体中所有个体适应值总和的比例。对于个体 i ，其适应度值为 F i，种群
规模为 NP，则该个体的选择概率可以表示为
P i NP F i
i NP
F i
i1
得到选择概率后，采用旋轮法来实现选择操作，令
PP0=0
i
PP i PP j
j1
共转轮 NP 次，每次转轮时，随机产生k U (0,1) ，当PP i 1 k 1.3.4交叉算子 在遗传算法中，最常用的交叉策略就是单点交叉和双切点交叉。在这个算法中，先从种群中随机选择两个要进行交叉的个体，然后随机生成一个数据点，对两个父串中对应位的数值进行交换，得到两个字串。 1.3.5变异算子 变异是在种群中按照变异概率 P m任选若干基因位改变其位值，对于 0-1编码来说，就是反转位值。在这个算法中，先在父串中随机生成一个数，如果这个数对应的位值为0，则将 它变为 1；如果这个数上的位值为 1，则将它变为 0. 1.4遗传算法求解函数优化问题流程 Step 1：初始化选择、交叉、变异概率，设置初始代数和最大迭代次数，随机生成若干个初始个体构成初始种群； Step 2：利用解码函数将初始种群的二进制编码转化为解空间中便于计算的数据，然后用测试函数以及适应度函数求得每个个体的适应度。 Step 3 ：采用轮盘赌选择种群中的个体进行遗传运算； Step 4 ：对种群中的个体进行交叉，变异运算，产生下一代新的种群。 Step 5：如果当前的迭代次数达到设置的最大迭代次数，则算法停止，进行Step 6；若未达到最大迭代次数，则转入 Step 2. Step 6：保存种群中每一代的选择函数值最小个体作为最优个体，并保存其对应的函数值。 1.5 测试函数运行结果及算法参数对结果影响分析 1.5.1各种函数测试结果 (1)Quadric 函数状种群动态变化图 (-100,100) 第1代种群动态变化第50代种群动态变化 第 100代种群动态变化图 第 200代种群动态变化图 2) Tablet 函数测试种群变化图 (-100,100) 第 100代种群动态变化图 3) Rosenbrock 测试函数的种群动态变化图 第200代种群动态变化图 第1代种群动态变化图 第 50代种群动态变化 第1代种群动态变化图 第50代种群动态变化图 第 100 代种群动态变化图 第200代种群动态变化图 名称 最优值 最差值 目标平均值 Tablet 2.2737e-009 0.2951 0.0015 Quadric 3.7719e-005 29.7138 1.7039 (4) Griewank 函数种群动态变化图 第100代种群动态变化图 第200代种群动态变化图 第1代种群动态变化图 第50代种群动态变化图 从上面的实验结果中，我们可以发现遗传算法在求解函数优化问题时，对于大部分测试函数，搜索速度都比较快，能很快收敛到最优解上，获得的最优解也比较好，因此是一种比较有效的优化算法。 2. 粒子群算法求解函数优化问题 2.1粒子群算法介绍 粒子群算法是一种基于迭代的优化方法。进行优化时，粒子在一个 n 维空间中搜索， 每个粒子的位置对应于问题的一个解，粒子通过不断调整自己的位置来搜索新解。每个粒子根据自己的飞行经验和其他粒子的飞行经验来调整自己的飞行。每个粒子在飞行过程所经历的最好位置，就是粒子本身找到的最优解，称为个体极值（ P best）;整个种群所经历过的最好位置，就是整个群体目前找到的最优解，称为全局极值（g best）。每个粒子都通过上述两个极值不断更新自己，从而产生新一代群体。 设粒子的群体规模为 N，粒子当前的位置表示为X i k（x1k,x2k,...,x n k,x N k），k x n k[l n,u n],1 n N,l n 和 Un 分别表示第 n 维空间的上下边界；当前速度表示为 V i k（v1k,..., v n k,..., v k N ）,V i k被钳位在最大值V m k ax （v m k ax,1,...,v m k ax,n,...,v m k ax,N）和最小值k k k k V m k in （v m k in,1,...v m k in,n,...v m k in,N）之间，粒子的速度和位置更新方程如式（ 1）和式（ 2）所示：V i k 1V i k c1r1（P i k X i k） c2r2（P g k X i k）（1） X i k 1X i k V i k 1 （2） 其中，P i k, P g k分别表示粒子第 k 次迭代的个体极值点位置和全局极值点位置。 c1,c2为常数，称为学习因子，用来调节向 Pi 和 Pg 方向飞行的最大步长； r1,r2 是（ 0， 1）上均匀分布的随机数；式（ 1）中第一部分是粒子上一步的速度，表明粒子目前的状态；第二部分是粒子对本身的思考，是认知部分，粒子通过对本身位置的思考来调整自己下一步的速度和位置，这样可以是粒子有足够强的全局搜索能力，避免陷入局部最小；第三部分表示粒子通过与其他粒子之间进行信息交流来更新自己的下一步。 2.2基本粒子群算法流程 （1）在初始化范围内，对粒子群进行随机初始化，包括随机位置和速度。 （2）计算每个粒子的适应值。 （3）对于每个粒子，将其适应值与所经历过的最好位置的适应值进行比较，如果更好则将其作为粒子的个体历史最优值，用当前位置更新个体历史最好位置 （4）对每个粒子，将其历史最优适应值与群体内或邻域内所经历的最好位置的适应值进行比较，若更好，则将其作为当前的全局最好位置。 （5）根据上面公式（ 1）和（ 2）更新粒子的速度和位置。 （6）若未达到终止条件，则进行步骤（2）。 一般将终止条件设定为一个足够好的适应值或达到一个预设的最大迭代次数。 2.3粒子群算法求解函数优化问题的参数分析 2.3.1编码方法在用粒子群求解函数优化问题时，采用实数编码来表示解空间内的粒子的位置，开始时随机初始化 n个二维解空间内的数据点，这些数据点对应了每个粒子的位置。粒子的速度也是随机产生的，与粒子的位置的维数相同。 2.3.2适应度函数这里用测试函数作为目标函数来对算法进行评价，把每个粒子的位置带入测试 函数， 得到每个粒子的适应值，然后分别与粒子的个体极值以及种群中所有粒子的全局极值进行比较，如果比当前的个体极值好，就更新这个个体的个体极值的位置 pbestpop 以及对应的个体极值 pbestfit ，如果比上一代得到的全局极值好，则更新当代的全局极值的位置 gbestpop 以及对应的全局极值 gbestfit 。 2.4标准粒子群算法的几种改进方法惯性权重法：惯性权重 w 是与前一次速度有 关的一个比例因子，其速度更新方程为：V i k 1* V i k c1r1（P i k X i k） c2r2 （P g k X i k）用惯性权重来控制前面的速度对当前速度的影响，较大的 w 可以加强 PSO 的全局搜索能力，而较小的 w 能加强局部搜索能力。基本的 PSO 可以看作 w=1，因此在迭代后期缺少局部搜索能力。通常取 w 为[0.8,1.2] 之间的数。 2.5粒子群算法测试函数结果 2.5.1 利用标准 PSO算法对测试函数结果 根据粒子群求解函数优化算法的流程，编写程序pso.m文件，然后用函数来测试算法的好坏优劣。下表中列出了常用的几个测试函数： 对上表中几个测试函数用标准粒子群算法求最优值，设定群体规模为50，最大速度Vmax=0.5 ，迭代次数 N=200 ，学习因子 c1=c2=2，画出种群的动态变化图。 1) Quadric 函数状态变化图 (-100,100) 第 1代种群变化图第50代种群变化图 第100代种群变化图第 200代种群变化图 2)Rastrigin 的测试函数 (-5.12,5.12) 第 200 代种群动态变化图 3)Tablet 函数 (-100,100) 第49代种群动态变化 图 第99代种群动态变化 图 第49代种群动态变化图第 99代种群动态变化图 第 200 代种群动态变化图 从以上三个函数的种群动态变化图可以看出，粒子在200代的时候已经将近收敛于一个 点了。 (4)标准 PSO算法测试函数得到的结果 2.4.2用改进的粒子群算法测试函数运行结果 ( 1)用带惯性权重的粒子群来求解函数的最小值，的值是随机生成的 (0,1) 之间的数。下表就是测试结果： (2) 果如下： 4.模拟退火算法求解函数优化问题 4.1 模拟退火算法的基本原理和算法描述 1982 年， Kirkpatrick 等将退火思想引入组合优化的领域，提出了一种求解大规模组合优化问题，特别是 NP 完全组合优化问题的有效近似解的算法——模拟退火算法( simulated annealing algorithm )，简称为 SA 。 模拟退火算法是在某一初温下，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，在局部优解处能概率性地跳出并最终趋于全局最优。基于Metropolis 接受准则的优化过程，可避免搜索过程陷于局部极小，并最终趋于问题的全局最优解。 模拟退火算法包括四个要素： ( 1)系统状态 (Configuration) ：即在某一个温度下，系统产生的初始解，并当作目前的现行解。 (2)搜寻法则 (Search rule) ：在退火的过程中，由目前系统状态经由随机扰动而产生变化跳至另一种状态。一般而言， SA 较常用的有梯度搜寻法 (Gradient Type) 和迭代改善法。 (3)成本函数 (Cost Function) ：用来衡量某一系统状态下之能量函数。 (4)退火程序 (Annealing Process)：退火程序中包含的参数有初始温度、降温机制、冷却率和终止温度。在退火的过程中，在温度高的時候，虽然是较差的目标值，但有可能被接受当成目前的目标值，但随着温度慢慢的降低，接受较差目标值的几率逐渐降低。 4.2 模拟退火算法求解函数优化问题算法分析 4.2.1 解空间 模拟退火算法的解空间是随机生成若干个固定上下界的二维数据点，这里采用实数编 码，这些数据点在迭代的过程中会不断移动来寻找最优值。 4.2.2目标函数 这里用测试函数作为目标函数来对算法进行评价，把每个粒子的位置带入测试函数，得到每个粒子的适应值，在退火的过程中不断寻优，粒子不断更新自己的位置，通过适应值大小的比较来寻找最优值。 4.2.3 算法流程 第 1 步：初始化：初始温度 T，设定终止温度 T0 和马尔科夫链长度 L ，初始化每个粒子的 第 2 步：用测试函数计算每个粒子的适应值。 第 3步：对 k=1, ?? ,L 做第 4步至第 7步； 第 4 步：对于初始的粒子位置和适应值进行随机扰动，产生新解S'。 第 5 步：计算增量t '=C( S') -C(S), 其中 C(S)为适应度函数。 第 6 步：若t '<0 则接受 S'作为新的当前解，否则以概率 exp(- t '/T) 接受 S'作为当前粒子新的位置。 第 7 步：如果满足终止条件则输出当前解作为最优解，结束程序。终止条件通常取为连续若干个新解都没有被接受时终止算法。 第 8 步： T逐渐减少，且 T>T0，然后转第 3 步。 4.3 模拟退火算法测试结果 在模拟退火算法中，设置初始温度是 100，退火因子是0.99 ，终止温度是 1，马尔科夫链长度为 1000，种群更新时的步长因子是 0.2 ，下面是测试函数的种群变化图。 (1) Rosenbrock 的测试函数 (-5.12,5.12) 第1代种群动态变化图第44代种群动态变化图 第195次迭代种群变化图 2）Quadric 函数种群动态变化图（ -100，100） 第88代种群变化图 3） Tablet 函数种群动态变化图（ -100， 100 ） 第37代种群变化图 第1代种群变化 图 第1代种群变化 图 第20代种群变化 图 第36代种群变化 图 第65代种群变化 图 (4) Griewank 函数动态变化图( -300，300) 第1代种群变化 图 第34代种群变化 图 第77代种群变化图 5)Rastrigin 函数种群动态变化图( -5.12,5.12 ) 第1代种群变化图第 29代种群变化图 从以上的实验结果可以看出，模拟退火算法在求解函数优化问题上没有遗传算法和粒子群算法得到的结果好。