最优化方法-步长加速法-
合集下载
【课件】运筹学与最优化方法(华南理工)第3章(07-4)
的最优解S(k)和最优值
(k +1) (k ) (k )
q(S(k) )
(k + 1) (k )
) f (X = X + S 若 f (X (3)令 X 取 X * = X (k+1) ,停止,否则转(4) (4)计算 f = f (X (k) ) f (X (k+1) ), q = f (X (k) ) q(S(k) ) 1/ 2k ..若 f < 0.1q 令
第三章
无约束非线性规划
3.4 信赖域法, Matlab解无约束非线性规划
一.信赖域法: 1.思想: 1) 前两节方法的结构原理为用二次模型产生下降方 向,在下降方向上确定可接受的步长,得到新迭代点. 若二次模型不近似原目标函数,则在搜索方向上无 法找到满意的下降迭代点. 能否先指定步长的界,再用二次模型确定方向和步 长? *注:保证在下近似,可使f(x)与 二次模
y(1) = x +α(x xmax )
2 扩展:给定扩展系数 >1,计算.(加速) 扩展:给定扩展系数γ 计算.(加速) 计算.(加速
y(2) = x +γ ( y(1) x)
3.5 直接算法
一, 2,改进单纯形法: (续) ,改进单纯形法: (1)若f(y(1))<f(x min), 则 若 那么y 取代x 否则, 取代x 若f(y(1))> f(y(2)), 那么 (2)取代 max; 否则, y(1)取代 max (2)若max{f(x(i))| x(i) ≠x max } ≥ f(y(1)) ≥ f(x min), y(1)取代 max . 取代x 若 3° 收缩:若f(x max )> f(y(1)) > f(x(i)), x(i) ≠x max ,计算 ° 收缩: 计算
最速下降法解题步骤
最速下降法（Steepest Descent Method）是一种数值优化算法，用于求解无约束优化问题的最小值。
下面是最速下降法的一般解题步骤：
1.定义目标函数：首先，需要明确要优化的目标函数。
这个函数通常表示为f(x)，其中
x 是优化变量。
2.初始化起始点：选择一个合适的起始点x0，作为最速下降法的初始点。
3.计算梯度：计算目标函数在当前点的梯度，即∇f(x)。
这可以通过对目标函数进行偏
导数计算得到。
4.确定搜索方向：将梯度反向取负作为搜索方向d，即d = -∇f(x)。
5.确定步长：确定沿着搜索方向移动的步长，也称为学习率或步长因子。
常见的选择
方法有固定步长、线性搜索和精确线搜索等。
6.更新当前点：根据步长和搜索方向，更新当前点x，即x = x + αd，其中α 表示步
长。
7.判断终止条件：判断是否满足终止条件，可以是达到预定的迭代次数、目标函数值
变化很小或梯度变化很小等。
8.若不满足终止条件，则返回第3步，重新计算梯度，并重复3-7步骤，直到满足终
止条件。
最速下降法的关键在于选择合适的步长和搜索方向。
步长过大可能导致无法收敛，步长过小可能导致收敛速度慢。
搜索方向的选择应该保证在当前点能够使目标函数值下降最快。
需要注意的是，最速下降法可能会陷入局部最小值，而无法达到全局最小值。
为了克服这个问题，可以考虑使用其他优化算法，如共轭梯度法、牛顿法等。
第三章 无约束最优化--梯度方法(1)
2 做直线搜索 zk 1 LS( zk , - gk ), 计算f k 1 f ( zk 1 ), gk 1 g ( zk 1 ); 3 判定终止准则H是否满足，若满足则打印最优解 z k+1 , f k+1， 终止。否则转2。 将最速下降法用于具有对称正定矩阵Q的二次函数： 1 T f ( z ) z Qz bT z c，可以推出步长公式来 : 2 设第 k 次迭代点为zk 。下面求zk 1的表达式:
f z k f z k 1 f z k f z k f zk
但λ到底取多大，没有统一的标准， λ取小了，收敛太慢，而λ取大 了，又会漏掉极小点。
1 T f ( z ) z Qz , 定理：对于二次函数 2
四 用于二次函数时的收敛速度
为了清除最优步长最速下降法中两个搜索方向正交的不良 后果，人们发明了不少方法，如： （1）选择不同初始点。
例如：对问题： min
取初点
为求 z1 ，沿 f z0 方向从 z0 出发求 f z 的极点，即在线 搜索 min f ( z0 tf z0 )
f ( z) x 25x T z0 2,2 f z0 104 , f z0 4,100T
2 T
* T z ( 0 , 0 ) z 然后再从 1开始迭代，经过10次迭代，近似得最优解
f ( z1 ) 3.686164 .
计算中可以发现，开始几次迭代，步长比较大，函数值下将降 较快但当接近最优点时，步长很小，目标函数值下降很慢。如 T ,0)T虽然后一初点较前一 果不取初点为 z0 (2,2) 而取 z0 (100 初点离最优点 z * (0,0)T 远，但迭代中不出现锯齿现象。这时：
最优化计算方法(工程优化)第4章
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
最优化方法求解技巧
最优化方法求解技巧最优化问题是数学领域中的重要课题，其目标是在给定一组约束条件下寻找使目标函数取得最大（或最小）值的变量取值。
解决最优化问题有多种方法，下面将介绍一些常用的最优化方法求解技巧。
1. 直接搜索法：直接搜索法是一种直接计算目标函数值的方法。
它的基本思路是在给定变量范围内，利用迭代计算逐步靠近最优解。
常用的直接搜索法包括格点法和切线法。
- 格点法：格点法将搜索区域均匀划分成若干个小区域，然后对每个小区域内的点进行计算，并选取最优点作为最终解。
格点法的优点是简单易行，但对于复杂的问题，需要大量的计算和迭代，时间复杂度较高。
- 切线法：切线法是一种基于目标函数的一阶导数信息进行搜索的方法。
它的基本思路是沿着目标函数的负梯度方向进行迭代搜索，直到找到最优解为止。
切线法的优点是收敛速度较快，但对于非光滑问题和存在多个局部最优点的问题，容易陷入局部最优。
2. 数学规划法：数学规划法是一种将最优化问题转化为数学模型的方法，然后借助已有的数学工具进行求解。
常用的数学规划法包括线性规划、非线性规划、整数规划等。
- 线性规划：线性规划是一种求解目标函数为线性函数、约束条件为线性等式或线性不等式的优化问题的方法。
常用的线性规划求解技巧包括单纯形法和内点法。
线性规划的优点是求解效率高，稳定性好，但只能处理线性问题。
- 非线性规划：非线性规划是一种求解目标函数为非线性函数、约束条件为非线性等式或非线性不等式的优化问题的方法。
常用的非线性规划求解技巧包括牛顿法、拟牛顿法、遗传算法等。
非线性规划的优点是可以处理更广泛的问题，但由于非线性函数的复杂性，求解过程相对较复杂和耗时。
- 整数规划：整数规划是一种在变量取值为整数的前提下求解优化问题的方法，是线性规划和非线性规划的扩展。
由于整数规划的复杂性，常常利用分支定界法等启发式算法进行求解。
3. 近似法：近似法是一种通过近似的方法求解最优化问题的技巧，常用于处理复杂问题和大规模数据。
优化设计约束优化方法第06章-1
3、压缩
若上述方法均无效，可让复合形各顶点向xL靠拢，即压缩复 合形。
若某顶点压缩后在可行域外，可将其继续向 xL靠拢，直到其 回到可行域。
四、复合形法的迭代步骤
只含反射功能的复合形法迭代步骤为：
1、确定k值，产生初始复合形；
2、比较各顶点，排序； 3、计算除xH外的中心点xC。若可行，则继续，否则则重新 确定设计变量的下限和上限，即a=xL，b=xC，转而重新构造初始 复合形； 4、反射，反复反射，直至成功。 5、收敛条件
一、基本原理
在约束可行域S内选取一个初始点X(0)，在不破坏约束的条件 下以合适的步长 α ，沿 X(0) 点周围几个不同的方向（以某种形式 产生的随机方向）进行若干次探索，并计算各方向上等距离（ 步长α ）点的函数值，找出其中的最小值f(X(l))及点X(l)。 若f（X(l)）＜f（ X(0)），则继续沿方向（ X(l)-X(0)）以适当的 步长 α 向前跨步，得到新点 X(1) ，若 f （ X(1) ） <老 f （ X(l) ），则将 新的起点移至X(1) ，重复前面过程。 d 否则应缩短步长 α，直至取得约束好点。如此循环下去。当 迭代的步长已经很小时，则表明已经逼近约束最优点。达到计 算精度要求时，即可结束迭代计算。 随机方向探索法的一般迭代计算公式为： X(k+1)=X(k)+αd(k) (k=0,1,2,…) 式中α为步长，d(k) 为第k次迭代的可行搜索方向。 可行搜索方向产生的条件.. ..
复合形法例题
二、算法技术
1、随机数的产生 可以利用各种计算机语言的随机函数，也可利用随机数的数学 模型自行产生。 2、初始点的选择 （1）产生一个随机点
0～1之间的随机数
无法人工给出初始点时，可以用随机选择的方法得到。
最速下降法-最优化方法
（4）f
(
X
)
3
(0.04,0.04)T
,
f ( X 3) 2 0.0032 0.01
X 3 已达到预定精度要求，迭代终止。
故f（x）的无约束近似极小点为
X X 3 (0.96,1.44)T
注：原问题的精确极小点为
X (1,1.5)T
3. 最速下降法性质与评价
x1 x1
2 2
x2 x2
1 1
（1） X 0 (1,1)T
,
f
(
X
)
0
(1,1)T
,
P0
f
(
X
)
0
(1,1)T
X P (t ) f( 0 t
)
0
5t 2
2t
1
,t>0
ቤተ መጻሕፍቲ ባይዱ
应用一维搜索技术，可解得 (t) 的极小点为t0=0.2
所以 X 1 X 0 t0 P0 (1,1)T 0.2(1,1)T (0.8,1.2)T
X X P
Y f (X ) N 输出X
停止
例3.18 用最速下降法求解无约束优化问题：
x x x x x x min f (X ) 2 2 2
2
1
12
2
1
2
初始点 X 0 (1,1)T
,迭代终止准则为
f
(X k)
2
0.01
。
解：
f
(
X
)
4 2
1. 最速下降法原理 2. 最速下降法算法 3. 最速下降法性质与评价
优化设计第2章 优化设计
x1 d , x2 l
X [d l ]T [ x1 x2 ]T
目标函数的极小化： 约束条件：
1 1 min f ( X ) V d 2l x12 x2 0.785 x12 x2 4 4
g1 ( X ) 8.33l d 3 8.33x2 x13 0 g 2 ( X ) 6.25 d 3 6.25 x13 0
f ( X ( k 1) ) f ( X ( k ) ) 2
（2-8）
3 5 式中， 2 —— 给定的计算精度，一般可取 10 10 。
（３）函数梯度充分小准则 目标函数在迭代点的梯度已达到充分小，即
f ( X ( k 1) ) 3
（2-9）
3 —— 给定的计算精度，一般可取 103 。 式中，
这一迭代过程用数学式子表达，得数值迭代法的基本迭代格式为：
X ( k 1) X ( k ) ( K ) S ( k ) f ( X ( k 1) ) f ( X ( k ) ) gu ( X ( k 1) ) 0 (u 1, 2, , m) (k 0,1, 2, )
(k )
一维搜索方法一般分两步进行：
■ 首先在方向 S ( k ) 上确定一个包含函数极小点的初始区间，即
确定函数的搜索区间，该区间必须是单峰区间；
■ 然后采用缩小区间或插值逼近的方法得到最优步长，即求出
该搜索区间内的最优步长和一维极小点。 一维搜索方法主要有： 分数法 黄金分割法（0.618法） 二次插值 三次插值法等 本节介绍最常用的黄金分割法和二次插值法。
2.迭代计算的终止准则
目前，通常采用的迭代终止准则有以下几种：
● 点距足够小准则 ● 函数下降量足够小准则 ● 函数梯度充分小准则
X [d l ]T [ x1 x2 ]T
目标函数的极小化： 约束条件：
1 1 min f ( X ) V d 2l x12 x2 0.785 x12 x2 4 4
g1 ( X ) 8.33l d 3 8.33x2 x13 0 g 2 ( X ) 6.25 d 3 6.25 x13 0
f ( X ( k 1) ) f ( X ( k ) ) 2
（2-8）
3 5 式中， 2 —— 给定的计算精度，一般可取 10 10 。
（３）函数梯度充分小准则 目标函数在迭代点的梯度已达到充分小，即
f ( X ( k 1) ) 3
（2-9）
3 —— 给定的计算精度，一般可取 103 。 式中，
这一迭代过程用数学式子表达，得数值迭代法的基本迭代格式为：
X ( k 1) X ( k ) ( K ) S ( k ) f ( X ( k 1) ) f ( X ( k ) ) gu ( X ( k 1) ) 0 (u 1, 2, , m) (k 0,1, 2, )
(k )
一维搜索方法一般分两步进行：
■ 首先在方向 S ( k ) 上确定一个包含函数极小点的初始区间，即
确定函数的搜索区间，该区间必须是单峰区间；
■ 然后采用缩小区间或插值逼近的方法得到最优步长，即求出
该搜索区间内的最优步长和一维极小点。 一维搜索方法主要有： 分数法 黄金分割法（0.618法） 二次插值 三次插值法等 本节介绍最常用的黄金分割法和二次插值法。
2.迭代计算的终止准则
目前，通常采用的迭代终止准则有以下几种：
● 点距足够小准则 ● 函数下降量足够小准则 ● 函数梯度充分小准则
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第十一节 步长加速法
内容概要
一、步长加速法简介 二、步长加速法原理 三、步长加速法算法 四、步长加速法的性质与评价
一、步长加速法简介
1961年，Hooke和Jeeves提出的解无约束极 值问题的一种直接搜索方法，主要解决的问题:目 标函数不可微，甚至不连续或者没有解析式。
该方法不需要梯度，仅通过比较目标函数值 的大小来移动迭代点，并最终找出最优点的一种 算法。
N
f Yj e j1 f Yj ?
j ←j+1
Y
N
J<n-1?
N
终点
Y
Y Y j e j1
Y
Y Y j e j1
二、步长加速法原理
当探测完成后，有两种可能：
① X0 Y
f Y f X 0
② X0 Y
沿所有方向探测全部失败
如果探测移动失败，则缩短步长，最从初始 基点重新探索…..，直至步长小于预定的△。
1 2
Y0 Yn
Y
步长
N
输出 Yn
停止Y0 X 0从Y0出发，依次沿ei 试探，得到Yi直到Yn
Y
f Yn f Y0
N
X k 1 Yn
Y0 X k X k1 X k
f Y0 f X k 1
Y
算法流程
N
Y0 X k 1
探测移动从一个基点 X0出发，依次沿n个坐 标轴方向用固定步长△探测目标值更小的点（新 的基点）。
二、步长加速法原理
为了形象的描述这个过程，我们可以设立一个动点Y。
探测移动,基点X 0 Y←X 0 , j=0
e j 0 • •010• •0T 为坐
标轴的单位方向向量
f Yj e j1 f Yj ?
1.步长加速法的收敛速度是线性的，如果目标 函数可微，则可收敛到平稳点；
2.可用于任何形式的目标函数； 3.收敛速度比较慢，但是编制程序比较简单，
而且可靠。
谢谢！
令X 1
Y2
(0,
2),
模矢为X 1
X0
(1, 1),
f
(X1)
f (Y2 ) 12
Y0 X0 (X1 X0 ) (1,1)
f (Y0 ) 4 12 f (X1), 模矢加速成功
三、步长加速法算法
Y0 +e1=（2，1），f(Y0 +e1)=5>f(Y0 )=4
f (Y1+e2 )=f (Y1 e2 ) 0.75 0 f (Y0 )
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
三、步长加速法算法
令=
1 2
=0.25，Y0
Yn
(0, 0),计算结果仍有
f (Y2 ) f (Y0 ) 0,坐标循环试探失败
Y1=Y0 +e1=（0，3），f(Y1)=27
Y1+e2 =（0，4），f(Y1+e2 )=48>27=f(Y1)
Y1 e2 (0, 2), f (Y1 e2 ) 12 27=f(Y1)
Y2 Y1 e2 (0, 2),且f (Y2 ) f(Y0 ), 试探成功
二、步长加速法原理
两个基本阶段
步长加速法的算法过程可以分成两个基本 阶段：坐标循环试探和模矢加速搜索。
坐标循环试探：探求一个沿各坐标方向搜 索得到的一个函数值小于出发点函数值的对应点， 并得到一个有利的方向。
模矢加速搜索：沿此有利方向加速移动。
二、步长加速法原理
1.坐标循环试探 设问题为
min f x, x En
N
Y Y Y ej
f Y ej f Y ?
Y Y Y ej
N j ←j+1 N j=n?
Y
终点
坐标试探
X 0 Y0
Y1
Y X0 (X1 X0) 加速搜索
二、步长加速法原理
步长加速法解题思想
Y
开始 探测移动
成功？ Y 模式加速
N
成功？ N 退回起点
减缩步长
N
步长<误差？
Y 停止
三、步长加速法算法
设问题为：
min f x, x En
X0为初始点，e1, e2 ,..... en 依次为n个坐标的
单位方向量，初始坐标循环步长为 ，模式加
速搜索的加速因子为 2 ，迭代终止条件为
（为预先设定的正数）
三、步长加速法算法
开始
三、步长加速法算法
Y0 +e1=（1，0），f(Y0 +e1)=1>f(Y0 )=0
Y0 e1 (1, 0), f (Y0 e1) 1 f(Y0 )=0
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
Y1+e2 =（0，1），f(Y1+e2 )=3>0=f(Y1) Y1 e2 (0, 1), f (Y1 e2 ) 3 0=f(Y1)
=0.25<0.3= ,满足终止条件
原问题最优解为X * Y2 (0, 0) 事实上，原问题的精确极小点正是(0, 0)点
三、步长加速法算法
x2
(-1,3)
(0,3)
取 1， 2， 0.3，
e1 1,0T , e2 0,1T
(1,1)
(1,0)
x1
三、步长加速法性质与评价
Y0 e1 (0,1), f (Y0 e1) 3 f(Y0 )=4
故Y1 Y0 e1 (0,1), f(Y1)=3
Y1+e2 =（0，2），f(Y1+e2 )=12>3=f(Y1)
Y1 e2 (0, 0), f (Y1 e2 ) 0 3=f(Y1)
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
令=
1 2
=0.5，Y0
Yn
(0, 0),有
f (Y0 +e1)=0.25=f (Y0 e1) 0.25 0 f (Y0 )
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
如果探测成功，则执行第二个动作—模式加 速搜索。
二、步长加速法原理
2.模矢加速搜索 前一个动作探测移动得到了更好的点Y，我
们把这个点赋给 X k1 ，这是我们的第二个基点。 我们猜测方向 (Xk1 Xk ) 是一个有利方向，则令 Y0 Xk (Xk1 Xk ) ，以得到下一次迭代的出发 点Y。这个动作称为模式加速移动， 称为加速因 子（一般取2） 。
二、步长加速法原理
如果有 f Y0 f X1 ，则加速成功,转入第一
步。 否则，令Y X1 ，转入第一步。
二、步长加速法原理
e2
Y2 X1
步长加速图例
Y0
探测移动,基点 X 0 Y←X 0 , j=1
ej 0 ••010••0T 为坐
标轴的单位方向向量
f Y ej f Y ?
Y2 Y1 e2 (0, 0),且f (Y2 ) f(Y0 ), 试探成功
令X 2
Y2
(0, 0),
f
(Y2 )
f
(X1)
0,
Y0 X1 (X2 X1) (0, 2), f (Y0 ) 12 f (X2 ) 0
故Y0
X 2
(0, 0), 模矢加速失败
三、步长加速法算法
例题2：
设 X0 （1，3）, 终止条件是 0.3 ，用步长
加速法求解 min f X x12 3x22 。
三、步长加速法算法
解 取=1， =2， =0.3，e1=（1，0）T，e2 =（0，1）T
k =0
Y0 =X0 =（-1，3），
故 Y0 +e1=（0，3），f(Y0 +e1)=27<f(Y0 )=28
内容概要
一、步长加速法简介 二、步长加速法原理 三、步长加速法算法 四、步长加速法的性质与评价
一、步长加速法简介
1961年，Hooke和Jeeves提出的解无约束极 值问题的一种直接搜索方法，主要解决的问题:目 标函数不可微，甚至不连续或者没有解析式。
该方法不需要梯度，仅通过比较目标函数值 的大小来移动迭代点，并最终找出最优点的一种 算法。
N
f Yj e j1 f Yj ?
j ←j+1
Y
N
J<n-1?
N
终点
Y
Y Y j e j1
Y
Y Y j e j1
二、步长加速法原理
当探测完成后，有两种可能：
① X0 Y
f Y f X 0
② X0 Y
沿所有方向探测全部失败
如果探测移动失败，则缩短步长，最从初始 基点重新探索…..，直至步长小于预定的△。
1 2
Y0 Yn
Y
步长
N
输出 Yn
停止Y0 X 0从Y0出发，依次沿ei 试探，得到Yi直到Yn
Y
f Yn f Y0
N
X k 1 Yn
Y0 X k X k1 X k
f Y0 f X k 1
Y
算法流程
N
Y0 X k 1
探测移动从一个基点 X0出发，依次沿n个坐 标轴方向用固定步长△探测目标值更小的点（新 的基点）。
二、步长加速法原理
为了形象的描述这个过程，我们可以设立一个动点Y。
探测移动,基点X 0 Y←X 0 , j=0
e j 0 • •010• •0T 为坐
标轴的单位方向向量
f Yj e j1 f Yj ?
1.步长加速法的收敛速度是线性的，如果目标 函数可微，则可收敛到平稳点；
2.可用于任何形式的目标函数； 3.收敛速度比较慢，但是编制程序比较简单，
而且可靠。
谢谢！
令X 1
Y2
(0,
2),
模矢为X 1
X0
(1, 1),
f
(X1)
f (Y2 ) 12
Y0 X0 (X1 X0 ) (1,1)
f (Y0 ) 4 12 f (X1), 模矢加速成功
三、步长加速法算法
Y0 +e1=（2，1），f(Y0 +e1)=5>f(Y0 )=4
f (Y1+e2 )=f (Y1 e2 ) 0.75 0 f (Y0 )
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
三、步长加速法算法
令=
1 2
=0.25，Y0
Yn
(0, 0),计算结果仍有
f (Y2 ) f (Y0 ) 0,坐标循环试探失败
Y1=Y0 +e1=（0，3），f(Y1)=27
Y1+e2 =（0，4），f(Y1+e2 )=48>27=f(Y1)
Y1 e2 (0, 2), f (Y1 e2 ) 12 27=f(Y1)
Y2 Y1 e2 (0, 2),且f (Y2 ) f(Y0 ), 试探成功
二、步长加速法原理
两个基本阶段
步长加速法的算法过程可以分成两个基本 阶段：坐标循环试探和模矢加速搜索。
坐标循环试探：探求一个沿各坐标方向搜 索得到的一个函数值小于出发点函数值的对应点， 并得到一个有利的方向。
模矢加速搜索：沿此有利方向加速移动。
二、步长加速法原理
1.坐标循环试探 设问题为
min f x, x En
N
Y Y Y ej
f Y ej f Y ?
Y Y Y ej
N j ←j+1 N j=n?
Y
终点
坐标试探
X 0 Y0
Y1
Y X0 (X1 X0) 加速搜索
二、步长加速法原理
步长加速法解题思想
Y
开始 探测移动
成功？ Y 模式加速
N
成功？ N 退回起点
减缩步长
N
步长<误差？
Y 停止
三、步长加速法算法
设问题为：
min f x, x En
X0为初始点，e1, e2 ,..... en 依次为n个坐标的
单位方向量，初始坐标循环步长为 ，模式加
速搜索的加速因子为 2 ，迭代终止条件为
（为预先设定的正数）
三、步长加速法算法
开始
三、步长加速法算法
Y0 +e1=（1，0），f(Y0 +e1)=1>f(Y0 )=0
Y0 e1 (1, 0), f (Y0 e1) 1 f(Y0 )=0
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
Y1+e2 =（0，1），f(Y1+e2 )=3>0=f(Y1) Y1 e2 (0, 1), f (Y1 e2 ) 3 0=f(Y1)
=0.25<0.3= ,满足终止条件
原问题最优解为X * Y2 (0, 0) 事实上，原问题的精确极小点正是(0, 0)点
三、步长加速法算法
x2
(-1,3)
(0,3)
取 1， 2， 0.3，
e1 1,0T , e2 0,1T
(1,1)
(1,0)
x1
三、步长加速法性质与评价
Y0 e1 (0,1), f (Y0 e1) 3 f(Y0 )=4
故Y1 Y0 e1 (0,1), f(Y1)=3
Y1+e2 =（0，2），f(Y1+e2 )=12>3=f(Y1)
Y1 e2 (0, 0), f (Y1 e2 ) 0 3=f(Y1)
故Y2 Y1 (0, 0), f (Y2 ) f (Y0 ) 0, 坐标循环试探失败
令=
1 2
=0.5，Y0
Yn
(0, 0),有
f (Y0 +e1)=0.25=f (Y0 e1) 0.25 0 f (Y0 )
故Y1 Y0 (0, 0), f (Y1) f (Y0 ) 0
如果探测成功，则执行第二个动作—模式加 速搜索。
二、步长加速法原理
2.模矢加速搜索 前一个动作探测移动得到了更好的点Y，我
们把这个点赋给 X k1 ，这是我们的第二个基点。 我们猜测方向 (Xk1 Xk ) 是一个有利方向，则令 Y0 Xk (Xk1 Xk ) ，以得到下一次迭代的出发 点Y。这个动作称为模式加速移动， 称为加速因 子（一般取2） 。
二、步长加速法原理
如果有 f Y0 f X1 ，则加速成功,转入第一
步。 否则，令Y X1 ，转入第一步。
二、步长加速法原理
e2
Y2 X1
步长加速图例
Y0
探测移动,基点 X 0 Y←X 0 , j=1
ej 0 ••010••0T 为坐
标轴的单位方向向量
f Y ej f Y ?
Y2 Y1 e2 (0, 0),且f (Y2 ) f(Y0 ), 试探成功
令X 2
Y2
(0, 0),
f
(Y2 )
f
(X1)
0,
Y0 X1 (X2 X1) (0, 2), f (Y0 ) 12 f (X2 ) 0
故Y0
X 2
(0, 0), 模矢加速失败
三、步长加速法算法
例题2：
设 X0 （1，3）, 终止条件是 0.3 ，用步长
加速法求解 min f X x12 3x22 。
三、步长加速法算法
解 取=1， =2， =0.3，e1=（1，0）T，e2 =（0，1）T
k =0
Y0 =X0 =（-1，3），
故 Y0 +e1=（0，3），f(Y0 +e1)=27<f(Y0 )=28