使用精确搜索算法确定步长的最速下降法
最优化方法第二章_线搜索算法_最速下降法
f x1 , x2 c, c>0,
2
改写为：
x12 2c 1
2 x2
2c 2
2
1
二、最速下降法
x2
这是以
2c
1
和
2c
2
为半轴的椭圆
2c
2c
2
2
从下面的分析可见 两个特征值的相对
x1
大小决定最速下降法的收敛性。
（1）当 1 2 时，等值线变为圆
2 2
4 f x , 2
2 x1 2 x2 4 f ( x) , 2 x1 +4x2
4 d = f x , 2
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
一
一维搜索
二 三 四
下 降 算 法
五
最速下降法 Newton法 共轭梯度法
多尺度法 （拟Newton法）
二、最速下降法 假设 f 连续可微，取 线搜索方向
k
d f ( x )
k
步长k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
f ( x k k d k ) min f ( x k d k )
(推论)在收敛定理的假设下，若f (x)为凸函数，则最速下降 法或在有限迭代步后达到最小点；或得到点列 x k ，它的任 何聚点都是 f (x)的全局最小点。
二、最速下降法
最速下降法特征：相邻两次迭代的方向互相垂直。
令
( ) f ( x d ), 利用精确一维搜索，可得
最速下降法
最速下降法姓名：沈东东 班级：研1404 学号：1415033005一、最速下降法的原理目标函数:(1)n f R R n →>在决策变量的当前点()k n x R ∈处的一阶Taylor 展开式为()()()()()()()k k k T f x f x g x δδοδ+=++式中，()()k n g x R ∈为f 在点()k x 处的梯度向量。
当扰动量n R δ∈充分小时，有()()()()()()k k k T f x f x g x δδ+≈+设新的迭代点为(1)()k k x x δ+=+，于是得到(1)()()()()()k k k T f x f x g x δ+-≈为了使(1)k x +处的目标函数值比()k x 处有所下降，需要满足()()0k T g x δ<此外，梯度向量()()k g x 和扰动量δ的内积可以表示为()()()()cos k T k g x g x δδθ=式中，θ为两向量之间的夹角。
若要使目标函数值的下降量尽可能大，可知δ的方向应该为梯度方向的负方向，即cos 1θ=-。
函数f 在点()k x 处的负梯度方向称为该点的最速下降方向。
在每次迭代时都取最速下降方向作为搜索方向的方法就称为最速下降法。
二、最速下降法的特点1.若()k x 不是极小点，则f 在点()k x 处的最速下降方向总是下降方向。
2.如果每次迭代时都用精确搜索方法得到最佳步长作为搜索步长，则寻优过程中相邻的最速下降方向是正交的。
3最速下降法产生的迭代点序列在一定条件下是线性收敛的，其收敛性质与极小点*x 处的Hesse 矩阵有关。
三、最速下降法的计算步骤最速下降法的计算步骤如下：步骤1：已知待求问题的目标函数()f x ，选择初始点(0)x ，并设定精度要求tol ，令:0k =。
步骤2：计算()f x 在点()k x 处的梯度向量()()k g x ，得到最速下降方向()()()k k d g x =-。
4.3 4.4 最速下降法 牛顿法
3.搜索步长：取最优步长，即满足
f (X k1) f (X k kf (X k )) min()
( )
f ( X ) X
dX
d
[f ( X k
kf ( X k ))]T (f
( X k )) 0
f (X k1)T f (X k ) 0
令
d k1 f ( X k1)
d k f (X k )
• 初始点 X k 、搜索方向 d k 、迭代步长 k 为优化方
法算法的三要素。 • 搜索方向问题是无约束优化方法的关键，决定一个
算法的成 败、收敛速率的快慢等。 • 各种无约束优化方法的区别就是确定搜索方向的方
法不同。
最速下降法
1.基本思想
• 优化设计是追求 min f ( X ) ，即从某点 X 出发，
牛顿型方法
3.求目标函数 f x x12 25x22 的极小点。
解: 取初始点 x0 2,2T 1
x1 x0 2 f
x0
1f
x0
2 2
2 0
0 1
4 100
0 0
50
经过一次迭代即求得最小点 x* 0,0T
函数极小值 f x* 0
牛顿型方法
阻尼牛顿法
牛顿法的缺陷： 在确定极值点的过程中，并不含沿下降方向搜索的概念。
最速下降法
f (x) (1 20)2 (1 20)2 2(1 20)2 (0),
(0) 4(1 20)(2) 8(1 20). 令 (0) 0
即 解得
80(11220) 0
代入 X 1式得
X
1
1 1
20 20
0 0
,
求梯度公式
f
(X1)
最速下降法_steepest_descend_method概论
3. 具体步骤
4. 方法特点
• （1） 初始点可任选，每次 迭代计算量小，存储量少， 程序简短。即使从一个不好 的初始点出发，开始的几步 迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。
• （2） 任意相邻两点的搜索 方向是正交的，它的迭代路 径为绕道逼近极小点。当迭 代点接近极小点时，步长变 得很小，越走越慢。
T
2。梯度向量：
称
f
(
x
0
)
f ( x0 x1
)
,
f ( x0 x2
)
,,
f ( x0 xn
)
T
为f(x) 在x0处的梯度向量。
3。梯度▽ f(x)的模：
|| f ( x) ||
f ( x x1
)
2
f ( x) x2
2
,
f ( x xn
)
2
几个梯度公式
• 1。f(x)＝C（常数），则▽f(x)＝0。 • 2。 f(x)=bTx，则 ▽f(x)＝b； • 3。 ▽ (xTx)＝2x； • 4。若A是实对称方阵，则有▽ (xTAx)＝2Ax；
将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题利用负梯度作为搜索方向故称最速下降法或梯度法
几个概念
1。梯度：
f(x)是定义在Rn上的可微函数，称以f(x)的n个偏 导数为分量的向量，为f(x)的梯度，记作▽ f(x)
即
f
(
x
)
f ( x x1
)
,
f ( x x2
)
,,
f ( x xn)一、最速下降法 (method of steepest descent)
1. 基本思想：
最速下降法
随着人工智能、模糊控制、模式识别、人工网络等新技术的应用和发展。
可以让它们与广义预测控制相结合，建立高精度、多模态的预测模型。
使广义预测控制在异常情况下可以稳定运行，推进广义预测控制的进一步发展。
2.2.1最速下降法最速下降法是无约束最优化中是比较有效的方法，它是以d}=一可(x})作为下降方向的算法。
其迭代格式为xx+i=xx一。
*Of (xk)上式中，一般通过精确线搜索准则求得步长因子。
*，当然也不排除可以利用非精确线搜索准则来求得步长因子。
*。
不管最速下降法采取何种线搜索准则，它均具有全局收敛性，但是这也不能直接就认为最速下降算法就是一个良好的优化算法。
在实际试验中，有很多优化问题利用最速下降法并不是下降的特快，反而下将的十分缓慢。
这是因为出现了锯齿现象:就是在计算过程中，最速下降法开始几步还是挺快的，但是当目标函数f (x)的等高线接近于一个球的时候，就出现了类似锯齿现象，前进十分缓慢，降低了算法的效能。
2.2.12.2.2牛顿法牛顿法也是无约束最优化问题中的一种经典算法，它是利用目标函数.f (x)的二次泰勒展开式，并将二次泰勒展开式进行极小化。
其迭代格式为x}+}=xA十d}(2-5)其中步长因子。
、=l} d、为02f (x} )d + Of (xA ) = 0的解。
当目标函数f(x)是正定二次函数的时候，牛顿法可以一步达到最优解;当目标函数f (x)是非二次函数的时候，牛顿法经过有限次迭代之后就不能确保求得目标函数f (x)的最优解。
我们知道目标函数f (x)在极小点附近是很接近于二次函数的，所以，假如初始点非常靠近无约束最优化问题((1-1)的最优解x的时候，并且}Z.f (x.)正定的时候，那么牛顿法就会有很快的收敛速度，而由此算法产生的点列也具有了超线性收敛速度，同时还在一定条件下具有二次收敛性;假如初始点与无约束最优化问题(1-1)的最优解x’相距比较远的时候，这时的}Z.}(x})就不一定是正定的了，也就存在了一个问题，那就是此时的牛顿方向就不一定是下降方向，有可能是上升方向，此时由此算法产生的点列可能也就不收敛于无约束最优化问题((1-1)的最优解了。
精确步长的最速下降法解决二次正定优化问题
ep=1e-5;xm=[-30,100]';
g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});
k=0;
while(norm(g1)>ep)
p=-g1;
xm=xm+p;
g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});
1）给出初始点 ，允许误差 ， ；
2）计算 ，若 ，Stop 令 ；
3）由一维搜索确定步长因子 ，使得
4）令 ， ，go to 2).
3、代码
syms x1 x2
f= 10.5*x1^2+4*x1*x2-7.5*x2^2+2*x1+3*x2;
v=[x1,x2];
df=jacobian(f,v);
df=df.';
k=k+1;
运算次数
234
最优解
X1=-8.3097x2=-0.9122
函数最小值
729.7610
5、计算结果的分析
这次试验用最速下降法可以使一些复杂难以计算的问题找到一种有效的解，通过计算机多次运算得出结果。使问题简单化。
6、计算中出现的问题，解决方法及体会
这一次的实验让我了解到了精确步长的最速下降法解决二次正定优化问题这个对于我们实际运用也很有用的算法，但是学到的知识，更在于能运用到实践生活中，希望我能将所学到的知识灵活运用。
最优化理论与算法实验报告(一)
实验名称
精确步长的最速下降法解决二次正定优化问题
实验时间
姓名
专业班级
学号
成绩
1、实验目的和内容
实验内容：用最速下降法求解
wolfe算法确定步长的最速下降法
6
f x k f x k t k tf x k k t k
T 略去 t 的高阶无穷小项不计，可见取 k f x k 时，函数值下降的最多。
1 2、Wolfe 线性搜索准则为：给定常数 0 1 , 1 2 1 ，取 k 0 使得 2
班 学 姓 成
级 号 名 绩
一、实验概述： 【实验目的】 1、使用非精确线性搜索 wolfe 算法确定步长。 2、再使用最速下降法解决无约束最优化问题。 【实验原理】 1、最速下降法的基本思想是：从当前点 x k 出发，取函数 f x 在点 x k 出下降最 快的方向作为我们的搜索方向 k 。由 f x 的 Taylor 展开式知道
的最大者，令 i=i+1,继续 2. 4、根据算法编写程序，编译运行，得出结果。 【实验结论】 （结果）
【实验小结】 （收获体会） 本次试验，加深了最速下降法的掌握。在求解步长时，除了可以运用 wolfe 线 性搜索求解，还可以运用精确线性搜索、Aimijo 搜索、wolf 搜索等方法。本次试验
2
在运用 wolfe 搜索求解步长时，编程遇到了不少困难。在今后的学习中，要加强对 算法的理解和算法实现。
0 1 1 , 1 2 1 ，若满足，则 1 =1 ， x2 x1 1d1 ，检验 ||d2 || 2
0 2、若不满足（1） ， （ 2） ， 0, 1 (0,1) ，令 k 是集合{ i |i=0, 1, 2,...} 中 i 使(1)成立的最大者，令 i 0 。若 k 满足(2)则停止，并取得步长 k k(1) ， (i ) (i 1) (i ) (i ) 3、否则，令 k(1) 1k ， 令k 是集合{k +1j (k(i ) k ,j=0,1,...} 使(1)成立
最速下降法-最优化方法
（4）f
(
X
)
3
(0.04,0.04)T
,
f ( X 3) 2 0.0032 0.01
X 3 已达到预定精度要求，迭代终止。
故f（x）的无约束近似极小点为
X X 3 (0.96,1.44)T
注：原问题的精确极小点为
X (1,1.5)T
3. 最速下降法性质与评价
x1 x1
2 2
x2 x2
1 1
（1） X 0 (1,1)T
,
f
(
X
)
0
(1,1)T
,
P0
f
(
X
)
0
(1,1)T
X P (t ) f( 0 t
)
0
5t 2
2t
1
,t>0
ቤተ መጻሕፍቲ ባይዱ
应用一维搜索技术，可解得 (t) 的极小点为t0=0.2
所以 X 1 X 0 t0 P0 (1,1)T 0.2(1,1)T (0.8,1.2)T
X X P
Y f (X ) N 输出X
停止
例3.18 用最速下降法求解无约束优化问题：
x x x x x x min f (X ) 2 2 2
2
1
12
2
1
2
初始点 X 0 (1,1)T
,迭代终止准则为
f
(X k)
2
0.01
。
解：
f
(
X
)
4 2
1. 最速下降法原理 2. 最速下降法算法 3. 最速下降法性质与评价
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.
数学与计算科学学院
实验报告
实验项目名称使用精确搜索算法确定步长的最速下降法所属课程名称最优化方法
实验类型算法编程
实验日期 201
班级
学号
姓名
成绩
【实验目的】
(1) 掌握精确搜索算法确定步长的最速下降法； (2) 使用计算机语言表达最优化方法。
【实验原理】
最速下降法又称为梯度法，是1847年由著名数学家Cauchy 给出的。
他是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。
设无约束问题中的目标函数 f : Rn
R1一阶连续可微。
最速下降法的基本思想是：从当前点k x 出发，取函数 f (x)在点k x 处下降最快的方向作为我们的搜索方向k p .由 f (x)的 Taylor 展式知
()()()()
k k k k T k k f x f x tp t f x p o tp -+=-∇+
略去t 的高阶无穷小项不计，可见取()k k p f x =-∇时，函数值下降得最多。
于是，我们可以构造出最速下降法的迭代步骤。
解无约束问题的的最速下降法计算步骤
第 1 步 选取初始点(0)x ，给定终止误差ε ，令k:=0； 第 2 步 计算 f (k x )，，若‖ f (k x )‖ε ，停止迭代.输出k x .
否则进行第三步
第 3 步 取()k k p f x =-∇； 第 4 步进行一维搜索，求k t ，使得
1()(())min (())
k k k k k k f x f x t f x f x t f x +=-∇=-∇
令,k:=k+1，转第2 步。
由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似点。
【实验环境】
计算机 VC++
二、实验内容： 【实验方案】
1. 列举例题
2. 手工计算
3. 将计算步骤等实现程序化
4. 实验结果分析
【实验过程】
例题
222121)(x x x f +=
0.1ε= (0)(1,1)T
x =
计算步骤：
语言设计流程图：
【实验结论】
最小值：0.0006096631611
最优解时：x1=0.0329218107
X2=-0.008230452675
附录1：源程序
附录2：实验报告填写说明
1．实验项目名称：要求与实验教学大纲一致.
2．实验目的：目的要明确，要抓住重点，符合实验教学大纲要求.
3．实验原理：简要说明本实验项目所涉及的理论知识.
4．实验环境：实验用的软、硬件环境.
5．实验方案（思路、步骤和方法等）：这是实验报告极其重要的内容.概括整个实验过程.
对于验证性实验，要写明依据何种原理、操作方法进行实验，要写明需要经过哪几个步骤来实现其操作.对于设计性和综合性实验，在上述内容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明.对于创新性实验，还应注明其创新点、特色. 6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析.
7．实验结论（结果）：根据实验过程中得到的结果，做出结论.
8．实验小结：本次实验心得体会、思考和建议.
9．指导教师评语及成绩：指导教师依据学生的实际报告内容，给出本次实验报告的评价.
10。