数值分析11(共轭梯度法)
共轭梯度法公式
共轭梯度法公式
共轭梯度法是一种用于求解线性方程组的迭代算法。
其主要思想是通过利用前一次迭代的信息来加速当前迭代的速度，从而减少迭代次数和计算量。
共轭梯度法公式包括以下几个步骤：
1. 初始化：设初始解为x0，残量b0为Ax0-b，共轭方向d0=b0。
2. 迭代求解：对于第k次迭代，计算步长αk，使得xk+1=xk+αkd，其中d是共轭方向，满足dTkAd=0，即d是A的共轭向量。
3. 更新残量：计算新的残量bk+1=Axk+1-b，如果bk+1小于预设精度，则停止迭代。
4. 更新共轭方向：计算新的共轭方向dk+1=bk+1+βkdk，其中βk=(bk+1)Tbk+1/(bk)Tbk，保证dk+1与之前的共轭方向都是A的共轭向量。
5. 重复迭代，直到满足收敛条件，返回最终解xk+1。
共轭梯度法是一种高效的求解大型线性方程组的方法，尤其适用于稀疏矩阵和对称正定矩阵。
公式简单易懂，容易实现，且具有较快的收敛速度。
- 1 -。
共轭梯度法简介
算法步骤—FR共轭梯度法 算法步骤 FR共轭梯度法 FR
共轭梯度法
Step1: Step2: Step3: Step4: Step5: Step6: Step7:
共轭梯度法
举例
参见 P187 例7.3.1.
共轭梯度法
收敛性分析
与Newton法相比，共轭梯度 法相比， 法相比 全局收敛性 法具有较弱的收敛条件. 法具有较弱的收敛条件
共轭方向法和共轭梯度法
问题1: 问题 如何建立有效的算法？ 如何建立有效的算法？ 从二次模型到一般模型. 从二次模型到一般模型
问题2: 什么Leabharlann 的算法有效呢？ 什么样的算法有效呢？ 问题 二次终止性. 二次终止性
简介
共轭方向法和共轭梯度法
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导 共轭梯度法是介于最速下降法与牛顿法之间的一个方法， 数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储 数信息，但克服了最速下降法收敛慢的缺点， 和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组 和计算Hesse矩阵并求逆的缺点， Hesse矩阵并求逆的缺点 最有用的方法之一，也是解大型非线性最优化最有效的算法之一. 最有用的方法之一，也是解大型非线性最优化最有效的算法之一.
共轭方向法和共轭梯度法
特点 (1) 建立在二次模型上，具有二次终止性． 建立在二次模型上，具有二次终止性． (2) 一种有效的算法，克服了最速下降法的锯齿现象， 一种有效的算法，克服了最速下降法的锯齿现象 锯齿现象， 又避免了牛顿法的计算量大和局部收敛性的缺点． 又避免了牛顿法的计算量大和局部收敛性的缺点． (3) 算法简单，易于编程，无需计算二阶导数，存储 算法简单，易于编程，无需计算二阶导数， 空间小等优点， 空间小等优点，是求解中等规模优化问题的主要 方法． 方法．
共轭梯度法程序
一、共轭梯度法共轭梯度法（Conjugate Gradient）是共轭方向法的一种，因为在该方向法中每一个共轭向量都是依靠赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。
由于此法最先由Fletcher和Reeves （1964）提出了解非线性最优化问题的，因而又称为FR 共轭梯度法。
由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。
共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便，效果好。
二、共轭梯度法的原理设有目标函数f（X）=1/2X T HX+b T X+c 式1 式中，H作为f（X）的二阶导数矩阵，b为常数矢量，b=[b1,b2,b3,...b n]T 在第k次迭代计算中，从点X（k）出发，沿负梯度方向作一维搜索，得S(K)=-∆f（X（k））式2 X(k+1)=X(k)+ɑ(k)S(k) 式3在式中，ɑ（k）为最优步长。
设与S(k）共轭的下一个方向S(k+1)由点S(k）和点X(k+1)负梯度的线性组合构，即S (k+1)=-∆f （X （k+1））+β(k)S (k) 式4 根据共轭的条件有[S (k)]T ∆2f （X (k)）S (k+1)=0 式5 把式2和式4带入式5，得-[∆f(X (k))]T ∆2f （X (k)）[-∆f （X （k+1））+β(k)S (k) ]=0 式6 对于式1，则在点X (k)和点X (k+1)的梯度可写为∆f(X (k))=HX (k)+b 式7 ∆f （X （k+1）)=HX (k+1)+b 式8 把上面两式相减并将式3代入得ɑ(k)H S (k)=∆f （X （k+1）)-∆f(X (k)) 式9 将式4和式9两边分别相乘，并代入式5得-[∆f （X （k+1）)+β(k)∆f(X (k))]T [∆f （X （k+1）)-∆f(X (k)]=0 式10 将式10展开，并注意到相邻两点梯度间的正交关系，整理后得 β（k ）=22||))((||||))1((||k X f k X f ∆+∆ 式11把式11代入式4和式3，得 S （k+1）=-∆f （X (k)）+β（k ）S （k ）X (k+1)=X （k ）+ɑ（k ）S （k ）由上可见，只要利用相邻两点的梯度就可以构造一个共轭方向。
共轭梯度法(精品文档)
1
g2T (g2 d1T (g2
g1) g1)
g2T g2 g1T g1
4） 一般地，在第 k 次迭代中，令
k 1
dk gk idi i0
适当选取 i ，使 dkTGdi 0 （ i 0,
, k 1），可得到
i
gkT Gdi diT Gdi
gkT (gi1 gi ) diT (gi1 gi )
§4.2 共轭梯度法
提纲
1、共轭梯度法---F-R共轭梯度法 2、共轭梯度法性质定理及例题 3、再开始FR共轭梯度法 4、Beale三项共轭梯度法 5、预条件共轭梯度法（了解）
共轭梯度法
在上一节中讨论了共轭方向法，其中n个共轭方向是预先设定好的。但是如何 让获取这些共轭方向并为提及。本节讨论一种重要的共轭方向法——共轭梯 度法。这种方法是将共轭性和最速下降方向相结合，利用已知迭代点处的梯 度方向构造一组共轭方向，并沿此方向进行搜索，求出函数的极小点。因在 迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭 梯度法。
算法步骤—FR共轭梯度法
1、选取初始数据，选取初始点 x0 ，给定允许误差 0 ；
2、检查是否满足终止准则，计算 f (x0 ) ，若 || f (x0 ) || ,迭代终
止，x0为近似最优解，否则转向3；
3、 构造初始搜索方向，计算 d0 f (x0 ), k 0；
而
k 1
gkT (gk gk1)
dT k 1
(
gk
gk 1 )
gkT gk gkT1 gk 1
共轭梯度法的迭代公式为：
共轭梯度法 有限元
共轭梯度法有限元
共轭梯度法和有限元法是两种不同的数学方法，常用于求解大规模线性方程组的数值解。
共轭梯度法是一种迭代法，用于求解对称正定矩阵的线性方程组。
它的基本思想是通过一系列共轭的搜索方向，以最小化残差的方式逼近精确解。
该方法通常比直接求解线性方程组的方法更快。
共轭梯度法广泛应用于计算机图形学、计算机视觉、信号处理等领域。
有限元法是一种数值分析方法，用于求解偏微分方程的近似解。
它将复杂的连续体问题离散化为有限个小的元素，然后通过求解每个元素上的方程，得到整个问题的数值解。
有限元法广泛应用于工程、物理学、生物学、医学等领域。
在实际问题中，共轭梯度法和有限元法往往结合使用，例如求解结构力学问题。
有限元法用于离散化结构，将其分解为有限个小的单元，然后共轭梯度法用于求解每个单元上的力学方程，以得到整个结构的数值解。
共轭梯度法
2 2 min f ( x ) = x1 + 2x2 x
⎛1⎞ 给定初始点 x (0) = ⎜ ⎜1⎟ ⎟。 ⎝ ⎠
13
⎛ 2 x1 ⎞ ⎛ 2 0⎞ 2 首先， ∇f ( x ) = ⎜ ⎜ 0 4⎟ ⎟ ，以下利用(4.14)确定 β k 。 ⎜ 4x ⎟ ⎟ ，H= ∇ f ( x ) = ⎜ ⎝ ⎠ ⎝ 2⎠ k=0：
0
k +1
) 与搜索方向 s 0 ," , s k 均正交。同时，利用引理 4.1 马上
设 H ∈ R n×n 是对称正定阵，s ," , s
0
n −1
0
n −1
是非零 G—共轭方向组，x ∈ R 。 若对问题(UQP)，
0
n
从 x 出发，依次沿 s ," , s
0
进行最优一维搜索，最终得到 x ，则 x 是(UQP)的最优解。
为保证 H-共轭性，在 x 处必须取 s 为搜索方向，而不能取 α s (α > 0) 为搜索方向。
k k
k
利用定理 4.3，马上得到上述算法的有限终止性。 定理 4.4 设 H ∈ R n×n 是对称正定阵。若用凸二次规划的共轭梯度法求解 (UQP) 时产生迭代点
x1 ," , x K ，则 x K 是(UQP)的最优解，并且 K ≤ n 。
首先由(4.7)知， g = ∇f ( x ) ( j = 0, " , k -1)是 s ," , s 的线性组合，因此根据定理 4.2，
j j 0 j
( g k )T g j =0， j = 0, " , k -1
由于
共轭梯度法
共轭梯度法：设w 为n 维矢量，假设优化准则函数为二次函数：()t t J c =++w w Hw u w ，其中H 为n n ⨯的正定对称矩阵。
如果两个矢量,i j d d 满足0ti j =d Hd ，则称它们关于矩阵H 互为共轭。
在n 为空间中存在互为共轭的n 个矢量01,,n -d d ，并且它们是线性无关的。
证明沿共轭方向可以在n 步之内收敛于极值点共轭方向算法：1、 初始化起始点0w ，一组共轭矢量01,,n -d d ，0k =；2、 计算k α和1k +w ，使得：()()min k k k k k J J ααα+=+w d w d 1k k k k α+=+w w d3、 转到2，直到k=n-1为止。
定理：对于正定二次优化函数()J w ，如果按照共轭方向进行搜索，至多经过n 步精确的线性搜索可以终止；并且每一个1i +w 都是在0w 和方向0,,i d d 所张成的线性流形00i j j j α=⎧⎫=+⎨⎬⎩⎭∑w w w d 中的极值点。
证明：令i g 为第i 步的梯度，即：()i i J ==∇w w g w ，上述定理实际上只需证明对j i ∀≤，10ti j +=g d 即可，因为1i +g 正交于0,,i d d ，则1i +g 正交于它们所张成的线性流形，100ii j j j α+==+∑w w d 包含在此线性流形中，因此在此线性流形中()J w 的梯度为0，即1i +w 为在线性流形上的极值点。
当1i n +=时，01,,n -d d 所张成的线性流形即为整个n 维空间n R ，只有当n =g 0时，才有0tn j =g d 成立，因此n w 为极值点。
梯度()J =∇=+g w Hw u ，因此两次迭代之间梯度的差值矢量为：()11k k k k k k k α++=-=-=y g g H w w Hd对于j i ∀<:()111111111tt tttt ti j i j i j i j i j i j j ji t t j j k k j k j i tt j j k k j k j α++-+++=++=+=-+-+-+=+-=+∑∑g d g d g d g d g d g d g d g d g g d g d d Hd因为1k +w 是沿着j d 方向搜索的极值点，因此10tj j +=g d ，而0,,i d d 互为共轭，所以有10i t k k j k j α=+=∑d Hd ，因此：10ti j +=g d上述定理得证。
共轭梯度法详细解读
共轭梯度法详细解读
嘿，朋友们！今天咱就来好好唠唠共轭梯度法。
你想想啊，咱平常解决问题就像走迷宫似的，有时候会在里面转来转去找不到出路，而共轭梯度法呀，就像是在迷宫里给咱指了一条明路！比如说你想找一条最快从山这头到那头的路，共轭梯度法就能帮上大忙啦！
它可不是随随便便就出现的哦，那可是数学家们绞尽脑汁研究出来的宝贝呢！就好比一个超级英雄，专门来打救我们这些在复杂问题里苦苦挣扎的人。
在实际应用里，它可厉害着呢！比如说在工程计算中，要设计一个最完美的结构，共轭梯度法就能迅速算出最优解。
哇塞，这不就相当于有个超厉害的军师在帮咱出谋划策嘛！
你再想想，我们日常生活中很多事情都可以类比成用共轭梯度法来解决问题呀。
比如说你要规划一次旅行，怎么安排路线最合理，不就是在找那个最优的旅行路径嘛，这时候共轭梯度法的思路就能派上用场啦！它就像一个隐藏在幕后的高手，默默地为我们排忧解难。
而且哦，一旦你掌握了它，那种感觉就像是你突然掌握了一种绝世武功，能在各种难题面前游刃有余。
这可太酷了吧！
哎呀呀，共轭梯度法真的是太神奇、太有用啦！大家可一定要好好去了
解它、运用它呀，你绝对会被它的魅力折服的！相信我，没错的！。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7/41
定理4.10(初等变分原理 ) 设A =(aij )n×n为实对称正 定矩阵, x, b? Rn 则 x是二次函数
f ( x) ? 1 ( Ax, x) ? (b, x) 2
的极小值点 ? x 是线性方程组 Ax = b 的解。
证明: 设 u 是 Ax = b的解 ? Au = b ? f (u) ? ? 1 ( Au, u)
?x1 ?x2
?f T ?xn
例如 f(x1,x2,x3)=x12x22x32
?f
Hessian 矩阵 :
(x)
?
? ? ? ???
?f ? x1
?f ?x2
?f ?x3
? ? ?=
? ? ?
2 2
x1 x12
x22 x2
x32 x32
??? ?? 2 x12 x22 x3
? ? ? ??
? ?2 f
(a,b) ? || a ||| b || cos ? a,b ? ,其中 ? a,b ? 表示向量a和b的夹角。
从初值点 x(0) 出发,以负梯度方向 r 为搜索方向
选择步长 t0, 使 x(1) = x(0) + t0r 为 f(x) 极小值点
最速下降方向 : r = –? f = b – Ax
?x12
L
?2 f ?
?x1?xn
? ?
Hessf ? ? M O
M ?? A
?
?
04:09
? ?2 f ???xn?x1
L
?2 f ? ?xn2 ??
6/41
费马引理:
设x0是f ( x)的一个极值点 ,且f ( x)在x0处导数存在 ,则 f ?( x0 )=0
注释: 费 , 有
g(t) ? f (u ? tx) ? 1 ( A(u ? tx), u ? tx) ? (b, u ? tx)
?
f
2 (u) ?
t( Au ?
b,
x) ?
t2
( Ax,
x)
2
当 t=0 时, g(0)= f(u)达到极小值 , 所以 g′ (0) =0 ,即
( Au – b , x ) = 0 ? Au – b = 0
? ?
?x12
L
Hessf ? ? M O
?
? ?2 f ???xn?x1
L
?2 f ?
?x1?
xn
? ?
M?
?
Hessf
?
???42xx1 x22 x2 x32 32
?2 f ? ?xn2 ??
??4 x1 x22 x3
4
x1
x
2
x
2 3
2 x12 x32
4 x12 x2 x3
4 4
x1 x12
x22 x2
(
x
?
xk )T Hessf (xk )(x ?
xk ) ?
R
04:09
一阶导数推广
二阶导数推广
5/41
预备知识 IV
f ( x) ? 1 ( Ax, x) ? (b, x) 2
n
n
? ? =
1 2
aij xi x j ? bi xi
i, j? 1
i?1
gradf ? Ax ? b
? ?2 f
? ?
04:09
11/41
取初值点 x(0), 取负梯度方向 r0 = b – A x(0)
《数值分析》 11
? 初等变分原理 ? 最速下降法 ? 共轭梯度法 ? 数值试验算例
04:09
1/41
从瞎子下山到最优化方法
Science of Better
04:09
预备知识I
设 x, y? Rn , 记 ( x , y) = xT y ?( x, y ) = ( y, x ); ?( tx, y ) = (x, ty )= t ( x, y); ?( x+ y, z ) = ( x, z ) + ( y, z ); ?( x, x) ≥ 0, 且( x, x) = 0 ? x = 0; ?(x,y)=||x||2|y||2cos<x,y>;
R
n
? f ( x) ? f ( xk ) ?
( x ?f ( xk )
?xi
i
?
xik )
i?1
n
? ?
1 2
( x ? 2 f ( xk )
?xi?x j
i
?
x
k i
)(
x
j
?
x
k j
)
?
R
i , j?1
f (x) ?
f ( xk ) ? (gradf ( xk ))T ( x ?
xk ) ?
1 2
2
对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0
f ( x) ? f (u) ? 1 ( Ax, x) ? (b, x) ? 1 ( Au, u)
2
2
? 1 ( A( x ? u), ( x ? u)) ? 0 2
04:09
8/41
设 u 使 f(x) 取极小值。取非零向量 x∈R n,
x x
3 3
? ? ?
2 x12 x22 ??
04:09
4/41
泰勒展式 :
预备知识 III
f ( x) ? f ( xk ) ? f ?( xk )( x ? xk ) ? f ??( xk )( x ? xk )2 ? R
f (x) ?
f (xk) ?
( x ? ?f ( xk )
?x1
1
x1k ) ?
在 x 处,梯度方向是 f(x) 增长最快方向 负梯度方向是 f(x) 下降最快方向
f ( x) ? f ( x k ) ? (gradf ( x k ))T ( x ? xk ) ? f ( x k ) ? tk(gradf ( x k ))T dk , 其中dk为x ? xk单位向量, tk为步长。
所以u 是方程组 Ax = b 的解。
04:09
9/41
瞎子与计算机
? 瞎子: 能感觉到脚下的坡度(这是海拔函数 在当前点的梯度值),但不知道山上其它点 的任何情况
? 计算机: 计算目标函数在该点的信息(如函 数值和梯度值), 但不知道其它点的信息
04:09
最速下降法 (Gradient Descent)
设A是 n 阶对称正定阵 ?( Ax, y ) = ( x, Ay )= (A y, x )= ( y, Ax ); ?( Ax，x ) ≥0, 且( Ax, x) = 0 ? x = 0
04:09
3/41
预备知识 II
? ? 梯度: ? f ( x) ? gradf ( x) ?
, ,L , ?f ?f
( x ?f ( xk )
?x2
2
?
x2k )
?
1 2
( x ? 2 f ( xk )
?x1?x1
1
?
x1k )( x1 ?
x1k ) ?
( x ? 2 f ( xk )
?x1?x2
1
?
x1k )( x2
?
x2k )
?
1 2
( x ? 2 f ( xk )
?x2?x2
2
?
x2k )( x2
?
x2k ) ?