第7章 共轭梯度法
共轭梯度法公式
共轭梯度法公式
共轭梯度法是一种用于求解线性方程组的迭代算法。
其主要思想是通过利用前一次迭代的信息来加速当前迭代的速度，从而减少迭代次数和计算量。
共轭梯度法公式包括以下几个步骤：
1. 初始化：设初始解为x0，残量b0为Ax0-b，共轭方向d0=b0。
2. 迭代求解：对于第k次迭代，计算步长αk，使得xk+1=xk+αkd，其中d是共轭方向，满足dTkAd=0，即d是A的共轭向量。
3. 更新残量：计算新的残量bk+1=Axk+1-b，如果bk+1小于预设精度，则停止迭代。
4. 更新共轭方向：计算新的共轭方向dk+1=bk+1+βkdk，其中βk=(bk+1)Tbk+1/(bk)Tbk，保证dk+1与之前的共轭方向都是A的共轭向量。
5. 重复迭代，直到满足收敛条件，返回最终解xk+1。
共轭梯度法是一种高效的求解大型线性方程组的方法，尤其适用于稀疏矩阵和对称正定矩阵。
公式简单易懂，容易实现，且具有较快的收敛速度。
- 1 -。
共轭梯度法步骤
共轭梯度法步骤共轭梯度法是一种求解线性方程组的迭代算法，它以高效稳定的特点而广受欢迎。
以下是共轭梯度法的步骤：步骤1：初始化首先，我们需要有一个初始向量x0和一个初始残量r0=b-Ax0。
其中，A为系数矩阵，b为常数向量。
步骤2：计算方向向量令d0=r0，表示第一次迭代的方向向量。
步骤3：计算步进长度令α0=(r0·r0)/(d0·Ad0)，其中·表示向量的点积。
α0表示迭代过程中每个方向向量的步进长度。
步骤4：更新解向量令x1=x0+α0d0，表示迭代后的解向量。
步骤5：计算新残量令r1=r0-α0Ad0。
步骤6：判断终止条件如果r1的范数小于预设阈值，或者迭代次数达到预设次数，终止迭代。
否则，进入下一次迭代。
步骤7：更新方向向量令β1=(r1·r1)/(r0·r0)，表示更新方向向量的轴线。
步骤8：计算新方向向量令d1=r1+β1d0，表示新的迭代方向向量。
步骤9：计算新的步进长度令α1=(r1·r1)/(d1·Ad1)。
步骤10：更新解向量令x2=x1+α1d1。
步骤11：更新残量令r2=r1-α1Ad1。
步骤12：重复步骤6至11，直至满足终止条件。
总结起来，共轭梯度法的步骤主要包括初始化、计算方向向量、计算步进长度、更新解向量、计算新残量、判断终止条件、更新方向向量、计算新的步进长度、更新解向量和更新残量等。
该算法迭代次数较少，收敛速度快，适用于大规模线性方程组的求解。
共轭梯度法
•基本思想:把共轭性与最速下降法相结合,利用已 知点处的梯度构造一组共轭方向,并沿着这组方 向进行搜索,求出目标函数的极小点
4.4共轭梯度法
先讨论对于二次凸函数的共轭梯度法,考虑问题
min f (x) 1 xT Ax bT x c
3, giT d (i) giT gi (蕴涵d (i) 0)
证明: 显然m1,下用归纳法(对i)证之.
当i 1时,由于d (1) g1,从而3)成立,对i 2时, 关系1)和2)成立,从而3)也成立.
4.4共轭梯度法
设对某个i<m,这些关系均成立,我们证明对于i+1
也成立.先证2),
因此
2 / 3 1 5/ 9
d (2)
1/ 1
3
1 9
2 0
5/9 1
从x(2)出发,沿方向d (2)进行搜索,求步长2,使满足 :
f
( x (1)
2d (1) )
min
0
f
(x(2)
d (2))
2 0
4.4共轭梯度法
显然, d (1)不是目标函数在x(1)处的最速下降方向.
下面,我们用FR法构造两个搜索方向.
从x(1)出发,沿方向d (1)进行搜索,求步长1,使满足 :
f
( x (1)
1d (1) )
min
0
f
( x (1)
d (1) )
得1 2 3
A正定,故x是f(x)的极小值点.
共轭梯度法原理
共轭梯度法原理共轭梯度法是线性代数中一种求解稀疏矩阵下的大规模线性方程组的方法。
它的优点是它具有迭代次数小的特点，同时也能得到比较准确的解。
共轭梯度法基于梯度下降法，但是避免了梯度下降法的缺点。
梯度下降法每一次迭代都需计算整个向量的梯度，这在高纬度数据中非常复杂，同时使用步长较大时又容易产生来回震荡的现象。
共轭梯度法的优点是在每一次迭代都会寻找一个与上次方向不同的方向，这点可以消除梯度下降法的缺陷。
令A为若干个线性矩阵的乘积，如果我们要解矩阵方程Ax=b，其中b是已知向量，求解的x向量是未知向量。
首先，我们可以用梯度下降法求出一个初值向量x0，称之为迭代初始值。
然后，我们可以利用高斯打乘法和高斯消元得到向量P，并设向量R0=Ax0-b，然后再设P逆矩阵为Pt。
共轭梯度法迭代的主要步骤如下：1. 根据目标函数和梯度函数确定初值x0；2. 初始化残差向量r0=b-Ax0，并设置迭代数k=0；3. 设置搜索方向向量p0=r0；4. 使用一维搜索方法（如Armijo步长准则）寻找最优步长αk；5. 将搜索方向向量移动到新的位置：xk+1=xk+αkp，计算新的残差rk+1=rk+αkAp；6. 如果rk+1=0或者迭代次数已达到设定值，则停止迭代；否则：7. 确定下一个搜索方向pk+1，并重复步骤4-6直到满足收敛条件。
共轭梯度法迭代的优点是每一步都在原解空间的一个线性子空间中求解，因此不需要保存全部解向量，从而大大减少了计算量和存储空间，特别适用于高纬度的线性方程组的求解。
在参数优化、图像处理和物理模拟等领域中广泛应用。
在参数优化中，共轭梯度法可以加速大规模函数的梯度计算，从而加快参数搜索的速度；在图像处理中，共轭梯度法常用于求解稀疏线性系统，例如图像压缩、图像去噪和图像恢复等；在物理模拟中，共轭梯度法可以用于求解偏微分方程组、流体力学问题和计算机视觉等领域。
共轭梯度法公式推导
共轭梯度法公式推导一、问题的提出与预备知识。
1. 二次函数的极小化问题。
- 考虑二次函数f(x)=(1)/(2)x^TAx - b^Tx + c，其中A是n× n对称正定矩阵，x,b∈ R^n，c∈ R。
- 对f(x)求梯度∇ f(x)=Ax - b。
- 求f(x)的极小值点，即求解Ax = b。
2. 共轭方向的概念。
- 设A是对称正定矩阵，若对于非零向量d_1,d_2∈ R^n，满足d_1^TAd_2 = 0，则称d_1和d_2是A - 共轭的（或A - 正交的）。
二、共轭梯度法的基本思想。
1. 迭代格式。
- 共轭梯度法是一种迭代算法，其基本迭代格式为x_k + 1=x_k+α_kd_k，其中x_k是第k次迭代的近似解，α_k是步长，d_k是搜索方向。
2. 确定步长α_k- 为了使f(x_k+1)最小，将x_k + 1=x_k+α_kd_k代入f(x)中，得到f(x_k+α_kd_k)=(1)/(2)(x_k+α_kd_k)^TA(x_k+α_kd_k)-b^T(x_k+α_kd_k)+c。
- 对α_k求导并令其为0，可得α_k=((r_k)^Td_k)/((d_k)^TAd_k)，其中r_k = b - Ax_k=∇ f(x_k)。
三、搜索方向d_k的确定。
1. 初始搜索方向。
- 取d_0=-r_0，其中r_0 = b - Ax_0，x_0是初始近似解。
2. 后续搜索方向。
- 对于k≥1，d_k=-r_k+β_k - 1d_k - 1，其中β_k-1=frac{(r_k)^TAd_k - 1}{(d_k - 1)^TAd_k - 1}。
- 下面推导β_k - 1的表达式：- 因为d_k - 1和d_k是A - 共轭的，所以d_k - 1^TAd_k = 0。
- 将d_k=-r_k+β_k - 1d_k - 1代入d_k - 1^TAd_k = 0，得到d_k - 1^TAd_k=-d_k - 1^TAr_k+β_k - 1d_k - 1^TAd_k - 1=0。
共轭梯度法
共轭梯度法：设w 为n 维矢量，假设优化准则函数为二次函数：()t t J c =++w w Hw u w ，其中H 为n n ⨯的正定对称矩阵。
如果两个矢量,i j d d 满足0ti j =d Hd ，则称它们关于矩阵H 互为共轭。
在n 为空间中存在互为共轭的n 个矢量01,,n -d d ，并且它们是线性无关的。
证明沿共轭方向可以在n 步之内收敛于极值点共轭方向算法：1、 初始化起始点0w ，一组共轭矢量01,,n -d d ，0k =；2、 计算k α和1k +w ，使得：()()min k k k k k J J ααα+=+w d w d 1k k k k α+=+w w d3、 转到2，直到k=n-1为止。
定理：对于正定二次优化函数()J w ，如果按照共轭方向进行搜索，至多经过n 步精确的线性搜索可以终止；并且每一个1i +w 都是在0w 和方向0,,i d d 所张成的线性流形00i j j j α=⎧⎫=+⎨⎬⎩⎭∑w w w d 中的极值点。
证明：令i g 为第i 步的梯度，即：()i i J ==∇w w g w ，上述定理实际上只需证明对j i ∀≤，10ti j +=g d 即可，因为1i +g 正交于0,,i d d ，则1i +g 正交于它们所张成的线性流形，100ii j j j α+==+∑w w d 包含在此线性流形中，因此在此线性流形中()J w 的梯度为0，即1i +w 为在线性流形上的极值点。
当1i n +=时，01,,n -d d 所张成的线性流形即为整个n 维空间n R ，只有当n =g 0时，才有0tn j =g d 成立，因此n w 为极值点。
梯度()J =∇=+g w Hw u ，因此两次迭代之间梯度的差值矢量为：()11k k k k k k k α++=-=-=y g g H w w Hd对于j i ∀<:()111111111tt tttt ti j i j i j i j i j i j j ji t t j j k k j k j i tt j j k k j k j α++-+++=++=+=-+-+-+=+-=+∑∑g d g d g d g d g d g d g d g d g g d g d d Hd因为1k +w 是沿着j d 方向搜索的极值点，因此10tj j +=g d ，而0,,i d d 互为共轭，所以有10i t k k j k j α=+=∑d Hd ，因此：10ti j +=g d上述定理得证。
共轭梯度法详细解读
共轭梯度法详细解读
嘿，朋友们！今天咱就来好好唠唠共轭梯度法。
你想想啊，咱平常解决问题就像走迷宫似的，有时候会在里面转来转去找不到出路，而共轭梯度法呀，就像是在迷宫里给咱指了一条明路！比如说你想找一条最快从山这头到那头的路，共轭梯度法就能帮上大忙啦！
它可不是随随便便就出现的哦，那可是数学家们绞尽脑汁研究出来的宝贝呢！就好比一个超级英雄，专门来打救我们这些在复杂问题里苦苦挣扎的人。
在实际应用里，它可厉害着呢！比如说在工程计算中，要设计一个最完美的结构，共轭梯度法就能迅速算出最优解。
哇塞，这不就相当于有个超厉害的军师在帮咱出谋划策嘛！
你再想想，我们日常生活中很多事情都可以类比成用共轭梯度法来解决问题呀。
比如说你要规划一次旅行，怎么安排路线最合理，不就是在找那个最优的旅行路径嘛，这时候共轭梯度法的思路就能派上用场啦！它就像一个隐藏在幕后的高手，默默地为我们排忧解难。
而且哦，一旦你掌握了它，那种感觉就像是你突然掌握了一种绝世武功，能在各种难题面前游刃有余。
这可太酷了吧！
哎呀呀，共轭梯度法真的是太神奇、太有用啦！大家可一定要好好去了
解它、运用它呀，你绝对会被它的魅力折服的！相信我，没错的！。
共轭梯度法和基本性质
共轭梯度法及其基本性质预备知识定义1设吐竺是对称正定矩阵。
称回凹是A-共轭的，是指況如=0, Pl Ap^ > o p p^Apy >0性质1设有怡久…化⑶s )l 是彼此共轭的即维向量，即则鬥心諾一定是线性无关的［证明］若有一组数1% ■…心討满足则对一切P=°」旳一定有是线性无关的.性质2 设向量国"弧…厨諾是线性无关的向量组,则可通过它们的线性组合得出一组向量 冋丿“…护討，而|円貯，…申詞是两两共轭的.［证明］我们用构造法来证实上面的结论.T_注意到腕弘由此得出:Cfj = O.j即所有的区1=0 .因此，%珂十…+ %P 純^ = Pi + ・・・ +=应住;^Pi r容易验证：列…&胡符合性质2的要求.性质3设1%几…护』是两两A —共轭的，怜已必 是任意指定的向量，那么 从囲出发，逐次沿方向 应1「…化|搜索求际/加-能旬的极小值，所得序列k"i ，满足：［证明］由下山算法可知，从 二出发，沿2方向搜索，获得从而取 Pl 二 El +%弘Jt-iZ =心+乞碍耳，id性质4设 兀乃；匚几-』是两两A 共轭的，则从任意指定的注門出发，依次 沿弘山「'"MI 搜索，所得序列kJz 满足：(1)(2) 或，其中曰是方程组(5.1.1)的解.［证明］(1)是性质3的直接推论，显然成立.(2)由于是两两A 共轭的,故血“，…申”11是线性无关的.所 以对于向量卜一咄可用…申』线性表出，即存在一组数Rof ■经J 使，得出F] P\由于于是，再由得出M-l木=心+乞爲P于是 ---------- 旦 ---- ，与得出 也旦一样地，我们可以陆续得出:对比区］和的表达式可知，I©二兀证明完毕性质4是性质3的直接推论.但它给出了一种求（5 . 1. 1）的算法，这种 算法称之为共轭方向法•结合性质2,我们可以得到如下的性质5.性质5设 陽卧…是丽上的一组线性无关的向量，则从任意指定的S2:计算显然:根据性质4可知，不论采用什么方法，只要能够构造 个两两A 共轭的向量作为搜索方向，从任一初始向量出发，依次沿两两A 共轭的方向进行搜索， 经門 步迭代后，便可得到正定方程组匡可的解.nM-l -T A久一1如一，得出 心二 U+ 计算 出发，按以下迭代产生的序列®二环+%肌.-------------------------------------------------- ?，得出应二咼+冏輕I;如此进行下去，直到第n 步:(521 )共轭梯度法算法步骤如下:［预置步］任意 如三兰I ,计算并令取：肚込J 指定算法终 止常数置肛=D |,讲入主步;［主步］(1)如果%终止算法，输出丈列；否则下行;上rL^Apj, r(3) 计算:(4) 置出弓丘可，转入(1)定理5 .2.1由共轭梯度法得到的向量组丄和二具有如下性质:［证明］用归纳法•当时，因为(2)计算:Po 二巾” h 二円二G+A J F U---------------------------------------------------------------------------------------------------------------------------------------------------- ?卩詁=耐广1 = M （% - %期0）=币6 —Cfp；山刊=5= 01 +几巩）孑禺=X占心-因此定理的结论成立.现在假设定理的结论对冋成立，我们来证明其对曰也成立.利用等式n】二G 一及归纳假设，有P訂如二於％- %云旳\二0 OWi三上1.又由于故定理的结论（1）对比+ 1|成立.利用归纳假定有如毗•・・・/』=零诚％ TvPtK而由（1）所证知，二与上述子空间正交，从而有定理的结论（2）对 __ 也成立.利用等式p如二厂屏1+久刃|和二疗.丐母）并利用归纳法假定和（2）所证之结论，就有=丄咕仮一加）+屁分如「心CU…上-1成立；而由円的定义得这样，定理的结论（3）对U也成立.由归纳法假定知进而再注意到（2）和（3）所证的结论表明，向量组hf 宀j和”"戸“1'"险1 都是线性无关的，因此定理的结论（4）对匸U同样成立.定理证毕定理521表明，向量「「引和|弘，W「珂|分别是Krylov子空间空如匕也的正交基和共轭正交基.由此可见，共轭梯度法最多明步便可得到方程组的解二.因此，理论上来讲，共轭梯度法是直接法.定理5.2.2 用共轭梯度法计算得到的近似解U满足义的Krylov子空间.证明注意到:”⑶斗疋也=広一忌）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定理7.3表明：向量组 r
( 0)
, r ,, r
(1)
(k )
和
p , p ,, p
( 0)
(1)
(k)
分别是Krylov子空间的正交基和共轭正交基。因此，共轭
梯度法最多用n步便可得到方程组的精确解。
Th5.4
由共轭梯度法计算得到的
x
(k )
( k 1)
p
( k 1)
r
( k 1)
x
( k 1)
x
(k )
k p
(k )
k p
(k )
进行下一次迭代
r
0, 0 i j k r , r 0, i j , 0 i , j k Ap , p 0, i j , 0 i , j k
二、最速下降法/*Steepest Descent Method*/
思 想
最速下降法是指每次沿着函数值 下降最快的方向寻找最小值点。
而函数值下降最快的方向是函数的负梯度方向
几何意义：
等值线
x
(0)
x
最速下降法的实现过程 (0) 选取初始向量 x ，由二次函数 ( x ) 的基本性质
(1)
r r
(1)
x
(1)
(1)
2bT x (1)
p A x r p
p
(0) (0) T (1) (0)
( , )
(1)
r
(1)
p
(0)
由极值的必要条件得
(1)T (1) (1)T (0) (1)T (1) 2 r Ar r Ap r r 0 2 r (1)T Ap(0) p(0)T Ap(0) 0
( k )T (k )
终止条件：
r
( k 1)
0
同时注意到
(r , p ) (b Ax ,p ) (k ) (k ) (k ) (k ) (r , p ) k ( Ap , p ) 0
(k ) (k )
( k 1)
( k 1)
(r , p ) ( r , r
(k ) (k ) (k )
(r
( k 1)
,r
(k )
)0
( k 1)
(k )
b Ax (k ) (k ) (r , r ) k (k ) (k ) ( Ar , r ) r
r
(k )
( k 1)
b Ax
(k )
b A( x k r )
x
( k 1)
x
(k )
(k )
k r
设
nn
(0) (1) (l ) (i ) ( j) p , p , , p 满足 ( Ap , p ) 0 i j
Def
设 A R
n n
为对称正定矩阵，若 R 中向量组
n
则称它是 R n 中的一个A 共轭（A 正交）向量组。
思 想
利用一维极小搜索方法确定一组 A 共轭方向 代替最速下降法中的正交方向来进行迭代。
设 A 对称正定，则 x 为
xR
证明： 必要性由上述性质易知，下证充分性： 如果 ( x
) min ( x ) n
xR
则由极值的必要条件得
( x ) 2( Ax b) 0 Ax b 2 ( x) A 0
定理7.1说明：求解方程组的解等价于求上述 二次函数的最小值。常用方法：迭代解法
设
( x) x Ax 2 x b aij xi x j 2 b j x j
T T
n
n
n
i 1 j 1
j 1
二次函数 ( x )的基本性质： 对 x R , ( x) 2( Ax b)
n
设 x A b 为 Ax b 的解，则
1
(0)
r
(0)
)
( x r ) A( x r ) 2b ( x r )
( 0) T ( 0) ( 0)
(r , r ) 0 ( 0) ( 0) ( Ar , r )
d (0) (0) (0) (0) 注意到 2 ( x r ) ( Ar , r ) 0 d
T
2
0
0
1
1
0
计算
( 0)
0
x1 x2
3
( 0)
1
1
Step1
2
( 0)
x3
3
解： 易验证系数矩阵是对称正定的.
p r
( 0)
b Ax
(1)
( 0)
(3 1 3)
( 0)
T
(r , r ) 0 ( 0) (0) ( Ap , p ) 55
x 19
x
0 p
( 0)
19 T (3 1 3) 55
r
(k )
k Ar
(k )
如果
r
，停止
缺陷：收敛速度慢
否则，进行下一次循环
(k ) x 则由前述最速下降算法产生的序列 满足
Th7.2
设
A 的特征值为 0 1 n ,
x
其中
(k )
x
A
x A b。
1
n 1 n 1
(1 )
和
所张成的下列二维平
面内找出函数值下降最快的方向作为搜索方向
p
(1)
2 x x
(1)
r
(1)
p : , R
(0)
p 、p
(1)
(0)
和
r
(1 )
的几何意义
2
x p
(1)
r
(1)
x
(1)
p
(0)
此时 ( x ) 在 2 上可表示为
x
p
( 0)
b Ax ( 0) r
(k )
k Ap
(k )
如果 r
( k 1)
0 ，停止
( k 1)
否则，计算
For k=0 , 1 , 2 , … , n
(r , r ) 计算 k (k ) (k) ( Ap , p )
(k )
(r , r ) k (k ) (k ) (r , r )
2
( 0)
( 0)
min ( x
(0)
r ) (x
(0)
(0)
0r )
(0)
令 x(1)
下面以
x
x
(1 )
( 0)
0r
( 0)
，从而完成第一次迭代。
为新的初值，重复上述过程。
最速下降法的算法
选取初值
(k )
x
( 0)
R
(k )
n
搜索方向是正交的：
For k=0,1,2,…
Step2 计算
(1)
r
(1)
r
( 0)
0 Ap
( 0)
6 T (1 6 1) 55
(1) (1)
(r , r ) 72 (r , r ) 55 0 ( 0) ( 0) 1 (1) (1) ( r , r ) 3025 ( Ap , p ) 57
p r 0 p
r ( x ) b Ax (0) ( 0) 如果 r 0 ，则 x 就是方程组的解； ( 0) (0) 如果 r 0 ，则沿 r 方向进行一维极小搜索：
( 0) ( 0)
(0)
求步长
d (0) (0) (x r ) 0 d
( 0) ( 0) T ( 0)
(x ，使得 min
(1) (1) ( 0)
(1)
114 T ( 1 18 1) 3025
(1) TΒιβλιοθήκη xr( 2)
x 1 p (1 1 1)
(1)
( 2)
b Ax
( 2)
(0 0 0)
T
迭代结束
( j)
Th7.3
由共轭梯度法得到的 r
(i )
,p
(i )
满足性质：
,p
(i)
( j)
(i )
( j)
(i)
Krylov (克雷洛夫)子空间
(0)
span r , , r
(0)
A, r
span p , , p , k 1 span r , Ar ,, A r
共轭梯度法的实现过程
选取初始向量
x
(0)
，p
( 0)
( 0)
r
(1)
( 0)
，
( 0)
x x
(1)
( 0)
0 p , r
b Ax
p
(0)
(r , r ) ( 0) ( 0) ( Ap , p )
(1)
( 0)
( 0)
如何确定下一个搜索方向呢？ 在过点
x
(1 )
的由向量 r
( x ) ( Ax , x )
，且对 x R 有
n
( x) ( x ) ( Ax, x) 2( Ax , x)
( Ax , x ) ( A( x x ), x x )