数值分析12.ppt

10/18
解对称正定方程组Ax 最速下降算法: 解对称正定方程组 = b 的最速下降算法 第一步: 第一步 取初值 x(0)∈R(n) , ε>0,计算 计算 r0 = b – Ax(0) , k 0;
第二步: 第二步 计算 tk = (rk ,rk ) / (Ark , rk) x(k+1) = x(k) + tk rk ; 第三步: 第三步 k rk+1 = b – Ax(k+1) ;
∂f = ∇f ⋅ l =|| ∇f || cos < ∇f , l > ∂l l 与∇f 方向一致时, 方向导数取得正最大值
∇f 是 f(x) 增长最快方向 l 与 ∇f 方向相反时, 方向导数取得负最小值
– ∇f
是
f(x) 下降最快方向
8/18
g’(0) = fx1v1+ fx2v2+ ····,+fxn vn
3/18
—— 初等变分原理 ——
I 方程组问题 Ax = b 方程组问题: 1 T T II 极值问题 min f ( x ) = x Ax − b x 极值问题: n 设x, y∈R n, 记 ( x , y) = xT y ( x, y ) = ( y, x ); ( tx, y ) = t ( x, y); ( x+ y, z ) = ( x, z ) + ( y, z ); ( x, x) ≥ 0, 且( x, x) = 0 x = 0; 设A是n阶对称阵 是 阶对称阵 ( Ax, y ) = ( x, Ay ) ; ( Ax，x ) ≥0, 且( Ax, x) = 0 ，
k+ 1, 如果 ||rk|| ≥ ε,转第二步 转第二步; 转第二步
否则,输出 结束. 否则 输出: x(k) , 结束 输出
11/18
—— 共轭梯度法 ——
A是n阶对称正定矩阵 非零向量 p1, p2∈Rn 是 阶对称正定矩阵 阶对称正定矩阵,非零向量 共轭: 两个向量 p1, p2 共轭
(Ap1, p2)=0
《数值分析》 12
积分方程数值解 初等变分原理 最速下降法 共轭梯度法
——积分方程数值解—— 未知函数y(x)满足如下积分方程 满足如下积分方程 未知函数
y( x ) = ∫ (1 − 3 xs ) y( s )ds + (1 − 3 x )
0 1
取正整数n, 取正整数 ,令h = 1/ n,xj = jh (j = 0,1,···,n)。 , , , , 。 记yj = y(xj)。得 。
任意x (Ay, y)≥ 0 任意 ∈R n,令y = x – u 令 1 f ( x ) = f ( y + u) = ( A( y + u), y + u) − (b, y + u) 2 1 = ( Ay , y ) + f ( u) + ( Au − b, y ) ≥ f ( u) 2 5/18
A=[4 3 0;3 4 -1;0 -1 3]; b=[24;30;-24];x=[0;0;0]; k=0;r=b-A*x; er=norm(r,1); while er>0.0005 t=(r'*r)/(r'*A*r); x=x+t*r; r=b-A*x; er=norm(r,1); k=k+1; end x, k , er
x∈ R
2
x=0
4/18
定理4.10 设A =( aij )n×n为实对称正定矩阵 对称正定矩阵, 定理 × 为实对称正定矩阵 b , x∈R n, 则 x 使二次函数 ∈ 1 f ( x ) = ( Ax , x ) − (b, x ) 2 x 是线性方程组 Ax = b的解。 的解。 取极小值 的解 证明: u 是方程组 Ax = b 的解 证明 Au – b=0.
(i≠j; i, j = 1,2,···,m )
n个向量 p1, p2 ,···, pm 共轭概念 个向量 共轭概念:
(Api , pj )=0
非零向量p 非零向量 1, p2 ,···, pm ∈Rn p1, p2 ,···, pm 关于 共轭 关于A共轭 p1, p2 ,···, pm 线性无关
2
∇f =Ax – b
最速下降方向: 最速下降方向 r = –∇f = b – Ax ∇
9/18
取初值点 x(0), 取负梯度方向 r0 = b – A x(0) 求点: 求点 x(1) = x(0) + t0r0 使得
f (x
(0)
+ t 0 r0 ) = min f ( x
t∈ R
(0)
+ t r0 )
13/18
( k = 1,2,···, n )
简单共轭梯度算法
第二步: 第二步 计算 tk = (pk ,rk-1 ) / (Apk , pk) x(k) = x(k-1) + tk pk ; 第三步: 如果k 则结束; 第三步 如果 = n,则结束 则结束 否则, 转第四步; 否则 计算 rk = b – Ax(k) ;转第四步 转第四步 第四步: 如果 ||rk|| ≤ ε, 则结束 否则 计算 结束;否则 计算: 否则,计算 第四步 bkj = (Apj , rk ) / (Apj , pj ) , ( j = 1,···, k) pk+1 = rk – ( bk1 p1+ ··· + bkk pk ) k k+ 1,转第二步 转第二步. 转第二步
x1
x2
= a j 1 y0 + a j 2 y1 + a j 3 y2
得三阶线性方程组
y0 = a11 y0 + a12 y1 + a13 y2 + (1 − 3 x0 ) y1 = a21 y0 + a22 y1 + a23 y2 + (1 − 3 x1 )
y2 = a31 y0 + a32 y1 + a33 y2 + (1 − 3 x2 )
17/18
共轭梯度法
x= 3.8824 2.8235 -7.0588 k= 3 er = 2.1316e-014
A=[4 3 0;3 4 -1;0 -1 3]; b=[24;30;-24];x=[0;0;0]; k=0;r=b-A*x;er=norm(r,1); p=r; while er>0.0005 t=(p'*r)/(p'*A*p); x=x+t*p; if k==3,break, end r=b-A*x;er=norm(r,1); bk=(r'*A*p)/(p'*A*p); p=r-bk*p;k=k+1; end x 18/18
14/18
定理4.13 设 Ax = b 中矩阵 是n阶对称正定 中矩阵A是 阶对称正定 定理 矩阵,则简单共轭梯度算法中 矩阵 则简单共轭梯度算法中 rk , pk 满足 (1) (Api , pj )= 0 (2) ( rk , pj ) = 0 ( i ≠ j ); ( j = 1,···, k )
12/18
定理4.12 A是n阶对称正定矩阵 p1, p2 ,···, pn 阶对称正定矩阵, 定理 是 阶对称正定矩阵 是关于A共轭的向量组 共轭的向量组, 是关于 共轭的向量组 任取 x(0)∈Rn , 计算 tk = ( b – Ax(k-1) , pk) / (Apk , pk ) x(k) = x(k – 1) + tk pk 则有 Ax(n) = b. 第一步: 第一步 取初值 x(0)∈R(n) , ε>0,计算 r0 = b – Ax(0), 计算 结束; 否则p 若|| r0||≤ ε结束 否则 1 r0 ,k 1, 转第二步 转第二步;
所以, 的解. 所以 u 是方程组 Ax = b 的解
618
——最速下降法 最速下降法—— 最速下降法
从初值点x 出发,以负梯度方向 从初值点 (0) 出发 以负梯度方向 r 为搜索方向 选择步长t 得 求函数f(x)极小值 选择步长 1,得x(1) = x(0) + t1r,求函数 极小值 求函数 在 x处,梯度方向是 f(x) 增长最快方向 处 梯度方向是 负梯度方向是 f(x) 下降最快方向 梯度: 梯度 ∇f = gradf(x) =[ fx1, fx2, ····, fxn ]T
(3) ( rk , pk+1 ) = ( rk , rk ) (4) ( rk , Apj ) = 0 ( j > k + 1) (5) r1 , r2 ,··· , rm 为正交向量组 (5) ( rk , rj )= 0 ( j =1,···, k – 1 )
15/18
简单算法中 bkj = (Apj , rk ) / (Apj , pj ) , ( j = 1,···, k) pk+1 = rk – ( bk1 p1+ ··· + bkk pk ) rj = b – Ax( j ) = b – A ( x( j - 1) + tj pj ) = rj – 1 - tj A pj Apj = - ( rj - rj – 1 )/ tj bkj = [(Apj , rk ) / (Apj , pj )] = 0 ( j = 1,···, k-1) pk+1 = rk –bkk pk
取极小值. 设u使 f(x) 取极小值 任取非零 x∈R n,任意 t∈R 使 任意 1 f ( u + tx ) = ( A( u + tx ), u + tx ) − (b, u + tx ) 2 2
t = f ( u) + t ( Au − b, x ) + ( Ax , x ) 2
令g(t) = f( u + tx), 当t=0时, g(0)= f(u)达到极小 时 达到极小 值, 所以 g’(0) =0 ,即 即 ( Au – b , x ) = 0 Au – b = 0