1-2 线性方程组求解
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n 1 1 n n ϕ(x )= ( Ax , x ) − ( b, x ) = ∑ ∑ a ij x i x j − ∑ bi x i 2 2 i =1 j =1 i =1
（2）
1 例 ： 设 A = 2 1 ( x 12 ϕ (x )= 2
2 , 6
4 b = 10
x=0
15
设 A对 称 正 定 ， 求 解 的 线 性 方 程 组 为 Ax = b
（1）
其 中 A = ( a ij ) ∈ R n× n , x = ( x1 , x 2 , ..., x n )T , b = ( b1 , b2 , ..., bn )T
对 应 的 二 次 函 数 ϕ: R n× n → R， 称 为 模 函 数 ， 定 义 为
5
实现第一轮消元
计算: [m32 m42]T = [a 32 a42 ] / a 22
(1)
(1)
(1)
用–m32乘矩阵第二行加到矩阵第三行; 用–m42乘矩阵第二行加到矩阵第四行; 实现第二轮消元、第三轮消元········· 实现第二轮消元、第三轮消元
6
上三角方程组
n阶方程组消元过程乘法次数 阶方程组消元过程乘法次数: 阶方程组消元过程乘法次数 (n-1)n+(n-2)(n-1)+…+1×2=(n3-n)/3 × 除法次数: 除法次数 (n-1)+(n-2)+…+1=n(n-1)/2
x ( k ) − x ( k −1) < ε 或 r(k) = b- A x (k) < ε 迭代 终 止 。
18
对迭代格式 x ( k + 1) = x ( k ) + α k p ( k ) , ( k = 0,1, ...) 关 键 是 要 确 定 搜 索 方 向 p( k ) 和 搜 索 步 长 α k。
（ 1） 确 定 搜 索 方 向 p ( k ) )减 最 速 下 降 法 ： p ( k ) 取 为 模 函 数 ϕ (x )减 少 最 快 的 方 向 ， )的 即 :ϕ (x )的 负 梯 度 方 向 - grad(ϕ (x )). 共 轭 斜 量 法 ： 取 A - 共 轭 方 向 p ( k )。
1 ϕ ( x ) = ( Ax, x ) − (b, x ) 2
（ 2） 对 一 切 x , y ∈ R n , α ∈ R ） 1 ϕ ( x + α y ) = ( A ( x + α y ), x + α y ) − ( b , x + α y ) 2 1 α2 ( Ay , y ) = ( Ax , x ) − ( b , x ) + α ( Ax , y ) − α ( b , y ) + 2 2 = ϕ ( x ) + α ( Ax − b , y ) +
19
二、最速下降法
)减 最 速 下 降 法 ： 取 模 函 数 ϕ (x )减 少 最 快 的 方 向 ， p(k) )的 ))， 即 :ϕ (x )的 负 梯 度 方 向 - grad (ϕ (x ))， p (k ) = - grad (ϕ (x (k ) ))= r (k )
从x ( 0 )出发寻找 ϕ ( x )的极小点, ϕ ( x ) = ϕ ( x ( 0 ) )是ϕ ( x ) 的等值面 ,因为A正定, 它是n维空间的一个椭球面 , 从x ( 0 ) 出发先找一个使 ϕ ( x )减小最快的方向, 这就是正交于椭 球面的 ϕ ( x )负梯度方向 − ∇ϕ ( x ( 0 ) ).
2 + 6 x 2 + 4 x 1 x 2 ) − ( 4 x 1 + 1 0 x 2）
16
定理1 定理1 函数
对称正定矩阵, 设A =( aij )n×n为实对称正定矩阵 b , x∈R n, 则 x使二次 ∈ 使二次 × 为实对称正定矩阵
取极小值
x 是线性方程组 = b 的解。 是线性方程组Ax 的解。
A
= ( Au , u )
1
2
当λ1 >> λn时，收敛是很慢的， 当 r ( k ) 很小时，因舍入误差的影响，计算将出现 不稳定现象。
23
三、共轭梯度法 (CG) (共轭斜量法) (共轭斜量法 共轭斜量法)
,. . p 设 按 方 向 p ( 0) ,p (1) , . , ( k − 1)已 进 行 k 次 一 维 搜 索 ， 求 得 . ., x ( k )， 下 一 步 就 是 确 定 p ( k )， 再 求 解 一 维 极 小 化 问 题 min ϕ ( x ( k ) + α p ( k ) )
7
解上三角方程组
(a11…ann≠0)
计算：xn = bn /ann
xk=[bk－(ak , k+1xk+1+ … + ak n)] / ak k ( k =n－1,···,1 ) 除法: n次; 乘法: n(n-1)/2次,
n 高斯 克莱姆 2 6 8 3 17 51 4 36 364 5 6 65 106 2885 25206
22
容 易 看 到 ，ϕ(x(k)) 是 单 调 下 降 有 界 序 列 ， 它 存 在 极 限 ， { } 可以证明
(k )
lim x ( k ) = x * = A − 1 b
k→ ∞ k
λ1 − λ n x − x* ≤ x (0) − x * 而且 A A λ1 + λ n 其 中 λ 1 , λ n 分 别 是 对 称 正 定 阵 A的 最 大 、 最 小 特 征 值 ， 的 u
AX = b
X?
b
3
解线性方程组的克莱姆方法 1. 输入矩阵 A 和右端向量 b; 2. 计算 A 的行列式 D,如果 D=0,则输出错信息结束 则输出错信息结束, 否则进行 3 ; 3. 对 k=1,2,···,n 用 b 替换 A 的第 k 列数据 并计算 列数据,并计算 替换后矩阵的行列式值 Dk; 4. 计算并输出 x1 = D1 / D,····, xn=Dn/D, 结束。 结束。 高斯消元法
( y ∈Rn )
的范数。 是向量 x 的范数。
9
(2) || x ||2 = ( ∑ | xi |2 )1 / 2
i =1
n
(3) || x ||∞ = max | xi |
1≤ i ≤ n
10
范数意义下的单位向量: 例3. 范数意义下的单位向量 X=[x1, x2]T
1 -1 1 ||X||1 = 1 -1 1 ||X||2 = 1 -1 1 1
第一步: 将方程组化简为三角形方程组; 第一步: 将方程组化简为三角形方程组; 第二步: 解三角形方程组,获方程组的解。 第二步: 解三角形方程组,获方程组的解。
4
增广矩阵
计算: [m21 m31 m41]T = [a21 a31 a41]T / a11 用–m21乘矩阵第一行加到矩阵第二行; 用–m31乘矩阵第一行加到矩阵第三行; 用–m41乘矩阵第一行加到矩阵第四行;
（ 2） 确定搜 索步长 α k k+1步 确定α k 使得从k步到k+1步是最优的，即：
ϕ ( x ( k +1) ) = ϕ ( x ( k ) + α k p( k ) ) = min ϕ ( x ( k ) + α p( k ) )
α
这称为沿p ( k )方向的一维极小搜索。ϕ ( x ( k +1) )是局部极小。
α2
2
( Ay , y )
（4）
17
构 造 一 个 向 量 序 列 { x ( k ) }， 使 ϕ ( x ( k ) ) → min ϕ ( x )
求 二 次 函 数 ϕ ( x )极 小 值 点 的 一 般 方 法 是 ：
可以采取以下方法： (1） 任 取 一 个 初 始 向 量 x ( 0 )， （2） 构 造 迭 代 格 式 x ( k + 1) = x ( k ) + α k p ( k ) ,
方程组求解
高斯消元法及算法实现 初等变分原理 最速下降法 共轭梯度法
1
参考文献
[1]李庆扬 关治 白峰杉 数值计算原理 清华 李庆扬 白峰杉, 数值计算原理(清华 清华) [2]蔡大用 白峰杉 现代科学计算 蔡大用 白峰杉, [3] 李庆扬 等, 数值分析 [4]Numerical Analysis (Seventh Edition) 影印版） 数值分析 （第七版 影印版） [5]David Kincaid,数值分析 第三版 数值分析(第三版 数值分析 第三版) [6] John H. Mathews,数值方法 数值方法(MATLAB版) 数值方法 版
乘、除法运算共 n(n+1)/2 次, 简记为 O( n2 )
8
一、向量的范数 向量的范数
定义1 设 Rn是n维向量空间 如果对任意 ∈Rn,都有 维向量空间,如果对任意 定义 维向量空间 如果对任意x∈ 都有 一个实数与之对应,且满足如下三个条件 且满足如下三个条件: 一个实数与之对应 且满足如下三个条件
-1 1 -1
-1 ||X|| = 1 ∞
11
二、矩阵的范数
定义 2
12
例5
Frobenius范数 范数
13
极小化方法
一、与线性方程组等价的变分问题 二、最速下降法 共轭斜量法) 三、共轭梯度法(共轭斜量法 共轭梯度法 共轭斜量法 四、预条件共轭梯度法
14
一、与线性方程组等价的变分问题
设x, y∈R n, 记 ( x , y) = xT y ∈ ( x, y ) = ( y, x ); ( tx, y ) = t ( x, y); ( x+ y, z ) = ( x, z ) + ( y, z ); ( x, x) ≥ 0, 且( x, x) = 0 x = 0; 设A是n阶对称正定阵 是 阶对称正定阵 ( Ax, y ) = ( x, Ay ) ; ( Ax，x ) ≥0, 且( Ax, x) = 0 ，
2
线性方程组的矩阵形式
a11x1+ a12x2+····+ a1nxn = b1 a21x1+ a22x2+····+ a2nxn = b2 ········································· an1x1+ an2x2+····+ annxn = bn
( i=1,2,···,n ) 线性方程组求解: 线性方程组求解 1. 直接方法 直接方法; 2. 基本迭代法 基本迭代法; 3. 子空间方法
（3）选择p( k )和α k 使得 ）
( k = 0,1, ...)
其 中 p( k )是 搜 索 方 向 ， α k 是 搜 索 步 长 ，
ϕ ( x ( k +1) ) = ϕ ( x ( k ) + α k p( k ) ) < ϕ ( x ( k ) )
则当k → ∞时，有ϕ ( x ( k ) ) → ϕ ( x * ) = min ϕ ( x ) x∈R n (4)给出误差限ε，直到
20
目标函数为二次函数， 其等值面为椭球面。 目标函数为二次函数， 其等值面为椭球面。
x2
L
x1 x3
x*
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最
快的方向。 快的方向。
21
的算法。 最速下降法是线性收敛 的算法。
最速下降算法： (1)选 取 x ( 0 ) ∈ R n 选 (2)对 k = 0,1, 2, .... 对 r ( k ) = b − Ax ( k ) (r , r ) ( Ar ( k ) , r ( k ) )
(1)正定性 ||x||≥0,且||x||=0 <=> x = 0 ; 正定性: 正定性 且 (2)齐次性 齐次性: λ为任意实数 为任意实数 齐次性 (3)三角不等式 三角不等式: 三角不等式
则称||x||为向量 的范数 则称 为向量x的范数 . 为向量 向量范数是向量长度概念的推广.例如 注: 向量范数是向量长度概念的推广 例如
α
可得
(r (k ) , p(k ) ) α = αk = ( Ap ( k ) , p ( k ) )
(kபைடு நூலகம்) (k )
αk =
, p( k ) α= Ap( k ) , p( k )
(
(r
(k)
)
)
x ( k + 1) = x ( k ) + α k r ( k ) (3)当 x ( k + 1) − x ( k ) < ε 时 ， 终 止 迭 代 。
不难验证，相邻两次的搜索方向是正交的，即 （ r ( k + 1)， r ( k )） 0 = （6）
（2）
1 例 ： 设 A = 2 1 ( x 12 ϕ (x )= 2
2 , 6
4 b = 10
x=0
15
设 A对 称 正 定 ， 求 解 的 线 性 方 程 组 为 Ax = b
（1）
其 中 A = ( a ij ) ∈ R n× n , x = ( x1 , x 2 , ..., x n )T , b = ( b1 , b2 , ..., bn )T
对 应 的 二 次 函 数 ϕ: R n× n → R， 称 为 模 函 数 ， 定 义 为
5
实现第一轮消元
计算: [m32 m42]T = [a 32 a42 ] / a 22
(1)
(1)
(1)
用–m32乘矩阵第二行加到矩阵第三行; 用–m42乘矩阵第二行加到矩阵第四行; 实现第二轮消元、第三轮消元········· 实现第二轮消元、第三轮消元
6
上三角方程组
n阶方程组消元过程乘法次数 阶方程组消元过程乘法次数: 阶方程组消元过程乘法次数 (n-1)n+(n-2)(n-1)+…+1×2=(n3-n)/3 × 除法次数: 除法次数 (n-1)+(n-2)+…+1=n(n-1)/2
x ( k ) − x ( k −1) < ε 或 r(k) = b- A x (k) < ε 迭代 终 止 。
18
对迭代格式 x ( k + 1) = x ( k ) + α k p ( k ) , ( k = 0,1, ...) 关 键 是 要 确 定 搜 索 方 向 p( k ) 和 搜 索 步 长 α k。
（ 1） 确 定 搜 索 方 向 p ( k ) )减 最 速 下 降 法 ： p ( k ) 取 为 模 函 数 ϕ (x )减 少 最 快 的 方 向 ， )的 即 :ϕ (x )的 负 梯 度 方 向 - grad(ϕ (x )). 共 轭 斜 量 法 ： 取 A - 共 轭 方 向 p ( k )。
1 ϕ ( x ) = ( Ax, x ) − (b, x ) 2
（ 2） 对 一 切 x , y ∈ R n , α ∈ R ） 1 ϕ ( x + α y ) = ( A ( x + α y ), x + α y ) − ( b , x + α y ) 2 1 α2 ( Ay , y ) = ( Ax , x ) − ( b , x ) + α ( Ax , y ) − α ( b , y ) + 2 2 = ϕ ( x ) + α ( Ax − b , y ) +
19
二、最速下降法
)减 最 速 下 降 法 ： 取 模 函 数 ϕ (x )减 少 最 快 的 方 向 ， p(k) )的 ))， 即 :ϕ (x )的 负 梯 度 方 向 - grad (ϕ (x ))， p (k ) = - grad (ϕ (x (k ) ))= r (k )
从x ( 0 )出发寻找 ϕ ( x )的极小点, ϕ ( x ) = ϕ ( x ( 0 ) )是ϕ ( x ) 的等值面 ,因为A正定, 它是n维空间的一个椭球面 , 从x ( 0 ) 出发先找一个使 ϕ ( x )减小最快的方向, 这就是正交于椭 球面的 ϕ ( x )负梯度方向 − ∇ϕ ( x ( 0 ) ).
2 + 6 x 2 + 4 x 1 x 2 ) − ( 4 x 1 + 1 0 x 2）
16
定理1 定理1 函数
对称正定矩阵, 设A =( aij )n×n为实对称正定矩阵 b , x∈R n, 则 x使二次 ∈ 使二次 × 为实对称正定矩阵
取极小值
x 是线性方程组 = b 的解。 是线性方程组Ax 的解。
A
= ( Au , u )
1
2
当λ1 >> λn时，收敛是很慢的， 当 r ( k ) 很小时，因舍入误差的影响，计算将出现 不稳定现象。
23
三、共轭梯度法 (CG) (共轭斜量法) (共轭斜量法 共轭斜量法)
,. . p 设 按 方 向 p ( 0) ,p (1) , . , ( k − 1)已 进 行 k 次 一 维 搜 索 ， 求 得 . ., x ( k )， 下 一 步 就 是 确 定 p ( k )， 再 求 解 一 维 极 小 化 问 题 min ϕ ( x ( k ) + α p ( k ) )
7
解上三角方程组
(a11…ann≠0)
计算：xn = bn /ann
xk=[bk－(ak , k+1xk+1+ … + ak n)] / ak k ( k =n－1,···,1 ) 除法: n次; 乘法: n(n-1)/2次,
n 高斯 克莱姆 2 6 8 3 17 51 4 36 364 5 6 65 106 2885 25206
22
容 易 看 到 ，ϕ(x(k)) 是 单 调 下 降 有 界 序 列 ， 它 存 在 极 限 ， { } 可以证明
(k )
lim x ( k ) = x * = A − 1 b
k→ ∞ k
λ1 − λ n x − x* ≤ x (0) − x * 而且 A A λ1 + λ n 其 中 λ 1 , λ n 分 别 是 对 称 正 定 阵 A的 最 大 、 最 小 特 征 值 ， 的 u
AX = b
X?
b
3
解线性方程组的克莱姆方法 1. 输入矩阵 A 和右端向量 b; 2. 计算 A 的行列式 D,如果 D=0,则输出错信息结束 则输出错信息结束, 否则进行 3 ; 3. 对 k=1,2,···,n 用 b 替换 A 的第 k 列数据 并计算 列数据,并计算 替换后矩阵的行列式值 Dk; 4. 计算并输出 x1 = D1 / D,····, xn=Dn/D, 结束。 结束。 高斯消元法
( y ∈Rn )
的范数。 是向量 x 的范数。
9
(2) || x ||2 = ( ∑ | xi |2 )1 / 2
i =1
n
(3) || x ||∞ = max | xi |
1≤ i ≤ n
10
范数意义下的单位向量: 例3. 范数意义下的单位向量 X=[x1, x2]T
1 -1 1 ||X||1 = 1 -1 1 ||X||2 = 1 -1 1 1
第一步: 将方程组化简为三角形方程组; 第一步: 将方程组化简为三角形方程组; 第二步: 解三角形方程组,获方程组的解。 第二步: 解三角形方程组,获方程组的解。
4
增广矩阵
计算: [m21 m31 m41]T = [a21 a31 a41]T / a11 用–m21乘矩阵第一行加到矩阵第二行; 用–m31乘矩阵第一行加到矩阵第三行; 用–m41乘矩阵第一行加到矩阵第四行;
（ 2） 确定搜 索步长 α k k+1步 确定α k 使得从k步到k+1步是最优的，即：
ϕ ( x ( k +1) ) = ϕ ( x ( k ) + α k p( k ) ) = min ϕ ( x ( k ) + α p( k ) )
α
这称为沿p ( k )方向的一维极小搜索。ϕ ( x ( k +1) )是局部极小。
α2
2
( Ay , y )
（4）
17
构 造 一 个 向 量 序 列 { x ( k ) }， 使 ϕ ( x ( k ) ) → min ϕ ( x )
求 二 次 函 数 ϕ ( x )极 小 值 点 的 一 般 方 法 是 ：
可以采取以下方法： (1） 任 取 一 个 初 始 向 量 x ( 0 )， （2） 构 造 迭 代 格 式 x ( k + 1) = x ( k ) + α k p ( k ) ,
方程组求解
高斯消元法及算法实现 初等变分原理 最速下降法 共轭梯度法
1
参考文献
[1]李庆扬 关治 白峰杉 数值计算原理 清华 李庆扬 白峰杉, 数值计算原理(清华 清华) [2]蔡大用 白峰杉 现代科学计算 蔡大用 白峰杉, [3] 李庆扬 等, 数值分析 [4]Numerical Analysis (Seventh Edition) 影印版） 数值分析 （第七版 影印版） [5]David Kincaid,数值分析 第三版 数值分析(第三版 数值分析 第三版) [6] John H. Mathews,数值方法 数值方法(MATLAB版) 数值方法 版
乘、除法运算共 n(n+1)/2 次, 简记为 O( n2 )
8
一、向量的范数 向量的范数
定义1 设 Rn是n维向量空间 如果对任意 ∈Rn,都有 维向量空间,如果对任意 定义 维向量空间 如果对任意x∈ 都有 一个实数与之对应,且满足如下三个条件 且满足如下三个条件: 一个实数与之对应 且满足如下三个条件
-1 1 -1
-1 ||X|| = 1 ∞
11
二、矩阵的范数
定义 2
12
例5
Frobenius范数 范数
13
极小化方法
一、与线性方程组等价的变分问题 二、最速下降法 共轭斜量法) 三、共轭梯度法(共轭斜量法 共轭梯度法 共轭斜量法 四、预条件共轭梯度法
14
一、与线性方程组等价的变分问题
设x, y∈R n, 记 ( x , y) = xT y ∈ ( x, y ) = ( y, x ); ( tx, y ) = t ( x, y); ( x+ y, z ) = ( x, z ) + ( y, z ); ( x, x) ≥ 0, 且( x, x) = 0 x = 0; 设A是n阶对称正定阵 是 阶对称正定阵 ( Ax, y ) = ( x, Ay ) ; ( Ax，x ) ≥0, 且( Ax, x) = 0 ，
2
线性方程组的矩阵形式
a11x1+ a12x2+····+ a1nxn = b1 a21x1+ a22x2+····+ a2nxn = b2 ········································· an1x1+ an2x2+····+ annxn = bn
( i=1,2,···,n ) 线性方程组求解: 线性方程组求解 1. 直接方法 直接方法; 2. 基本迭代法 基本迭代法; 3. 子空间方法
（3）选择p( k )和α k 使得 ）
( k = 0,1, ...)
其 中 p( k )是 搜 索 方 向 ， α k 是 搜 索 步 长 ，
ϕ ( x ( k +1) ) = ϕ ( x ( k ) + α k p( k ) ) < ϕ ( x ( k ) )
则当k → ∞时，有ϕ ( x ( k ) ) → ϕ ( x * ) = min ϕ ( x ) x∈R n (4)给出误差限ε，直到
20
目标函数为二次函数， 其等值面为椭球面。 目标函数为二次函数， 其等值面为椭球面。
x2
L
x1 x3
x*
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最
快的方向。 快的方向。
21
的算法。 最速下降法是线性收敛 的算法。
最速下降算法： (1)选 取 x ( 0 ) ∈ R n 选 (2)对 k = 0,1, 2, .... 对 r ( k ) = b − Ax ( k ) (r , r ) ( Ar ( k ) , r ( k ) )
(1)正定性 ||x||≥0,且||x||=0 <=> x = 0 ; 正定性: 正定性 且 (2)齐次性 齐次性: λ为任意实数 为任意实数 齐次性 (3)三角不等式 三角不等式: 三角不等式
则称||x||为向量 的范数 则称 为向量x的范数 . 为向量 向量范数是向量长度概念的推广.例如 注: 向量范数是向量长度概念的推广 例如
α
可得
(r (k ) , p(k ) ) α = αk = ( Ap ( k ) , p ( k ) )
(kபைடு நூலகம்) (k )
αk =
, p( k ) α= Ap( k ) , p( k )
(
(r
(k)
)
)
x ( k + 1) = x ( k ) + α k r ( k ) (3)当 x ( k + 1) − x ( k ) < ε 时 ， 终 止 迭 代 。
不难验证，相邻两次的搜索方向是正交的，即 （ r ( k + 1)， r ( k )） 0 = （6）