23矩阵的条件数与病态方程组讲解
矩阵的范数和条件数
① A0,& A ,0 A0
② A A,R
③ A B A B, A ,B R n n ④ A B A B, A ,B R n n
⑤ Ax Ax, xRn
上海理工大学 理学院
University of Shanghai for Science and Technology
2 2 x x 1 1 6 .0 0 0 0 6 1 x x 2 2 8 8 .0 0 0 0 1 与 2 2 x x 1 1 5 .9 9 9 9 6 9 x x 2 2 8 8 .0 0 0 0 2
其解分别为：x
x1 x2
College of SciA的实值函数N(A)=‖A‖,满足条件:
(1)非负性: ‖A‖0 ,且‖A‖=0当且仅当 A=0; (2)齐次性: ‖A‖=| |‖A‖, R; (3)三角不等式:‖A+B‖‖A‖+‖B‖; (4)柯西－施瓦茨不等式:‖AB‖‖A‖‖B‖. 则称‖A‖为矩阵A的范数.
x
b
上海理工大学 理学院
University of Shanghai for Science and Technology
College of Science
注：一般判断矩阵是否病态，并不计算A1，而由经验得出。
行列式很大或很小（如某些行、列近似相关）； 元素间相差大数量级，且无规则； 主元消去过程中出现小主元； 特征值相差大数量级。
A1
很小
A
A
A
A
条件数表示了对误差的放大率
上海理工大学 理学院
University of Shanghai for Science and Technology
病态矩阵
病态矩阵
病态矩阵的最根本的特征：病态矩阵的条件数（||A||*||A^(-1)||定义为A 的条件数，||A||为A的范数，MATLAB中范数的求法c = cond(A,p)，p为几范数，默认情况下为二范数）很大（可以用机器精度的一半来衡量,比如双精度浮点数的精度大约是10^(-16)，那么条件数大于10^8就算比较坏了.），即最大特征值与最小特征值的比值很大。
病态矩阵对扰动特别敏感。
病态矩阵矩阵不能求逆。
例如，有一个变量是其他三个变量之和，这个变量也存在于模型中，这个矩阵就是病态矩阵。
解决方法：
1.利用正则化方法可以解决这一问题
最经典的正则化方法就是Tikhonov正则化，另外一种方法就是Total Variation
2.奇异值分解
将病态矩阵分解为A=SVD
3.模拟退火算法
/view/3a75ad82bceb19e8b8f6baad.html#opennewwindow
4./link?url=ripw0P7tMkcEl2x5zmkOJ-_iDFdfOLQ0Ox9ao cKY3sAJMFXEBQa__Yq6OVb3R41__nvgiWEQhA0bxXWzZzpQiFH7_IlNWlvqyrkKjLqvQ qC。
数值分析向量,矩阵范数,矩阵的条件数
§8 向量,矩阵范数，矩阵的条件数一 、 向量、矩阵范数为了讨论线性方程组近似解的误差估计与研究解方程组迭代法的收敛性，需要在)(nn nRR ⨯或中引进向量序列(或矩阵序列)极限概念。
为此，这就需要对量空间n R (或n n R ⨯矩阵空间)元素的“大小”引进某种度量即向量范数(或矩阵范数)即距离的概念。
(一)向量范数：向量范数是3R 中向量长度概念的推广。
},{1为复数i n nx x x x x C ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡== 称为n 维复向量空间。
},)({为复数ij n n ij n n a a A A C ⨯⨯==称为n n ⨯复矩阵空间。
(2)设nn nCA C x ⨯∈∈,,称T n Hx x x x=≡),,(1 为x 的共轭转置，T H A A =称为A 共轭转置矩阵。
在许多应用中，对向量的范数(对向量的“大小”的度量)都要求满足正定条件，齐次条件和三角不等式，下面给出向量范数的抽象定义。
nR x ∈(或nC x ∈)的某个实值非负函数x x N ≡)(，如果满足下述条件(1)正定性 00,0=⇒⇐=≥x x x (2)齐次性 x ax α=其中R ∈α(或C ∈α)(3)三角不等式 )(,,nn C R y x y x y x ∈∈∀+≤+或，称x x N ≡)(是n R 上(或n C )一个向量范数(或为模)。
由三角不等式可推出不等式 (4)y x y x -≤- 下面给出矩阵计算中一些常用向量范数。
设)(),,(1nn T n C x R x x x ∈∈=或(1)向量的“∞”范数 i n i x x x N ≤≤∞∞=≡1max )((2)向量的“1”范数 ∑==≡ni i x xx N 111)((3)向量的“2”范数 2/1122/122)(),()(∑===≡ni i x x x xx N(4)向量的能量范数 设n n R A ⨯∈为对称正定阵2/1),()(x Ax xx N R x AA n =≡→∈∀称为向量的能量范数。
谈谈矩阵条件数及其几种计算方法
谈谈矩阵条件数及其几种计算方法摘要：矩阵条件数在数值分析领域中有重要作用，特别是在线郑治波性方程组和矩阵特征值扰动分析中有广泛的应用，条件数的大小就决定了方程组解的相对误差的大小，用条件数来判断方程组的解对于误差的敏感度是很有用的，它反映了方程组的状态。
关键词：矩阵条件数估计在生产实践和企业管理等实际问题中，经常会碰到许多大型线性方程组的求解问题，其系数阵a总是以抽样统计数据或以实验数据为基础。
统计技术的高低，实验仪器分辨率的高低等等都将给数据带来误差，而这种不可避免的误差，有时甚至是微小的变动也会引起解的极大波动，这时就称系数阵为“病态矩阵”。
对于这种“病态矩阵”一般的算法很难得出理想的结果。
我们知道，算法对误差的传播和积累有很大影响，为了减少这种影响，算法的选取是很重要的，这就是通常所说的算法的稳定性问题。
另一方面，方程组本身对计算中误差的积累也起着极其重要的作用，系数阵a的条件的好坏至关重要，如果问题是病态的，那么即使选择良好的计算方法，也不能指望有好的结果出现，因此判别原始方程组是否病态是十分重要的。
怎样有效地判别矩阵是否为病态矩阵？近几十年国内外许多从事计算数学的学者都在进行摸索研究，得知“条件数”与矩阵病态有密切关系。
“条件数”这一名词在上世纪五十年代初出现，主要用来衡量矩阵的病态程度，条件数越小，则矩阵的非奇异程度越高，称矩阵是良态的；条件数越大，则矩阵的非奇异程度越差，称矩阵为病态的。
另外，在数值分析中，常常要讨论矩阵扰动对一个给定矩阵的特征值的影响，条件数可以衡量矩阵的特征值经过扰动的偏离度，也是衡量矩阵a关于特征值问题是否良态的重要标志。
然而由于矩阵的阶数较大时，的计算量大导致应用定义计算矩阵条件数十分困难，因此，矩阵条件数的估计对研究各种矩阵问题有着重要意义。
1.条件数的提出（1）线性方程组的条件数考虑线性方程组的求解，其中用精确的计算求解得：若对常数列加入的摄动量，即考虑，所得解与之差是 .显然，对方程组的右端向量只不过改变了，而解却相差1806 .又如，设，，，由计算可知方程组和方程组的解分别为和 .由此可见，系数矩阵只产生的误差而解却产生300000 的误差。
2-3矩阵条件数
另一方面
b A~ x A x~ x
x~ x b A~ x A
x A b x A
x~ x x b A~ x A A1
1
1
1 1 b 1 x A b
b A~ x 1 b b cond( A)
关于条件数的补充：有定理表明，当矩阵A十分病 态时，就说明A已十分接近一个奇异矩阵。
由第一章习题4酉矩阵与谱范数的性质可得 （5）A，B可逆 cond( AB) cond( A) cond(B )
cond( AB) AB AB
1
A B A1 B 1 cond( A) cond(B)
x
x
cond( A)
b
b
cond( A) 越大，解的相对误差界可能越 大，对求解线性方程组来说就越可能呈现 病态。 cond( A) 多大A算病态，通常没有具体的定 量标准； cond( A) 越小，解的相对误差界越小，呈现 良态。
相对误差
定义 设A为非奇异矩阵， 为矩阵的算子范数，
则称 cond( A) A A1 为矩阵A的条件数。 常用的条件数为：
cond ( A) A A
1
cond1 ( A) A 1 A
1 1
cond 2 ( A) A 2 A
1 2
max ( AH A) min ( AH A)
定理2.6 设Ax = b，A为非奇异矩阵，b为非零 ~ 向量，则方程组近似解 x的事后估计式为 ~ ~ b Ax xx b A~ x
1 cond( A)
b
x
cond( A)
b
~ ~ 其中称 b Ax 为近似解 x的余量，简称余量。
数值分析（Hilbert矩阵）病态线性方程组的求解Matlab程序
数值分析（Hilbert矩阵）病态线性⽅程组的求解Matlab程序（Hilbert 矩阵）病态线性⽅程组的求解理论分析表明，数值求解病态线性⽅程组很困难。
考虑求解如下的线性⽅程组的求解Hx = b ，期中H 是Hilbert 矩阵，()ij n n H h ?=，11ij h i j = +-，i ，j = 1,2，…，n 1. 估计矩阵的2条件数和阶数的关系2. 对不同的n ，取(1,1,,1)n x =∈，分别⽤Gauss 消去，Jacobi 迭代，Gauss-seidel 迭代，SOR 迭代和共轭梯度法求解，⽐较结果。
3. 结合计算结果，试讨论病态线性⽅程组的求解。
第1⼩题：condition.m %第1⼩题程序t1=20;%阶数n=20x1=1:t1;y1=1:t1;for i=1:t1H=hilb(i);y1(i)=log(cond(H));endplot(x1,y1);xlabel('阶数n');ylabel('2-条件数的对数（log(cond(H)）');title('2-条件数的对数（log(cond(H)）与阶数n 的关系图');t2=200;%阶数n=200x2=1:t2;y2=1:t2;for i=1:t2H=hilb(i);y2(i)=log(cond(H));endplot(x2,y2);xlabel('阶数n');ylabel('2-条件数的对数（log(cond(H)）');title('2-条件数的对数（log(cond(H)）与阶数n 的关系图');画出Hilbert 矩阵2-条件数的对数和阶数的关系n=200时n=20时从图中可以看出，1）在n⼩于等于13之前，图像近似直线log（cond（H））~1.519n-1.8332）在n⼤于13之后，图像趋于平缓，并在⼀定范围内上下波动，同时随着n的增加稍有上升的趋势第2⼩题：solve.m%m第2⼩题主程序N=4000;。
2范数和条件数病态方程组
由于
( I A)( I A)1 I ( I A)1 A( I A)1 I
( I A)1 I A( I A)1
在最后一式两端取范数，得
( I A) 1 I A ( I A) 1
1 A
( I A) 1 I 1.
练习:计算矩阵
1 2 A 3 4 的各种范数.
答案 : 6,7, 15 221 , 30
§2.3 矩阵的条件数与病态线性方程组
2.3.1
矩阵的条件数与线性方程组的性态
给定线性方程组 Ax =b，现在考察，系数矩阵 A 和常数列 b 有了微小变化 △A，△b ，它如何影 响解向量 x，即，解向量 x 的变化量 △x 何样？ 由于A （或 b）的元素是测量得到的，或者是 计算的结果，在前种情况下， A （或 b）常常带有 某些观测误差，在后种情况下， A （或 b）包含舍 入误差，因此我们处理的实际矩阵是A + △A （或 b+ △b ）。
n×n矩阵 A，式(1.2)中定义的函数是一种矩阵范 数，并且它与给定的向量范数是相容的.
A max Ax
单位球上的 最大像值
x 1
(1.2)
证明 先证相容性. 对任意的n×n矩阵A和n维非零向
量 y. 由于
y 1 max Ax A Ay . x 1 y y
所以有
Ay y max Ax y A ,
考察方程组 Ax = b, 当 A 或 b 有微小扰动时, 对解的影响， 首先看一个例子：
1 x1 2 1 , 1 1.0001 x2 2 1 x1 2 1 x 1 1.0001 2.0001 2
范德蒙矩阵形式下的病态线性方程组求解
范德蒙矩阵形式下的病态线性方程组求解Wang Hui-rong;Jia Wu-yan【摘要】文章以范德蒙德矩阵为例,运用Matlab软件分析其阶数与2-条件数的关系,得出随着其阶数的增加,2-条件数越来越大,病态程度也越来越严重.然后选用单参数迭代法和新主元加权迭代法分别对以系数矩阵是范德蒙德矩阵的病态线性方程组进行求解,从数值结果可以看出,选取适当的加权因子对求解此病态线性方程组同样有较好的精度和收敛速度.【期刊名称】《长治学院学报》【年(卷),期】2019(036)002【总页数】3页(P3-5)【关键词】病态线性方程组;范德蒙矩阵;单参数迭代法;新主元加权迭代法【作者】Wang Hui-rong;Jia Wu-yan【作者单位】;【正文语种】中文【中图分类】O241在许多科学和工程领域中，常常会遇到求解线性方程组的问题，而方程组解的准确性则由其性态所决定。
病态线性方程组是在计算过程中经常要遇到的问题，因其系数矩阵的条件数很大，故会使得解严重失真。
近年来，求解病态线性方程组的新算法不断推出，文献[1]采用了正则化方法求解病态方程组，文献[2]提出了病态问题的增广方程组法，文献[3]给出了精细积分解法等，并给出了一些数值例子来说明有较好的效果。
但这些算法中选取的数值例子比较单一，大多数都以Hilbert矩阵为例来研究病态线性方程组，而针对系数矩阵为范德蒙德矩阵的研究相对较少。
文章选取以系数矩阵为范德蒙德矩阵的病态线性方程组，借鉴文献[4]提供的单参数迭代法和文献[5]中的新主元加权迭代法，对病态线性方程组进行分析求解。
结果表明选取的迭代方法切实可行，对分析此病态线性方程组有很大帮助。
1 范德蒙德矩阵的病态性分析选取n阶的范德蒙德矩阵如下：估计其阶数与2-条件数的关系，分析其病态性。
表1 阶数n与条件数阶数n c o n d 2（A）5 2.6 1 7 0 e+0 0 4 6 7.3 1 2 0 e+0 0 5 7 2.4 4 5 9 e+0 0 7 8 9.5 2 1 1 e+0 0 8 9 4.2 2 6 1 e+0 1 0 1 0 2.1 0 6 3e+0 1 2 1 1 1.1 6 4 5 e+0 1 4 1 2 7.0 7 1 9 e+0 1 5 1 3 4.6 7 9 7 e+0 1 7 1 4 3.3 5 1 4 e+0 1 9 1 5 2.5 8 2 4 e+0 2 1 1 6 2.1 3 0 4 e+0 2 3由表1的数据可知，随着范德蒙德矩阵阶数的增加，其2-条件数也越来越大，病态性也越来越严重参见文献[6-7]。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b
33
4488倍
x
13.6
1360%
x
1
(x1, x2, x3, x4 )T (81,137,34,22)T
15111倍
A 0.3 0.9%
A
33
x
136
13600%
x
1
2.3 矩阵的条件数与病态方程组
一、矩阵的条件数 ★矩阵条件数的定义 ★矩阵条件数的性质
1010
例（P49）
cond(A) 1011
1010 0.1
n1
1 n
1 n 1
1 n2
1 2n 1
对称正定矩阵
在MATLAB中，函数hilb（）提供了Hilbert矩阵
H4 hilb(4)
希尔伯特（Hilbert）阵 -----最著名的病态矩阵
Hilbert矩阵的条件数：
cond (H4 ) 1.55104, cond (H6 ) 1.49107 cond (H8 ) 1.531010 cond (H5 ) 4.761105, cond (H10) 1.60251013 cond (H15) 8.4881017cond (H20) 1.90841018
得：ans=1.000, 1,000, 1.000, 1.000, 0.999 1.000，0.999， 1.000， 0.999，1.000
输入： n 20; H hilb(n);b H *ones(n,1); x H \ b; x,
得：ans=1.000, 1,000, 1.001, 0.979 1.202 -0.141, 4.886, - 6.842, 9.446, -2.9071 6.4271, -19.1914,24.787,9.577, -50.545, 65.566, -47.751, 27.814, -9.191, 2.883
求解病态方程组出现的问题：
例：用MATLAB求解线性方程组
Hnx b
b Hne, e (1,1,,1)T
输入： n 5; H hilb(n);b H *ones(n,1); x H \ b; x,
得：ans=1.000,1,000,1.000,1.000,1.000 输入： n 10; H hilb(n);b H *ones(n,1); x H \ b; x,
得：ans=1.000,1,000,1.000,1.000,0.9999 1.0002，0.9996，1.0004，0.9998，1.000
输入： n 5; H hilb(n);b H *ones(n,1); x H \ b; x,
得：ans=1.000,1,000,1.000,1.000,1.000 输入： n 10; H hilb(n);b H *ones(n,1); x H \ b; x,
3 2.9999
11
x1 x2
4.04002
准确解：
x1 , x2 T
2
, 10T
方程组解的几何解释为：平面上两条接近于平行的直线的 交点，当其中一条直线稍有变化时，新的交点与原交点相 差很远。
例2 方程组 10 7 8 7 x1 32
三、病态线性方程组的求解 1、病态线性方程组的判别 2、病态线性方程组的求解
（1）采用高精度 （2）（预处理）平衡法 （3）残差校正法 （4）奇异值分解法
三、病态线性方程组的求解 1、病态线性方程组的判别
例（P49）
三、病态线性方程组的求解 1、病态线性方程组的判别
0.1 0.1
A 0.1
10 7 8 7 x1 32.1
7
8 7
5 6 5
6 10 9
5 9 10
x2 x3 x4
22.9 3303..91
10 7 8.1 7.2 x1 32
b
x
(3) 0.005%, 50%
b
x
希尔伯特（Hilbert）阵 -----最著名的病态矩阵
定义： H (hi, j )nn ,
hi, j
i
1 ,i, j 1
j
1,2,, n
1
Hn
1
2
1
2 1
3
1
3 1
1
n 1
4
一、矩阵的条件数
Proof
x
A A1
A b
改写（2.22）式：
x
(
)
1 A A1 A
A
b
A
★矩阵条件数的定义： ★矩阵条件数的性质：
（6）Cond(AB) ≤ Cond(A) Cond(B)
二、线性方程组的性态
答案： (1)cond(A) 4104, x (2,0)T (2)x x (1,1)T
7
8 7
5 6 5
6 10 9
5 9 10
x2 x3 x4
23 3331
（准1确A）解对0为0.00右0.081：端00b0.0(0..004x作211,微x00200.小.11,1x扰3,00x动00..2042)：T （2(）1,1对,1,系1)数T 矩阵A作微小扰动：
.98 4.99
6 9.89
9
5 9 9.98
x2 x3 x4
23 3331
(x1, x2, x3, x4 )T (9.2,12.6,4.5,1.1)T
b 0.1 0.303%
2.3 矩阵的条件数与病态方程组
一、矩阵的条件数 二、线性方程组的性态 三、病态线性方程组的求解
2.3 矩阵的条件数与病态方程组
例1 方程组
3.03001
11
x1 x2
4.04001
准确解： x1 , x2 T 1 , 1T
若A及b作微小变化，考虑扰动后的方程组：