第3章 线性方程组解法 第2节 向量范数等价性证明
向量范数3-1,3-2,3-3
A
X AX
X x1 , x2 , , xn R n
T
试证上述函数是向量范数，称为向量的加权范数或椭圆范数。 证明 因为A是正定对称矩阵，故存在可逆矩阵P，使得
P T AP I
从而
A P
X
A
1 2 A
T 1
P P
T T 1 2
1
1 T
1 2
P 1 B T B
证明 易验证条件(i)和(ii)成立，现验证条件(iii)也 成立。 下面用到了Chauchy-Schwarz不等式。
x y
2 2
x y , x y ( x, x ) ( x, y ) ( y , x ) ( y , y )
x
2 2
2 x
2y2源自 y2 2定理对 x ( x , x ,, x )T C n C n R 分别定义三个函数 1 2 n
x
x
1
x
i 1
n i 1
n
i
1 2
1－范数，
)
2
( xi
2
2－范数(或Euclid范数)
x
max xi
1 i n
∞－范数(或最大值范数)。
它们均构成范数。 说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。
AX
AX H A X H A X
即矩阵范数与向量范数相容
算子范数
定义 设
即由向量范数构造矩阵范数
和
分别是 C m 和 C n
范数等价判别定理的证明
范数等价判别定理的证明范数等价判别定理是泛函分析中的一个重要结果，它表明在有限维赋范空间中的所有范数是等价的。
以下给出范数等价判别定理的证明。
首先，设$X$是一个有限维赋范空间，记$n = \dim(X)$。
证明思路：我们需要证明任意两个范数$\|\cdot\|_a$和$\|\cdot\|_b$等价，即存在常数$c_1>0$和$c_2>0$使得对于任意的向量$x\in X$，有$c_1\|x\|_a \leq \|x\|_b \leq c_2\|x\|_a$。
首先证明$\|\cdot\|_a$和$\|\cdot\|_b$等价的充分性，即存在$c_2>0$使得对于任意的向量$x\in X$，有$\|x\|_b \leqc_2\|x\|_a$。
由于$X$是有限维空间，我们可以选取$X$的一组基$\{e_1,e_2,\ldots,e_n\}$。
对于任意的向量$x\in X$，我们可以将其表示为$x = \sum_{i=1}^n x_ie_i$。
其中$x_i$是标量。
我们要证明存在常数$c_2>0$使得$\|x\|_b \leq c_2\|x\|_a$成立。
由范数的定义可知，$\|x\|_a = \left(\sum_{i=1}^n|x_i|^a\right)^{\frac{1}{a}}$，$\|x\|_b = \left(\sum_{i=1}^n|x_i|^b\right)^{\frac{1}{b}}$。
考虑$\frac{1}{a}$和$\frac{1}{b}$之间的大小关系：若$\frac{1}{a} > \frac{1}{b}$，则对于任意的$i=1,2,\ldots,n$，有$|x_i|^a \geq |x_i|^b$，进而$\left(\sum_{i=1}^n|x_i|^a\right)^{\frac{1}{a}} \geq \left(\sum_{i=1}^n|x_i|^b\right)^{\frac{1}{b}}$。
第3章 线性方程组解法 第2节 向量范数等价性证明
2 1
i 1
n
i 1
xi
nn xx ；
i 1
n
xj
2
nxj
2
n ||
x
||2
i 1
x
2
2 2
n
2
xi
i1 n
n xi
i 1
x
2
1
2 n
x
2
2
x
2
x 1
x
nx ,
，
1
nx ， 2
22
11
(3)
22
(a)
x
xj
n
(b) x 1
xi
n
xi
x
，
1
i1 n
xj nxj
现只验证定义4中条件(4). 由(5.7)，有
（5.7）
ABx
v
A v
Bx
v
A v
B
v
x
.
v
当 x 时0，有
ABx
v A B .
x
v
v
v
8
故
ABx
AB max
v A B .
v
x0
x
v
v
v
显然这种矩阵范数 依A赖于具体的向量范数 . x
v
v
也就是说，给出一种具体的向量范数 x，相应地就可得到 v
A
2
max x0
x
H AH Ax xH x
1/ 2
max ( AH A).
14
定义 设 A R的n特n 征值为 i (i , 1,2,, n) 称
为 A的谱半径.
(
A)
第三章-线性方程组和向量知识点
第三章、线性方程组与向量三、线性方程组知识点――知识结构图线性方程组的表达方程组形式11112211211222221122n n n n m m mn n ma x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩矩阵方程形式=Ax b向量线性运算形式1122n n x x x ααα+++=b （将常数项构成的向量解释成系数矩阵列向量组的线性组合）()12-=⎬⎭ξξA 0b ()11122s s k k k =⎫⎪+++=⎬⎪=ξξξξξA 0A 0A 0()())(1122n R n R k k k k ξξξξ--⎫+++=⎪→⎬A A 0A向量组、线性方程组、矩阵的关系图求解齐次线性方程组如何确定自由变量并赋值？○1对系数矩阵实施初等行变换，将其化为最简形矩阵； ○2每个非零行的非零首元对应的未知量确定为非自由未知量（()R r =A 个非自由未知量），剩下的()n R -A 未知量确定为自由未知量；○3每次给一个自由未知量赋值为1，其余的自由未知量赋值为0（共需赋值()n R -A 次）。
（见P110例1） 向量组的等价（扩展知识）向量组的等价是指：它们可以相互线性表示，它们所含有的向量个数可以不一样。
理解的关键还是认识到向量由向量组线性表示，以及如何表达（P 94 定义6）。
①含有相同个数向量的向量组的等价问题 （例：习题3.3的8、9题），关于向量组12s :,,,αααA ，向量组12s :,,,βββB 的等价，()()1212n s n s s s s s ,,,,,,βββααα⨯⨯⨯⇔=B =A K K（以P 95 习题3.3的8题为例）给出了向量的分量值，即给出了向量组对应的矩阵元素，那么424222⨯⨯⨯B =A K 与424222⨯⨯⨯=A B R 同时成立，则两个向量组等价；于是问题变换为矩阵方程()()111212122122x x ,,x x ββαα⎛⎫⎪⎝⎭=有解存在（其中()()1212,,,ββαα均不是方阵）。
4-1-2-3-4向量范数
A 0 且 A 0 A 0 A A C, A C mn
（3）三角不等式
AB A B
(4)相容性
AB A B A, B C mn
则 A 称为A的范数。
第17页，共50页。
矩阵范数的性质： (1) A A
(2) A B A B
矩阵范数同向量范数具有类似的性质，比如等价性：
Dn x x1, x2 ,, xn T x 1
知 A在x D n上取到最大值。
第22页，共50页。
最后证明 A 成为矩阵范数
正定性: 设 A 0, 则存在 x0 0 C n , 使 Ax0 0,
于是
A Ax0 0;
x0
Ax
Ax
齐次性: 由 A max
max
x0 x
x0
x
第8页，共50页。
定理 在向量空间C n中, 向量范数满足
lim X X
p
p
证明 当X=0时，结论显然成立。设
则
X
n
(
p i 1
xk
p
xi xk
p1
)p
xk
X
0, xk
max i
xi
n
(
xi
p1
)p
i1 xk
因为
n
xk p xi p n xk p i 1
故
n
1 (
xi
p1
1
) p n p 1( p )
则称矩阵范数与向量范数是相容的。
定理2 设 是 C上n的n 相容矩阵范数，则在 上存C 在n 与
相容 的向量范数
证明：任取一非零向量 C n 定义向量X的范数为
X X H X Cn
容易验证 是 C n 上的向量范数，并且
线性代数课件PPT第三章 线性方程组 S2 线性方程组的解法 (2)
a11 a12 a21 a22
a1r a2r 0
ar1 ar 2
arr
因此，增广矩阵B的前 r 个行向量是其行向量组 的一个极大线性无关组.
从而知，方程组(1)中后m－r个方程可用前 r 个方 程表出. 因此可消去（即是多余的），改写前 r 个方程
xr1 xr1, , xn xn 因 0 ，由Cramer法则得方程组(2)的唯一解 ：
x1 x1, x2 x2 , , xr xr
故( x1, x2 , , xr , xr1, , xn ) 就是方程组(1)的一个解.
这就证明了，当 rA rB 时方程组(1)有解.
9
定理2
充分性的证明过程也是解线性方程组的一般 规则. 当r<n时，解向量依赖于n-r个参数.
8
a11 x1 a12 x2 a21 x1 a22 x2 ar1 x1 ar 2 x2
a1r xr b1 a1r1 xr1 a2r xr b2 a2r1 xr1
arr xr br arr1 xr1
a1n xn
a2n x(n2)
arn xn
方程组(1)与(2)是同解的. 对于任一组数
a21 x1 a22 x2 a2n xn b2
(1)
an1 x1 an2 x2 ann xn bn
的系数行列式 D=|A|=|aij|≠0 时，存在唯一解
x1
D1 D
,
x2
D2 D
,
x3
D3 D
,, xnBiblioteka Dn D.5
其中Dj 是把系数行列式 D 中第 j 列的元素用方程 组右端的常数列代替后所得到的 n 阶行列式，即
高等数学解题指导：线性方程组的解法
第三章 线性方程组的解法一、基本内容提要1. 高斯消元法高斯消去法（Gauss Elimination Method ）是一种规则化的加减消元法。
基本思想是通过逐次消元计算把需要求解的线性方程组转化为上三角形方程组，即把线性方程组的系数矩阵转化为上三角矩阵，从而使一般线性方程组的求解转化为等价(同解)的上三角形方程组的求解。
2. 高斯消元法的消元过程求解n 元线性方程组的Gauss 消元法的一般步骤，将方程组设为如下形式⎪⎪⎩⎪⎪⎨⎧=+++=+++=+++)1()1(2)1(21)1(1)1(2)1(22)1(221)1(21)1(1)1(12)1(121)1(11 nn nn n n n n n n b x a x a x a b x a x a x a b x a x a x a 可简记为)1()1(b x A=，其中b b A A ==)1()1(,。
第一步：设,0)1(11≠a 记),3,2(/)1(11)1(11n i a a l i i ==，将上式中第i 个方程减去第1个方程乘以),3,2(1n i l i =，完成第一次消元，得其同解方程组⎪⎪⎩⎪⎪⎨⎧=++=++=+++)2()2(2)2(2)2(2)2(22)2(22)1(1)1(12)1(121)1(11n n nn n n n n n b x a x a b x a x a b x a x a x a 其中),,3,2,(,)1(11)1()2()1(11)1()2(n j i b l b b a l a a i i ij i ij ij =-=-=。
此方程组简记为)2()2(b x A =。
第二步：设,0)2(22≠a ，记),,3(/)2(22)2(22n i a a l i i ==。
将上式中第i 个方程减去第2个方程乘以),,3,2(2n i l i =，完成第二次消元。
第1-k 步：设1-k 次消元完成后得原方程组的同解方程组为)()()()()()()1(2)2(2)2(22)2(22)1(1)1(1)1(12)1(121)1(11⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=++=++++=+++++k n n k nn k k nk k kn k kn k k kk n n k k n n k k b x a x a b x a x a b x a x a x a b x a x a x a x a 简记为)()(k k b x A=。
线性方程组解法 第2节 向量范数等价性证明
1 2 n 0.
为A对T 称A矩阵，设
为 的u相1,应u于2 ,(5.9), un A
的特征向量且
，又设 为任一非零向量，
(ui , u j ) ij
xRn
于是有
n
x ciui , i 1
（5.9）
12
其中 为c组i 合系数，则
n
Ax 2 2 x2
( AT Ax, x) ( x, x)
向量范数
1. 向量范数的定义
函数 （（（123N定）））义正齐三x9定次角（性 性 不向等量x式范，数若）xx满x足0对 ,：yxx于，向其 0量 x中x yRx,nR或 (x或 0,x或 y记 CRCn为n)的；或某 ；个C实n值。非负
称N
(
x)
||
x
||
是R
n
上
或C n
一个向量范数或模。
设
x (x1, x2 , , xn )T , y ( y1, y2 , , yn )T R（n 或 ）C.n
将实数
（或复数 称为向量
n
(x, y) yT x xi yi i 1
( x, y) ）y H x n xi yi i1
的x数, 量y 积.
18
将非负实数
1
x
2
1
(x, x) 2
aij x j
j1
max i
aij
j1
xj
n
t max i
j1
aij .
10
这说明对任何非零 ， x R n 有
Ax
.
x
（5.8）
接下来说明有一向量 ,
x0 0
使
Ax0 .
x0
第3章向量和矩阵范数.ppt
若B满足 B 1, 则
I B非奇异, 且 ( I B)
1
1 1 B
证：假设det(I B) 0, ( I B) x 0有非零解 即存在x0 0，使Bx0 x0 Bx0 x0
x0 Bx0 B x0
B 1
与假设矛盾
定理1. 设 是Rnn上的一种算子范数 A Rnn , ,
1i n
1in
max xi max yi x
1in
y
x
显然
p
( x1
p
x2
p
xn
p
)
1
p
x的p 范数, p 1
x 1和 x
2
是 x p 在p 1和p 2时的特例
例：计算向量x (1, 2,3) 的各种范数。
比较这两个方程组可以看出，他们只是右端项有微小的差 1 别，最大相对误差为 105 , 但它们的解却大不相同，解分量 2 1 的相对误差至少为 。 2
定义： 如果矩阵A或常数项b的微小变化，引 起方程组Ax b解的巨大变化，则称此方程组 为“病态”方程组，矩阵A称为“病态”矩阵 （相对于方程组而言）。
矩阵范数例
与前述三种向量范数相容的三种矩阵范数：
A 2 max Ax 2 1 , 其中 1是 AT A的最大特征值。
x 2 1
又称为谱范数。
x 1 1
设A (aij )为n阶方阵。
n 1 j n
A 1 max Ax 1 max aij
i 1
, 为矩阵的
列向量的1－范数的最大值称为矩阵的列范数。
1 j n i 1
A max aij max{3,4,2} 4 1 i n
第三章 线性方程组解法
§3.3 高斯－塞德尔迭代
x ik 1a 1 ii(b iij 1 1a ijxk j 1j n i 1a ijxk j),i 1 ,2 ...,n
大家好
21
§3.1 问题的提出
由原方程
8x1 x2 4 x1 10 x2
2x3 12 x3 21
3x1 2x2 5x3 16
构造
xx12((kk11))
2.5x2(k) 0.25x3(k) 1.5x1(k) 2.5x3(k)
5.25 8.0
(2) (3)
x3(k1) 4x1(k) 0.5x2(k) 6.0
§3.1 问题的提出
是方程组的精确解，用有限次运算得不到精 确解。迭代法是牛顿最先提出来的，1940年 经司威尔提出的松弛法也是一种迭代法，共 轭梯度法则是另一种迭代法，是弗莱彻等人 于20世纪60年代提出来的。
大家好
16
§3.1 问题的提出
例3.1
5x 2y 8 3x 20 y 26
5) 给出估计误差和迭代停止判据。
大家好
25
§3.1 问题的提出
❖ 定义：在n维空间中给定一个向量序
列 x k ，xk (x1 k,x2 k,...xn k)T ，如果对每一个分
量
x
k i
,当
k
时都有极限xi,
即
lim
k
xik
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
将实数
n
(x, y) yT x xi yi
i 1
n
（或复数 (x, y) y H x ） xi yi
i1
称为向量 x,的y 数量积.
18
将非负实数
1
x
2
1
(x, x) 2
n i 1
xi2 2
或
1
x 2
1
(x, x) 2
n i1
xi 2 2
称为向量 x的欧氏范数 .
，x *
记为
lim x(k ) x*.
k
25
定理7
( N (的x)连续性) 设非负函数 N (x) x
为 R上n 任一向量范数， 则 N (是x) 的x分量
的连续函数.
xi2 ) 2 .
i 1
也称为向量 x的欧氏范数.
4. 向量的 -范p数：
n
x ( p
xi p )1/ p ,
i 1
其中 p [1., )
可以证明向量函数 N (x)是 x上p 向量R的n 范数, 且容易说明上述三种范数是 p-范数的特殊情况.
24
例 计算向量 x (1,的2,3各)T种范数.
关于范数，成立如下定理.
定理6
设 x, yR（ n 或Cn ), 则
1. (x,x)0, 当且仅当x 0 时成立；
19
2. (x, y) (x, y), 为实数, (或(x, y) (x, y), 为复数）；
3. (x, y) ( y,x)(或(x, y) ( y,x));
4. (x1 x2, y) (x1, y) (x2, y);
证明 设 是 的A 任一特征值， 为x相应的特征向量，
则 Ax ，x 由相容性条件 (5.7) 得
x x Ax A x ,
注意到 x , 即0 得
A
15
定理4 定理5
如果 A R为nn对称矩阵， 则 A ( A). 2
如果 B ， 1 则 I 为B非奇异矩阵， 且
(I B)1 1 , 1 B
21
定义2 (向量的范数) 如果向量 x (R或n )的C某n 个实值函数 N (x) ，满x 足条件：
1. x 0 ( x 0 当且仅当x0 ) ( 正定条件），
2. x x , Rn (或Cn ),
（1）
3. x y x y ( 三角不等式），
则称 N (是x) (R或n )上C的n一个向量范数(或模). 由(3)
n x
，
i 1
i 1
即x x
x
x1
n nx
1
x
。
注：
Rn上一切范数都等价（证 明见后）。
向量范数概念可以推广到矩阵.
R nn
中R 的n2 向量，
R nn中矩阵的一种范数
F ( A)
1
A
F
i,
n
ai2,
j 1
j
2
,
称为 A的Frobenius范数.
R n上2 的2范数
A显然满足正定性、齐次性及三角不等式. F
(I B)1 I B (I B)1 , (I B)1 1 . 1 B
17
向量范数等价性证明
向量范数概念是三维欧氏空间中向量长度概念的推广， 在数值分析中起着重要作用.
定义1 设
x (x1, x2 ,, xn )T , y ( y1, y2 ,, yn )T R（n 或 C）n .
向量范数
函 称N数 （（（1(N定123.x）））向)义x正齐三量|9|（定次角x范 |向x性性不|数是 ，量等的R若范式定xxn上满 数义x）足 或0对 ,C：yxx于n，一 向其 0个量 x中 向x 量yR范 x,nR数或 (x或 0,或 x或 y模记 CRC。n为n)的；或某 ；个C实n值。非负
11
n
n
Ax0
max
1in
aij x j
j1
ai0 j
j1
.
3. 由于对一切 xR n , Ax 2 ( Ax, Ax) ( AT Ax,x)0, 2
从而 AT 的A 特征值为非负实数，
1 2 n 0.
（5.9）
A为T 对A 称矩阵，设 u1, u为2 ,的,相un应于A(5.9)
定义 (矩阵的范数) 如果矩阵 A Rnn
实值函数 N ( A) , A 满足条件
5
1. A 0 ( A 0 Ax0 ) (正定条件),
2. cA c A , cRn (齐次条件); （5.4）
3. A B A B (三角不等式);
4. AB A B .
则称 N ( A) R上n的n 一个矩阵范数(或模).
2
2
x0 x
1
max ( AT A).
2
例
设
A
1 3
，计42算
的各种A范数.
解
A max{ 1 3, 2 4}6,
1
13
A max{ 1 2 , 3 4}7,
A 12 (2)2 (3)2 42 5.477, F
A 2
max ( AT A)
15
221 5.46.
对于复矩阵(即 A)定Cn理n 18中的第1,2项显然也成立，3 应改为
上面定义的
F( A) A F
上的R一n个n 矩阵范数.
由于在大多数与估计有关的问题中，矩阵和向量会同
时参与讨论，所以希望引进一种矩阵的范数，它和向量范
数相联系而且和向量范数相容的.
6
即对任何向量 x 及R n A都R成nn立
Ax A x .
（5.5）
定义 (矩阵的算子范数) 设 x ,R n A， Rnn 给出一种向量范数 x(如 v 或 1∞,2)，相应地定义一个矩阵
由 即对柯证事西||明实xx|,不 |：上yxy等 只，||R22验 式 y|n|||,x证2||（ |(有 ||||xx三|xx|y||||||x,||2222角||x222y||)不 222(||x|||y等 |||y|||xx|||x2|式y2|y|||,)|22|||2x|， |2||||2xyy。并 |y|||||||)22y且 2||(以2|||x|,||,则“ yyyx||)|||2|22222”。2(范x,数y)i为n1( 例 Cxy,iay。 yu)，ich2y不i等n1 式xi2
|，
于是有
(1) (a) || x ||2 | x j |2 | xi |2 || x ||22 || x || || x ||2 ，
||即x
||x
||x
(2)
即xx xx
(b)
||
x
||22
n
xi 2
|x|2
2 nn||
(a) x
xx||i； 1n
2
2
xi
(b)
x
x
2
R
(
x
,
x
i 1
)1/ 2
(
n
xi 2 )1/ 2；
nn为对称正i1定阵，x
R
n
,
NA(x)
x
(
Ax,
x
)1
/
2
(
A
n
aij xi x j )1 2
称为向量的能量范数。
i, j1
定理19 设x Rn (或x
(或C n上)的向量范数。
C
n
)，则N
x
,
N
1
x
,
N
2
x
是R
n
上
v
的非负函数
Ax
A max
v.
v
x0
x
v
可以验证 A满足定义4，所以 v
个范数，称为 A的算子范数.
（5.6）
是A v
上R矩nn阵的一
7
定理1
设
x是 v
上R一n 个向量范数，
上矩阵的范数，且满足相容条件
则 A是 v
R nn
Ax A x .
v
v
v
证明 由(5.6)相容性条件(5.7)是显然的.
现只验证定义4中条件(4). 由(5.7)，有
（5.7）
ABx
v
A v
Bx
v
A v
B
v
x
.
v
当 x 时0，有
ABx
v A B .
x
v
v
v
8
故
ABx
AB max
v A B .
v
x0
x
v
v
v
显然这种矩阵范数 依A赖于具体的向量范数 . x
v
v
也就是说，给出一种具体的向量范数 x，相应地就可得到 v
5. (Cauchy-Schwarz不等式)
(x, y) x y ,
2
2
等号当且仅当 x与 线y 性相关时成立；
6. 三角不等式
x y x y .
2
2
2
20
向量的欧式范数可以看成是对 中R向n 量“大小”的一 种度量.
也可以用其他办法来度量向量的“大小”. 例如，对于 x (x1, x2可)T以用R一2 ,个 的函数 x N (x) mi来a1,x2度x量i 的“大x小”，而且这种度量“大小”的 方法计算起来比欧氏范数方便. 一般要求度量向量“大小”的函数N (x满) 足正定性、 齐次性和三角不等式.
n
||
x
||2
；
定理19
范数的等价性
x,
y
R
n，有
(1) || x || || x ||2
n
||Βιβλιοθήκη x||；(2) || x ||2 || x ||1