向量范数
向量范数3-1,3-2,3-3
A
X AX
X x1 , x2 , , xn R n
T
试证上述函数是向量范数，称为向量的加权范数或椭圆范数。 证明 因为A是正定对称矩阵，故存在可逆矩阵P，使得
P T AP I
从而
A P
X
A
1 2 A
T 1
P P
T T 1 2
1
1 T
1 2
P 1 B T B
证明 易验证条件(i)和(ii)成立，现验证条件(iii)也 成立。 下面用到了Chauchy-Schwarz不等式。
x y
2 2
x y , x y ( x, x ) ( x, y ) ( y , x ) ( y , y )
x
2 2
2 x
2y2源自 y2 2定理对 x ( x , x ,, x )T C n C n R 分别定义三个函数 1 2 n
x
x
1
x
i 1
n i 1
n
i
1 2
1－范数，
)
2
( xi
2
2－范数(或Euclid范数)
x
max xi
1 i n
∞－范数(或最大值范数)。
它们均构成范数。 说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。
AX
AX H A X H A X
即矩阵范数与向量范数相容
算子范数
定义 设
即由向量范数构造矩阵范数
和
分别是 C m 和 C n
第五章--向量范数和矩阵范数
当 x 时，|| x ||A 0 ；当 x θ 时由 A 对称
正定知 xH Ax 0 ，即 || x ||A 0 。
对于任意 k C ，有 || k x ||A (kx)T A(kx) | k | xT Ax | k | || x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
|| x ||2
| x1 |2 | x2 |2
| xn |2
定义的|| ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2, , xn) T F n，由
|| x ||p
1/ p n
| xi |p , p 1
i1
定义的|| ||p 是 F n 上的向量范数，称为p -范数或 lp
UT AU Λ diag( λ1, λ2, , λn)
这里 A 的特征值 λi (i 1, 2, , n) 都为正数。
从而有
A UΛUT U Λ Λ UT BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y C n ， || x y ||A || B( x y) ||2
数 || A || 表示对于任意向量 x F n ， A 可以 “拉伸”向量 x 的最大倍数，即使得不等式
|| A x || C || x || 成立的最小的数 C 。称 || A || 为范数 || || 和 || ||
j1
n
| xj
j1
yj |; yj |;
yj |;
1
yj |m m;
以及与椭圆范数类似的Mahalanobis距离：
3-1,2,3向量范数
主要内容 一、向量范数 二、矩阵范数与算子范数 三、范数的应用
第一节 向量范数
主要内容： 1·向量范数的定义及几种常见的向量范数 2·向量范数的等价性
一、向量范数的定义
对于向量空间 C上n 的任意向量 x,
如果函数 Cn R 满足：
对应一个实值函数 x
1）正定性 x 0 且 x 0 x 0
d(x, y) x y
实例1 在向量空间C n中, 向量的长度是一种向量范数，
称为2-范数或欧氏范数。
n
1
x ( 2
xi 2 ) 2
i 1
x (x1, x2 , , xn )T C n
证明 易验证条件(i)和(ii)成立，现验证条件(iii)也成立。 下面用到了Chauchy-Schwarz不等式。
2）齐次性 x x , C
3）三角不等式 x y x y
则称 x为向量x的范数。
范数的性质： (1) x x
(2) x y x y
性质（1）利用范数的齐次性即可证明。 下面证明（2）。根据三角不等式，有
x xyy xy y
x y xy 对任意的 x , y C，n 可以利用范数定义向量间的距离如下：
n
x 1
xi
i 1
n
1
x ( 2
xi 2 ) 2
i 1
1－范数， 2－范数(或Euclid范数)
x
max
1in
xi
它们均构成范数。
∞－范数(或最大值范数)。
说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。
x 1,2,3T
x 6 1
x 14 2
向量的范数
设 Ax = b为一线性方程组 , A 为非奇异矩阵 , x为其精确解
若常数项 b存在误差 δ b , 则解也应存在误差 δ x
即有
A( x + δ x ) = b + δ b
Aδx = δb
δ x = A −1δ b
所以 又因为
δx = A −1δb ≤ A −1 ⋅ δb
A2=
显然
λ max ( A A )
T
=
ρ ( AT A )
设 ⋅ 是 R n × n 上的一种算子范数 , A ∈ R n × n , 定理1.
若 A满足 A < 1 , 则 I + A非奇异 , 且
( I + A)
−1
1 < 1− A
三、误差分析
对于线性方程组 Ax = b , 如果系数矩阵 A或 常数项 b的元素的微小变化 , 就会引起方程组解的 巨大变化 , 则称该方程组是 " 病态 "的 , A为" 病态 " 矩 阵.否则称为 "良态 "的.
∞
2 − 范数
( 3) Ax A 2 = max x≠0
2
= λmax ( AT A) x 2
λmax ( AT A)为AT A的特征值的绝对值的最 大值
例2. 求矩阵A的各种常用范数
1 2 A = − 1 2 0 1
n
0 − 1 1
1≤ j ≤ n
δA
A
定义4.
设 A 为非奇异矩阵 , 称
cond ( A ) = A ⋅ A −1
为 A 的条件数 , 其中 ⋅ 为某种算子范数 .
向量范数
且
A 0 A 0
A A
C , A C
mn
AB A B
AB A B
A, B C
mn
称为A的范数。
矩阵范数的性质： (1) A A
(2) A B A B
矩阵范数同向量范数具有类似的性质，比如等价性：
对于两个矩阵范数
m
, C 上的同类向量范数，如果有
n
A C
mn
, X C
n
则称矩阵范数与向量范数是相容的。 定理2 设 是 C 上的相容矩阵范数，则在 C n 上存 在与 相容的向量范数 证明：任取一非零向量 C
X
n
n n
定义向量X的范数为
n
X
n
H
X C
容易验证
AX
性质1 证明 对于任意n阶矩阵A，成立 ( A k ) [ ( A )] k 设1, 2, …, n是属于A的所有特征值
则A 的特征值为 1 , 2 , , n
k k k k
因此 ( A ) max i i
k
k
( max i ) [ ( A )]
n
n
定义Dn是C n的单位球面(有界闭集)
D n x ( x1 , x 2 , , x n ) C
T
n
x
2
1
x 0
x x
2
Dn
因为
是连续函数，
故它在Dn上取到最大值m和最小值M
m
x x
2
x x
2
线性方程组解法 第2节 向量范数等价性证明
1 2 n 0.
为A对T 称A矩阵，设
为 的u相1,应u于2 ,(5.9), un A
的特征向量且
，又设 为任一非零向量，
(ui , u j ) ij
xRn
于是有
n
x ciui , i 1
（5.9）
12
其中 为c组i 合系数，则
n
Ax 2 2 x2
( AT Ax, x) ( x, x)
向量范数
1. 向量范数的定义
函数 （（（123N定）））义正齐三x9定次角（性 性 不向等量x式范，数若）xx满x足0对 ,：yxx于，向其 0量 x中x yRx,nR或 (x或 0,x或 y记 CRCn为n)的；或某 ；个C实n值。非负
称N
(
x)
||
x
||
是R
n
上
或C n
一个向量范数或模。
设
x (x1, x2 , , xn )T , y ( y1, y2 , , yn )T R（n 或 ）C.n
将实数
（或复数 称为向量
n
(x, y) yT x xi yi i 1
( x, y) ）y H x n xi yi i1
的x数, 量y 积.
18
将非负实数
1
x
2
1
(x, x) 2
aij x j
j1
max i
aij
j1
xj
n
t max i
j1
aij .
10
这说明对任何非零 ， x R n 有
Ax
.
x
（5.8）
接下来说明有一向量 ,
x0 0
使
Ax0 .
x0
向量范数
直接运用范数的定义，并注意到 A 为列满秩矩阵，即可证明！
2
向量范数
1.常见向量范数
C n 中常用的向量范数有：
1-范数 x 1 = ∑ xi ， ∀x ∈ C n
i =1 n
2-范数 x 2 =
∑x
i =1
1≤i ≤ n
n
2
i
= x H x ，又称为 Euclid 范数。
∞ -范数 x
∞
= max( xi )
它们都是更一般的 Holoder 范数的特例： x
向量的 2 − 范数具有酉不变性。也就是说对任意 n 阶酉矩阵 U 和 n 维向量 x ， 总有 Ux 2 = x 2 。
1
2.列满秩矩阵生成的范数 定理 3 设 A 为 m × n 阶列满秩矩阵， •
(m)
为 C n 上的范数， x
(n)
= Ax
(m)
，
∀x ∈ C n ，则 •
Hale Waihona Puke (n)为 C n 上的范数。
∑
i =1 n i =1
n
xi ≤
2
2
∑ max( x
i =1
1≤ j ≤ n 2 1≤ j ≤ n
n
2
j
) = n max( x j ) = n x ∞ ，
1≤ j ≤ n
∑x
i
≥ max( x j ) = max( x j ) = x ∞ ，也就是 x
1≤ j ≤ n
∞
≤ x 2 ≤ n x ∞。
i =1 i =1 1≤ j ≤ n i =1 1≤ j ≤ n
n
n
n
也就是 x
n
∞
≤ x 1 ≤n x ∞。
第3章 线性方程组解法 第2节 向量范数等价性证明
x H A H Ax A 2 max H x 0 x x
1/ 2
max ( AH A) .
14
定义
设 A R nn 的特征值为 i (i 1,2,, n), 称
( A) max i
1i n
为 A的谱半径.
定理3 (特征值上界) 设 A R nn , 则 ( A) A ,
T 证明：记x x1 xn , || x || max | x i || x j | ， 1 i n
n
于是有
(1)
| x i | 2 || x ||2 || x || || x ||2 ， (a) || x || | x j | 2
2 2
证明其中只须证明当28的任意两种范数定理8证明只要就证明上式成立即可即证明对一切考虑泛函使得对一切29由于上达到最大最小值即存在使得53显然上式为对一切定理3不能推广到无穷维空间
向量范数 1. 向量范数的定义 n n x 定义9（向量范数）对于向量 R 或x C 的某个实值非负 函数 x x ，若满足： N （1）正定性 x 0, x 0 x 0或记为 ； x 或 （2）齐次性 x ，其中 R( C )； （3）三角不等式 x y x y , x, y R n 或 C n 。 或模。 称N ( x) || x || 是R n 上或C n 一个向量范数 2. 常用的向量范数 T n n 定义10 设x ( x1 ,, xn ) R (或x C ) x y x y N （1）向量的“∞”范数： ( x ) || x || max x i ； 1 i n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
向量范数
定义1. 设,满足
1. 正定性:║x║≥0,║x║=0 iff x=0
2. 齐次性:║cx║=│c│║x║,
3. 三角不等式:║x+y║≤║x║+║y║
则称Cn中定义了向量范数,║x║为向量x的范数.
可见向量范数是向量的一种具有特殊性质的实值函数.
常用向量范数有,令x=( x1,x2,…,xn)T
1-范数:║x║1=│x1│+│x2│+…+│xn│
2-范数:║x║2=(│x1│2+│x2│2+…+│xn│2)^1/2
∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)
易得║x║∞≤║x║2≤║x║1≤n1/2║x║2≤n║x║∞
定理中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使
m║x║α≤║x║β≤M║x║
可根据范数的连续性来证明它.由定理1可得
定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则
║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→
∞)
其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.此时称{x(k)}收敛于x,记作x(k) →x(k→∞),或 .
三、矩阵范数
定义2. 设,满足
1. 正定性:║X║≥0,║X║=0 iff X=0
2. 齐次性:║cX║=│c│║X║,
3. 三角不等式:║X+Y║≤║X║+║Y║
4. 相容性: ║XY║≤║X║║Y║
则称Cn×n中定义了矩阵范数,║X║为矩阵X的范数.
注意, 矩阵X可视为n2维向量,故有前三条性质.因此定理1,2中向量的等价性和向量序列收敛的概念与性质等也适合于矩阵.第四条,是考虑到矩阵乘法关系而设.更有矩
阵向量乘使我们定义矩阵范数向量范数的相容性:
║Ax║≤║A║║x║
所谓由向量范数诱导出的矩阵范数与该向量范数就是相容的.
定理3. 设A是n×n矩阵,║?║是n维向量范数则
║A║=max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0}
是一种矩阵范数,称为由该向量范数诱导出的矩阵范数或算子范数,它们具有相容性
或者说是相容的.
单位矩阵的算子范数为1
可以证明任一种矩阵范数总有与之相容的向量范数.例如定义:
║x║=║X║,X=(xx…x)
常用的三种向量范数诱导出的矩阵范数是
1-范数:║A║1= max{║Ax║1:║x║1=1}=
2-范数:║A║2=max{║Ax║2:║x║2=1}= ,λ1是AHA的
最大特征值.
∞-范数:║A║∞=max{║Ax║∞:║x║∞=1}=
此外还有Frobenius范数: .它与向量2-范数相容.但非向量范数诱导出的矩阵范数.
四、矩阵谱半径
定义3.设A是n×n矩阵,λi是其特征值,i=1,2,…,n.称
为A的谱半径.
谱半径是矩阵的函数,但非矩阵范数.对任一矩阵范数有如下关系:
ρ(A)≤║A║
因为任一特征对λ,x,Ax=λx,令X=(xx…x),可得AX=λX.两边取范数,由矩阵范数的
相容性和齐次性就导出结果.
定理 3.矩阵序列I,A,A2,…Ak,…收敛于零的充分必要条件是ρ(A)。