第三章向量范数与矩阵范数

ò || f (t) ||p º
骣 琪 琪 桫
b a
|
f (t) |pdt
1/ p
,
p³
1
定义的 ||g||p 是 C[a, b]上的向量范数，称为 Lp 范数。
特别地，L1 范数、L2 范数和 L 范数分别为
b
ò || f (t) ||1 º
| f (t) |pdt
a
b
ò || f (t) ||2 º
面介绍的 ||g|| 和 ||g||1 。
向量范数
例 4 在赋范线性空间 V 中，定义任意两向量之间的
距离为
d( x, y) ? || x y ||, "x, y ? V 则称此距离 d( g, g) 为由范数 ||g|| 导出的距离。此时 按此式定义了距离的 V 满足度量空间的距离三公理
（对称性、三角不等式和非负性），所以赋范线性空 间按由范数导出的距离构成一个特殊的度量空间。
向量范数
向量范数
定义：设函数 f : Rn R，若 f 满足 (1) f(x) 0， xRn , 等号当且仅当 x = 0 时成立 （正定性） (2) f(x) = || ·f(x) ， xRn , R （齐次性） (3) f(x+y) f(x) + f(y) （三角不等式） 则称 f 为 Rn 上的（向量）范数，通常记为 || ·||
c1
x s
x t c2
x s
30
范数性质
(3) Cauchy-Schwarz 不等式
定理： (x, y) x y
2
2
(4) 向量序列的收敛性
证明：略
定义：设 x(k) 是 Rn 中的一个向量序列，其中
x(k)

x1(k),
x2(k),K
,
xn(k
)
T

如果
lim
k
x(k) i

xi
，则称
x(k)
由极限的两边夹法则，并注意到 lim n1/ p 1，即得
欲证结论。
p
这些范数在几何上如何理解呢？
例9 对任意 x ( x1, x2 ) T C 2，对应于 1, 2, , p 四
种范数的闭单位圆 || x || £ 1 的图形分别为
非常见向量范数
例 10 对任意 f (t)C[a, b] ，由
（3）(三角不等式) ||x y|| ||x|| ||y||，x、y V 则称 || x || 是向量 x 的向量范数，称定义了范数的线
性空间 V 为赋范线性空间。
9
拓扑空间
线性空间
Hausdorff空间
距离空间 (度量空间)
拓扑线性空间 距离线性空间
赋范空间
完备距离 线性空间
Banach空间
D(x, y) ?
max j
|
x
j
yj |;
n
å Ä Minkowski距离 D(x, y) ? | xj yj | ;
j= 1
å Ä Chebyshev距离 D( x, y) ? 骣琪琪琪ç桫j=n1 | xj
1
yj
|m m; ÷
以及与椭圆范数类似的Mahalanobis距离：
d 2( x, y) ? ( x y)T Σ- 1( x - y)T ,
称矩阵。大家已经知道，此函数是讨论线性和非线 性系统稳定性的重要工具。
例 12 （模式识别中的模式分类问题）
模式分类的问题指的是根据已知类型属性的观测样本
的模式向量 s1 ,L , sM ，判断未知类型属性的模式 向量 x 归属于哪一类模式。其基本思想是根据 x 与 模式样本向量 si 的相似度大小作出判断。
（3） ||x y|| ||x|| ||y||。
6
向量范数：向量的长度或模
例 2 n 维欧氏空间中向量 x 的长度或模定义为
|| x || ( x, x) x12 x22 L xn2 显然向量 x 的模 || x || 也具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R) （3） ||x y|| ||x|| ||y||。("x、y ? Rn )
UT AU = Λ = diag( λ1, λ2,L , λn)
这里 A 的特征值 λi (i = 1, 2,L , n) 都为正数。
从而有
A = UΛUT = U Λ ? ΛUT º BT B
此时
|| x||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y Cn ， || x + y ||A = || B(x + y) ||2
1 2
时，取
(1, 0)T ,
(0,1)T，则
|| ||1 || ||1 1, || ||1 4
2
2
2
|| ||1 || ||1 || ||1
2
2
2
常见向量范数：极大范数
在广义实数范围内，P能否取到正无穷大呢？具体而 言，如何计算这种范数呢？
第三章 向量范数与矩阵范数
1
内容提要
范数的引入 向量范数的类型、定义与性质 矩阵范数的类型、定义与性质 方阵的谱半径 范数及其应用
2
本讲内容
范数的引入
原因
向量范数
定义、常见向量范数、性质
矩阵范数
定义、常见矩阵范数、性质
矩阵条件数
3
向量范数与矩阵范数
例 6 对任意 x ( x1, x2,L , xn) T F n，由
å || x ||p º
骣 琪 琪 琪 琪 桫i=n1 | xi |p
1/ p
,
p³
1
定义的||g||p 是 F n 上的向量范数，称为p -范数或 l p
范数。
常见向量范数：1-范数
特别地，p = 1 时，有
例 7 对任意 x ( x1, x2,L , xn) T F n，由
最简单的方法是用两向量之间的距离来表示相似度， 距离越小，相似度越大。最典型的是Euclidean距离
D(x, y) ? || x y ||2 = (x- y)T (x- y)
其他距离测度还包括
n
å Ä Manhat tan 距离 D( x, y) ? | xj yj | ;
j= 1
Ä
Chebyshev距离
这里 x, y 是从正态母体 N ( μ, Σ)中抽取的两个样本。
范数性质
范数的性质
(1) 连续性 定理：设 f 是 Rn 上的任一向量范数，则 f 关于 x 的每个分 量连续。
(2) 等价性
定理：设 || ·||s 和 || ·||t 是 Rn 上的任意两个范数，则存 在常数 c1 和 c2 ，使得对任意的 xRn 有
例 8 对任意 x ( x1, x2,L , xn) T F n ，由
|| x ||¥ º
lim
p? ?
|| x ||p
也就是
|| x ||¥
º
max i
|
xi
|
定义的||g|| 是 F n上的向量范数，称为 -范数或 l
范数或极大范数。
常见向量范数：极大范数
证明： 验证 || x 容易。下证 max |
当 x 时，|| x ||A = 0 ；当 x ¹ θ 时由 A 对称
正定知 xH Ax > 0 ，即 || x ||A > 0 。
对于任意 k C ，有
|| k x ||A = (kx)T A(kx) = | k | xT Ax = | k |?|| x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
8
向量范数
定义 如果 V 是数域 F 上的线性空间，对 V 中的任
意向量 x Î V ，都有一个非负实数 || x || 与之对应，并
且具有下列三个条件（正定性、正齐性和三角不等式）：
(1) (正定性) || x || 0; x || x || 0 (2) (正齐性) || x || | | || x || ; ( F)
5
向量范数：向量的长度或模
例 1 复数 x = (a, b) = a i + b j 的长度或模指的是量
|| x || a2 b2 显然复向量 x 的模 || x || 具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
内积空间
各类空间的层次关系
Hilbert空间
欧氏空间 Rn和 C n
常见向量范数
Rn 空间上常见的向量范数
1-范数： 2-范数： p-范数：
n
x 1
xi = |x1 | | x2 | L | xn |
i 1 1
x
2


n i1
xi2

2


x12 x22 L xn2
引入
为了研究线性方程组近似解的误差估计和迭代法的收敛 性，我们需要对Rn中向量或Rn2中矩阵的“大小”引进某 种度量——范数。
4
向量范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。
对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。