关于向量与矩阵范数笔记
合集下载
数值分析8(向量范数与矩阵范数)
20:22
16/16
20:22
11/16
A 2 ( A A), 其中 ( B ) max{| i ( B ) |}
T i
2 T T 证: 2 这表明矩阵ATA是对称半正定的, 是非负。设矩阵ATA的特征值为
|| Ax || x A Ax 0
1 2
所以它的特征值 都
n 0
并设对应的特征向量为
v1 , 由于ATA是对称,故 v1 ,
vi
20:22
2
1, i 1,
, vn , v n 是Rn的标准正交基: T , n vi v j 0, i j
12/16
对于向量 x 可被特征向量系所表示 x ck v k
n n k 1
n n
n
T T T || Ax ||2 x A Ax ( c v k k )( ck k vk ) 2
Matlab内部函数: norm(A,p)。
20:22
9/16
矩阵算子范数
设 ||x||是Rn上的向量范数,A∈Rn×n,则A的非 负函数 || Ax ||
|| A || max
x 0
|| x ||
称为矩阵A的算子范数(或诱导范数)。 注1 矩阵算子范数由向量范数诱导出, 如
|| Ax ||2 || A ||2 max x 0 || x || 2
1 i n
, xn
Matlab内部函数: norm(x,p)。特别的, norm(x) 等价于norm(x,2)。 范数概念是我们熟悉的距离概念的一种自然的 推广。 k *
lim || x x || 0
k
则称序列{xk}在范数||.||下收敛于x*。
第五章--向量范数和矩阵范数
圆范数。
当 x 时，|| x ||A 0 ；当 x θ 时由 A 对称
正定知 xH Ax 0 ，即 || x ||A 0 。
对于任意 k C ，有 || k x ||A (kx)T A(kx) | k | xT Ax | k | || x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
|| x ||2
| x1 |2 | x2 |2
| xn |2
定义的|| ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2, , xn) T F n，由
|| x ||p
1/ p n
| xi |p , p 1
i1
定义的|| ||p 是 F n 上的向量范数，称为p -范数或 lp
UT AU Λ diag( λ1, λ2, , λn)
这里 A 的特征值 λi (i 1, 2, , n) 都为正数。
从而有
A UΛUT U Λ Λ UT BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y C n ， || x y ||A || B( x y) ||2
数 || A || 表示对于任意向量 x F n ， A 可以 “拉伸”向量 x 的最大倍数，即使得不等式
|| A x || C || x || 成立的最小的数 C 。称 || A || 为范数 || || 和 || ||
j1
n
| xj
j1
yj |; yj |;
yj |;
1
yj |m m;
以及与椭圆范数类似的Mahalanobis距离：
当 x 时，|| x ||A 0 ；当 x θ 时由 A 对称
正定知 xH Ax 0 ，即 || x ||A 0 。
对于任意 k C ，有 || k x ||A (kx)T A(kx) | k | xT Ax | k | || x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
|| x ||2
| x1 |2 | x2 |2
| xn |2
定义的|| ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2, , xn) T F n，由
|| x ||p
1/ p n
| xi |p , p 1
i1
定义的|| ||p 是 F n 上的向量范数，称为p -范数或 lp
UT AU Λ diag( λ1, λ2, , λn)
这里 A 的特征值 λi (i 1, 2, , n) 都为正数。
从而有
A UΛUT U Λ Λ UT BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y C n ， || x y ||A || B( x y) ||2
数 || A || 表示对于任意向量 x F n ， A 可以 “拉伸”向量 x 的最大倍数，即使得不等式
|| A x || C || x || 成立的最小的数 C 。称 || A || 为范数 || || 和 || ||
j1
n
| xj
j1
yj |; yj |;
yj |;
1
yj |m m;
以及与椭圆范数类似的Mahalanobis距离：
向量和矩阵范数
|| x ||
|| b ||
➢ 设 精b确，A有误差 ，得到的A 解为
，即 x x
|| A || || A1 || 是关键
( A 的A误的A差状)放态(大数x因(条子件，数称x)，)为 b
记为cond (A) ,
A(x x) A(x x) b (A A)x (A A) x b
I A 1 1
1 || A ||
证明： ① 若不然，则
(I A有)x非零0解，即存在非零向量 使得
x0
Ax0 x0
|| Ax0 || 1 || x0 ||
|| A || 1 ✓
② (I A)1 A(I A)1 (I A)(I A)1 I
(I A)1 I mA(I A)1
，即
A(x x) b b
x x
绝对误差放大因子
x A1 b
|| x |||| A1 || || b ||
相对误差放大因子
又 || b || || Ax || || A || || x || 1 || A || || x || || b ||
|| x || || A || || A1 || || b ||
主要性质
性质1:‖-x‖=‖x‖
性质2:｜‖x‖-‖y‖｜≤‖x-y‖
性质3: 向量范数‖x‖是Rn上向量x的连续函数.
范数等价:设‖·‖A 和‖·‖B是R上任意两种范数，若存在
常数 C1、C2 > 0 使得
,则称
‖·‖A 和‖·‖B 等价。
定理1.4.1 Rn 上一切范数都等价。
定义2:设｛xk｝是Rn上的向量序列， 令 xk=(xk1,xk2,…，xkn)Ｔ, k=1,2，….,
|| A1A |||| A1 || || A || 1 )
矩阵的范数
矩阵的范数文章目录•前言•一、诱导范数（Induced norm）••谱范数•二、向量式范数（Entry-wise norm）••F-范数•三、Schatten 范数（Schatten norm）•四、矩阵2-范数•总结前言矩阵分析学习笔记之矩阵范数。
三类重要的矩阵范数：诱导范数（Induced norm），向量式范数（Entry-wise norm），Schatten 范数（Schatten norm）。
矩阵A ∈ K m × n A\in K^{m\times n}A∈Km×n表示其定义在实数域或者复数域上。
一、诱导范数（Induced norm）诱导范数也称算子范数（operator norm）。
诱导p-范数的定义如下：∥ A ∥ p = s u p x ≠ 0 ∥ A x ∥ p ∥ x ∥ p \Vert A\Vert_p=\underset{x\neq 0}{\rm sup}\frac{\Vert Ax \Vert_p}{\Vert x\Vert_p}∥A∥p=x=0sup∥x∥p∥Ax∥p特别的，当p = 1 p=1p=1时，有∥ A ∥ 1 = max 1 ≤ j ≤ n ∑ i = 1 m ∣ a i j ∣ \Vert A\Vert_1=\max_{1\le j\le n}\sum_{i=1}^{m}\vert a_{ij}\vert∥A∥1=1≤j≤nmax i=1∑m∣aij∣也就是绝对值的列和的最大值。
当p = ∞ p=\inftyp=∞时，有∥ A ∥ ∞ = max 1 ≤ i ≤ m ∑ j = 1 n ∣ a i j ∣ \Vert A\Vert_{\infty}=\max_{1\le i\lem}\sum_{j=1}^{n}\vert a_{ij}\vert∥A∥∞=1≤i≤mmax j=1∑n∣aij∣也就是绝对值的行和的最大值。
向量和矩阵的范数
|| k Ax || | k ||| Ax || 2) || k A || max max | k ||| A || x0 x0 || x || || x || || Ax || 3) 由 || A || max ，则 || Ax |||| A |||| x || x R n x 0 || x || 于是 || ( A B ) x || || Ax Bx |||| A |||| (|| A || || B ||) || x ||
法则对应于一非负实数 ||
n
则称 || x || 为向量x的范数。
常见的向量范数
设向量x ( x1 , x2 ,..., xn )T || ||
x || | x |
1 i 1 i
n
x || || x ||
( | xi | ) ( x, x) ( xT x) 2
i 1
3.5 病态方程组与矩阵的条件数
例3.5.1 设线性方程组 0.99 x1 1.99 1 0.99 0.98 x 1.97 2 试分析系数矩阵和右端项有微小扰动, 解将产生 什么样的变化 ? 解 该方程组的精确解为x (1,1)T 。
||
Hale Waihona Puke x ||2 n ||
x ||
1 例如 : || n
1 n x ||1 | xi | || n i 1
x ||
max{| xi |} | xi |
1i n i 1
n
向量的收敛性
定义3.4.2 设R n中一向量序列{ x ( k ) }( k 1,2,...), 其中 (i 1,2,..., n)
3.1向量和矩阵的范数1
可得AT A的特征值为
1 9.1428, 2 2.9211, 3 0.9361
max ( AT A) 9.1428
A 2 max ( AT A) 3.0237 A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感 性质较好
(理论上)使用最广泛
矩阵序列的收敛性
k
定理3.6，Rn×n 中矩阵序列{A(k)} 收敛于矩阵A 的充分必要条
件是
lim A
k
(k )
A 0，
其中 为矩阵的任意一种范数。
定理3.7设A为任意n阶方阵，则对任意矩阵范 数||A||，有： ρ(A)≤||A||
证:设λ为A的任意一个特征值, X为对应的特征向量 AX= λ X 两边取范数,得:
5
解
A 1 max aij max{ 2 ,5 ,2} 5
1 j n i 1
n
A max aij max{ 3 , 4பைடு நூலகம்,2} 4
1 i n j 1
1i n
由于
A 2 max ( AT A)
因此先求AT A的特征值
1 T A A 2 0
则称 A 为矩阵A 的范数.
由于大多数与估计有关的问题中，矩阵和向量会同时 参与运算，所以希望引进一种矩阵范数，它和向量范数 相联系而且和向量范数相容，即
Ax A . x
为此我们引进矩阵的算子范数
定义3.5
设x R n , A R nn , v 为一种向量范数
则
Ax x
v
v
对所有的x 0有最大值, 令
lim x
矩阵论范数知识点总结
矩阵论范数知识点总结一、概述矩阵论是线性代数的一个分支，它研究矩阵及其性质。
矩阵的范数是矩阵的一种性质的度量，它在矩阵分析、数值线性代数、优化理论等领域中有着广泛的应用。
本文将对矩阵范数的定义、性质、应用以及相关的其他知识点进行总结和介绍。
二、矩阵的定义在数学中，矩阵是一个按照矩形排列的复数或实数集合。
也可以看成是一个数域上的矩形阵列。
矩阵的元素可以是实数、复数或者是其他的数学对象。
一个n×n矩阵A是一个由n×n个元素（a_ij）组成的矩形数组。
三、范数的定义在数学中，范数是定义在向量空间中的一种函数，它通常被用来衡量向量的大小或长度。
对于矩阵来说，范数是一种度量矩阵大小的方法。
对于一个矩阵A，它的范数通常记作||A||。
矩阵的范数满足以下性质：1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||四、矩阵范数的种类矩阵范数一般有几种不同的类型。
1. Frobenius范数：矩阵A的Frobenius范数定义为||A||_F = sqrt(Σ_(i=1)^m Σ_(j=1)^n|a_ij|^2)2. 1-范数：矩阵A的1-范数定义为||A||_1 = max(Σ_(i=1)^n |a_ij|)3. 2-范数：矩阵A的2-范数定义为||A||_2 = max(Σ_(i=1)^m Σ_(j=1)^n |a_ij|^2)^(1/2)4. ∞-范数：矩阵A的∞-范数定义为||A||_∞ = max(Σ_(j=1)^n |a_ij|)五、矩阵范数的性质矩阵范数具有一些重要的性质，下面将介绍其中一些主要性质。
1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||4. 乘法范数：||AB|| ≤ ||A|| * ||B||5. 谱半径：对于任意矩阵A，它的谱半径定义为rho(A) = max|λ_i(A)|6. 对称矩阵：对于对称矩阵A，其2-范数定义为rho(A)，即||A||_2 = rho(A)，其中rho(A)是A的最大特征值六、矩阵范数的应用矩阵范数在数学和工程领域有着广泛的应用，下面将介绍一些主要的应用。
向量与矩阵的范数
那么
n
X X H *
xi
X 1
i 1
矩阵旳谱半径及其性质
定义：设 A C mn ，A 旳 n 个特征值为 1, 2, , n ，我们称
( A) max{ 1 , 2 , , n }
为矩阵 A 旳谱半径。 例 1 ：设 A C mn ，那么
( A) A
这里 A 是矩阵 A 旳任何一种范数。
F
F
于是有
AB A B
F
F
F
例 4 ：对于任意 A C nn ，定义
A
[Tr
(
AH
A)]
1 2
证明如此定义旳 A 是矩阵 A 旳范数。
证明： 首先注意到这么一种基本事实，
即
[Tr( AH
1
A)] 2
(
m
n
aij
2
)
1 2
i1 j1
由一种例题可知此定义满足范数旳性质。
Frobenious范数旳性质：
(1)' n
1
(2)' n
2
1
2
(3)' n
2
引理（Hoider不等式）：设
a1, a2, , an T , b1, b2, , bn T Cn
则
n
n
aibi (
ai p ) 1 p ( n
bi
q)
1 q
i 1
i 1
i 1
其中 p 1,
q1 且
1p
是矩阵范数。
证明：非负性，齐次性和三角不等式轻易 证得。目前我们考虑乘法旳相容性。设
A C nn , B C nn ，那么
n
n
AB
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定理 2.3. 设 ∥ · ∥ 是 Cn×n 上的任一相容矩阵范数, 则对任意 A ∈ Cn×n 有
|λi| ≤ ∥A∥, ∀ λi ∈ λ(A), 其中 λ(A) 表示 A 的特征值全体.
由定理2.3可知, 对任意 A ∈ Cn×n 有
ρ(A) ≤ ∥A∥,
其中 ∥ · ∥ 是 Cn×n 上的任一相容矩阵范数, ρ(A) 表示 A 的谱半径. 引理 2.1. 设 ∥ · ∥ν 是 Cn 上的向量范数, 则点集 φν = {x ∈ Cn | ∥x∥ν = 1}
i=1
∥α∥ν = ∥x∥,
则 ∥α∥ν 是 V 上的向量范数.
2 矩阵范数
3
定理 1.5. 设 ∥ · ∥ 是数域 P 上的 n 维线性空间 V 上的任一向量范数, ϵ1, . . . , ϵn 为 V 的一组基, V 中任一向量 α 可唯一地表示为 α = ∑n xiϵi, x = (x1, . . . , xn)T ∈ Pn. 则 ∥α∥ 是
xα ≤ 1 − α + αx.
对任意正实数
A, B,
在上式中令
x=
A B
,
α
=
1 p
,
1
−
α
=
1,
q
则 A1/pB1/q
≤
A p
+
B.
q
由此再令
a = A1/p, b = B1/q, 即得 (1.9).
定理 1.1 (Hölder 不等式). 设 x = (x1, . . . , xn)T , y = (y1, . . . , yn)T ∈ Cn, 则
∥x∥α = ∥Ax∥β, x ∈ Cn
所定义的 ∥ · ∥α 是 Cn 上的向量范数.
量
定理 1.4. 设 V 是数域 P 上的 α 可唯一地表示为 α = ∑n xiϵi, x
n =
维线性空间, (x1, . . . , xn)T
ϵ1, . . . , ∈ Pn.
ϵn 为 又设
V ∥·
的一组基, 则 V 中任一向 ∥ 是 Pn 上的向量范数, 令
由定义1.1易知, 对任意向量 α, β ∈ V , 有
∥α∥ − ∥β∥ ≤ ∥α − β∥
(1.1)
在赋范线性空间 V 中, 对任意向量 α, β ∈ V , 通过
d(α, β) = ∥α − β∥
规定由范数 ∥ · ∥ 决定的距离 d(α, β). 以后对每个赋范线性空间总是按此方式引入距离, 使之
∥AB∥ ≤ ∥A∥∥B∥, ∀ A, B ∈ Cn×n,
(2.5)
则称 ∥ · ∥ 是自相容的矩阵范数, 或简称为相容范数. 易知, 矩阵 Frobenius 范数与向量 Euclid 范数是相容的,
∥Ax∥2 ≤ ∥A∥F ∥x∥2, ∀ A ∈ Cm×n, ∀ x ∈ Cn.
(2.6)
定理 2.2. 设 ∥ · ∥ 是 Cn×n 上的相容矩阵范数, 则在 Cn 上存在与 ∥ · ∥ 相容的向量范数.
由定义2.1易知, 对任意矩阵 A, B ∈ Cm×n, 有
∥A∥ − ∥B∥ ≤ ∥A − B∥
(2.1)
对于 A = (aij) ∈ Cm×n,
∥A∥F
=
( ∑ m ∑n
)1/2
|aij |2
=
(tr(AH A))1/2
i=1 j=1
(2.2)
2 矩阵范数
4
称为 A 的 Frobenius 范数. 这里 AH 表示 A 的共轭转置. 易知 ∥A∥F 是 Cm×n 中内积 (A, B) = tr(BHA) 所导出的矩阵范数. 因此, 矩阵 Frobe-
∑n
( ∑n
)1/p
( ∑n
)1/q
|xiyi| ≤
|xi|p
|yi|q ,
i=1
i=1
i=1
其中实数
p>
1,
q
>1
且
1 p
+
1 q
=
1.
定理 1.2 (Minkowski 不等式). 设 x = (x1, . . . , xn)T , y = (y1, . . . , yn)T ∈ Cn, 则
{ ∑n
不收敛的向量序列称为发散的.
lim x(k) = x.
k→∞
定理 1.7. Cn 中向量序列 x(k) 收敛于向量 x 的充分必要条件是对任一向量范数 ∥ · ∥ 数 列 {∥x(k) − x∥} 收敛于 0.
2 矩阵范数
定义 2.1 ([1] P175 第六章第二节). 设 ∥A∥ 是以 Cm×n 中矩阵 A 为自变量的非负实值 函数, 如果它满足以下三个条件:
√ ∥x∥∞ ≤ ∥x∥2 ≤ n∥x∥∞
(1.6) (1.7) (1.8)
引理
1.1.
如果实数
p
> 1,
q
>1
且
1 p
+
1 q
= 1,
则对任意非负实数
a,
b
都有
ap bq ab ≤ +
pq
(1.9)
证明： 若 a = 0 或 b = 0, 则 (1.9) 显然成立. 下面考虑 a, b 均为正数的情况. 对 x > 0, 0 < α < 1, 记 f (x) = xα − αx. 易证 f (x) 在 x = 1 处达到最大值 1 − α, 从而 f (x) ≤ 1 − α, 即
成为度量空间.
在 n 维向量空间 Cn 中, 对任意向量 x = (x1, . . . , xn)T ∈ Cn, 定义
1 范数
2 范数 ∞ 范数 p 范数
∑n ∥x∥1 = |xi|
(i=1 ∑n
)1/2
∥x∥2 =
|xi|2
i=1
∥x∥∞ = max |xi|
1≤i≤n
( ∑n
)1/p
∥x∥p =
(2.9)
∥AB∥p ≤ ∥A∥p∥B∥p, ∀ A ∈ Cm×n, ∀ B ∈ Cn×k (p = 1, 2, ∞).
关于 ∥A∥p 有下面的表示定理
定理 2.7. 设 A = (aij) ∈ Cm×n, 则有
列和范数 谱范数 行和数
∥A∥1 ∥A∥2 ∥A∥∞
∑ m = max |aij|,
1≤j≤n i=1
定理 2.8. 设 A ∈ Cm×n, 则
∥A∥2 ∥AH ∥2
= max |yHAx|, ∥x∥2 =1 ∥y∥2 =1
= ∥AT ∥2 = ∥A∥2,
∥AH A∥2 = ∥A∥22,
∥A∥22 ≤ ∥A∥1∥A∥∞,
并且对 m 阶酉矩阵 U 和 n 阶酉矩阵 V , 有
关于算子范数之间的相容性, 有下述结果.
定理 2.5. 设 ∥ · ∥µ, ∥ · ∥ν 与 ∥ · ∥ω 分别是 Cm, Cn 与 Ck 上的向量范数, 如果按照 (2.7) 式分别定义 Cm×n, Cn×k 与 Cm×k 上的算子范数 ∥ · ∥µ,ν, ∥ · ∥ν,ω 和 ∥ · ∥µ,ω, 则
= (λmax(AH A))1/2 , ∑n
= max |aij|,
1≤i≤m j=1
其中 λmax(AHA) 表示 (AHA) 的最大特征值.
(2.10)
(2.11) (2.12) (2.13)
参考文献
6
值得指出的是, Forbenius 范数 ∥ · ∥F 是相容范数, 但不是算子范数. 矩阵的谱范数虽不便 计算, 但有许多很好的性质, 所以在理论研究中常常使用谱范数.
如果把 Cn 上的向量范数 ∥ · ∥p (p = 1, 2, ∞) 限制到 Cm 上, 恰好是 Cm 上的向量范数 ∥ · ∥p, 由定理2.5可以得到 Cm×n 上的算子范数 ∥ · ∥p
∥A∥p = max ∥Ax∥p,
∥x∥p=1
∀ A ∈ Cm×n (p = 1, 2, ∞),
并且由定理2.6知, 这些算子范数都是相容的, 即
|xi|p
,
i=1
1 ≤ p < +∞
(1.2)
(1.3) (1.4) (1.5)
1
1 向量范数
2
其中, 2 范数也称 Euclid 范数. 而且成立 lim ∥x∥p = ∥x∥∞.
p→∞
各范数之间成立如下关系 ([1] P198):
√ ∥x∥∞ ≤ ∥x∥1 ≤ n∥x∥∞
√ ∥x∥2 ≤ ∥x∥1 ≤ n∥x∥2
∥x∥ν =1
则 ∥ · ∥µ,ν 是 Cm×n 上的矩阵范数, 并且 ∥ · ∥µ, ∥ · ∥ν 和 ∥ · ∥µ,ν 相容.
(2.7)
定义 2.3. 设 ∥ · ∥µ 和 ∥ · ∥ν 分别是 Cm 和 Cn 上的向量范数, 由 (2.7) 式定义的非负实 值函数 ∥ · ∥µ,ν 叫做 Cm×n 上的算子范数 或称为由向量范数 ∥ · ∥µ 和 ∥ · ∥ν 导出的矩阵范数.
∥AB∥µ,ω ≤ ∥A∥µ,ν∥B∥ν,ω,
∀ A ∈ Cm×n, ∀ B ∈ Cn×k.
(2.8)
特别地, 有
定理 2.6. 设 ∥ · ∥ 是 Cn 上的向量范数, 则在 Cn×n 上由向量范数 ∥ · ∥ 导出的矩阵范数 ∥ · ∥ 是相容矩阵范数, 即
∥AB∥ ≤ ∥A∥∥B∥, ∀ A, B ∈ Cn×n.
(1) 非负性: 当 A ̸= 0 时, ∥A∥ > 0; 当 A = 0 时, ∥A = 0; (2) 齐次性: 对任意 k ∈ C, A ∈ Cm×n, 有 ∥kA∥ = |k|∥A∥; (3) 三角不等式: 对任意 A, B ∈ Cm×n, 有 ∥A + B∥ ≤ ∥A∥ + ∥B∥, 则称 ∥A∥ 为矩阵 A 的范数.