范数

向量范数

在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。

范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。

向量范数是度量向量长度的一种定义形式。范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。同一向量，采用不同的范数定义，可得到不同的范数值。

定义3.1 对任一向量，按照一个规则确定一个实数与它对应，记该实数记为，若满足下面三个性质：

若X是数域K上的线性空间，泛函║·║: X->R 满足：

1. 正定性：║x║≥0，且║x║=0 <=> x=0；

2. 正齐次性：║cx║=│c│║x║；

3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。

那么║·║称为X上的一个范数。

常用范数

这里以C^n空间为例，R^n空间类似。

最常用的范数就是p-范数。若x=[x1,x2,...,xn]^T，那么

║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}

可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。

当p取1，2，∞的时候分别是以下几种最简单的情形：

1-范数：║x║1=│x1│+│x2│+…+│xn│

2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)

其中2-范数就是通常意义下的距离。

定理中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使m║x║α≤║x║β≤M║x║可根据范数的连续性来证明它.

由定理1可得

定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→∞)

其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.

此时称{x(k)}收敛于x,记作x(k)→x(k→∞),或 .

矩阵范数

一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。

如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。

对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。

注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维向量空间同构。

引入相容性主要是为了保持矩阵作为线性算子的特征，和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

矩阵范数

定义2. 设 ,满足 1. 正定性:║X║≥0,且║X║=0 <=> X=0 2. 齐次性:║cX║=│c│║X║, 3. 三角不等式:║X+Y║≤║X║+║Y║ 4. 相容性: ║XY║≤║X║║Y║则称Cn×n中定义了矩阵范数,║X║为矩阵X的范数. 注意, 矩阵X可视为n2维向量,故有前三条性质.因此定理1,2中向量的等价性和向量序列收敛的概念与性质等也适合于矩阵.第四条,是考虑到矩阵乘法关系而设.更有矩阵向量乘使我们定义矩阵范数向量范数的相容性: ║Ax║≤║A║║x║所谓由向量范数诱导出的矩阵范数与该向量范数就是相容的. 定理3. 设A是n×n矩阵,║?║是n维向量范数则║A║=max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} 是一种矩阵范数,称为由该向量范数诱导出的矩阵范数或算子范数,它们具有相容性或者说是相容的. 单位矩阵的算子范数为1 可以证明任一种矩阵范数总有与之相容的向量范数.例如定义: ║x║=║X║,X=(xx…x) 常用的三种向量范数诱导出的矩阵范数是1-范数:║A║1= max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } （列范数，A每一列元素绝对值之和的最大值）(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|ann|,其余类似）2-范数:║A║2=( max{ λi(A'A) } ) ^1/2 ( 谱范数,即A'A特征值λi中最大者λm的平方根,其中A'为A的转置矩阵). ∞-范数:║A║∞=max{ ∑|a1j|, ∑|a2j| ,..., ∑|ann| } (行范数,A每一行元素绝对值之和的最大值) (其中为∑|a1j| 第一行元素绝对值的和，其余类似）Frobenius范数: 它与向量2-范数相容.但非向量范数诱导出的矩阵范数. F-范数:||A||F= ( ∑∑ aij^2 )^1/2 (F范数,A全部元素平方和的平方根)

矩阵谱半径

定义3.设A是n×n矩阵,λi是其特征值,i=1,2,…,n.称特征值的绝对值的最大值为A的谱半径. 谱半径是矩阵的函数,但非矩阵范数.对任一矩阵范数有如下关系: ρ(A)≤║A║因为任一特征对λ,x,Ax=λx,令X=(xx…x),可得AX=λX.两边取范数,由矩阵范数的相容性和齐次性就导出结果. 定理3.矩阵序列I,A,A2,…Ak,…收敛于零的充分必要条件是║ρ(A)║<1.

矩阵的相关定义

特殊矩阵类别

对称矩阵是相对其主对角线（由左上至右下）对称，即是ai,j=aj,i。

埃尔米特矩阵（或自共轭矩阵）是相对其主对角线以复共轭方式对称，即是ai,j=a*j,i。

特普利茨矩阵在任意对角线上所有元素相对，是ai,j=ai+1,j+1。

随机矩阵所有列都是概率向量，用于马尔可夫链。

逆矩阵：设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E。则我们称B是A的逆矩阵，而A则被称为可逆矩阵。

矩阵可逆的条件

A是可逆矩阵的充分必要条件是∣A∣≠0，即可逆矩阵就是非奇异矩阵。（当∣A∣=0时，A称为奇异矩阵）[1]

逆矩阵的求法:

A^(-1)=(1/|A|)×A* ，其中A^(-1)表示矩阵A的逆矩阵，其中|A|为矩阵A的行列式，A*为矩阵A的伴随矩阵。

逆矩阵的另外一种常用的求法：

(A|E)经过初等变换得到(E|A^(-1))。

注意：初等变化只用行运算，不能用列运算。E为单位矩阵。