多元统计分析第一章_矩阵补充

第1章 矩阵知识补充矩阵是多元统计分析的基本工具。

考虑读者已学过线性代数，本章补充一些必不可少的矩阵知识，作为多元统计分析的基础。

未学过线性代数的读者，可以先自学一本线性代数书，再阅读本章 。

本书中向量和矩阵全用黑体字表示。

以k a ,...a 1为对角线上元素的矩阵记为diag(k a ,...a 1),即diag(k a ,...a 1)=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡k 1a 0...0a矩阵的谱分解定理（矩阵的谱分解） 设实对称矩阵A 的特征值和相应的单位特征向量是k k e e ,...,,...11λλ，其中k e e ,...1两两正交；则'...'111k k k e e e e A λλ+=。

证明 因为A 实对称，存在正交阵T ，使得'T T A Λ=，其中[]k e e e T ...21=是以k e e ,...1为元素的分块矩阵；[]k diag λλλ...21=Λ是对角阵，对角线上元素为k λλ,...1。

于是[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡='...''0...0............0...00...0 (212)121k k k e e e e e e A λλλ。

根据分块矩阵乘法原理，'...'111k k k e e e e A λλ+=。

定义 （）式称为A 的谱分解。

当特征值无重根时，单位特征向量在不计正负号条件下是唯一的，即同一个矩阵只有同一形式的谱分解。

当特征值有重根时，由于单位特征向量不唯一，同一个矩阵可以有不同形式的谱分解。

例⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡----=020212022A 。

的特征值和相应的单位特征向量是⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡---3/23/23/1,3/13/23/2,3/23/13/2,2,4,1所以[][][]3/2,3/2,3/13/23/23/1)2(3/1,3/2,3/23/13/23/243/2,3/1,3/23/23/13/21⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+--⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=A例（谱分解形式不唯一）若⎥⎦⎤⎢⎣⎡=4004AA 的特征值为1，1；相应的特征向量是⎥⎦⎤⎢⎣⎡=ααsin cos 1e ，⎥⎦⎤⎢⎣⎡-=ααcos sin 2e 其中α是任意常数。

A 的谱分解就可以是'4'42211e e e e A +=容易证明，当k λλ,...1全不为零时，'...'111111k k k e e e e A ---+=λλ。

矩阵开平方与比较定义（半正定矩阵）设A 为实对称矩阵，对任何实向量x 有0'≥Ax x ，则称A 为半正定矩阵。

容易看出，正定矩阵也是半正定矩阵，且有定理 正定矩阵的特征值必为正实数。

半正定矩阵的特征值必为非负实数。

定义（半正定矩阵的算术平方根）：设A 是半正定矩阵，它的谱分解是'...'111k k k e e e e A λλ+=，则'...'211121121k k k e e e e A λλ+=称为A 的算术平方根，简称为A 的平方根。

显然，当特征根无重根时，半正定矩阵谱分解形式上唯一，从而矩阵的平方根是唯一的。

当特征根有重根时，学者可以自证：半正定矩阵谱分解形式上不一定唯一，但这时矩阵的平方根是唯一的。

例如⎥⎦⎤⎢⎣⎡=4004A '4'42211e e e e +=其中⎥⎦⎤⎢⎣⎡=ααsin cos 1e ，⎥⎦⎤⎢⎣⎡-=ααcos sin 2e 这时⎥⎦⎤⎢⎣⎡=+=2002'2'222112/1e e e e A 与α无关。

例⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡----=102221342413A的特征值和相应的单位特征向量是⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡-⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡313232,184181181,02/12/1,18,9,9， 所以[][][]3/1,3/2,3/23/13/23/21818/4,18/1,18/118/418/118/130,2/1,2/102/12/1321-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=A⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡+-+--+-+--+=32832223222322232453244322232443245 定理21A是半正定矩阵且A A A=2121 。

证明 由可见21A 是半正定阵；两边平方，左边是2121A A ，由特征向量的正交性，右边是=++----)'...')('...'(2/1112/112/1112/11k k kk k ke e e e e e e e λλλλA e e e e k k k =+--)'...'(11111λλ，从而命题得证。

一般矩阵是不能比较大小的，但是对于半正定矩阵，在一定条件下，可以比较定义 设B A ,都是半正定矩阵，且B A -半正定，则称B A ≥。

由半正定定义容易证明，当B A ≥时，A 对角线上元素全大于B 对角线上相应元素，例如⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡411242218333是正定阵，所以⎥⎦⎤⎢⎣⎡≥⎥⎦⎤⎢⎣⎡42218333 这时13≥，48≥。

.矩阵的迹定义 设A 是方阵，其对角线上元素之和∑iia，称为A 的迹，记为)(A tr 。

定理 （1）设A,B 是同阶方阵，c,d 是常数，则 tr(cA+dB)=c*tr(A)+d*tr(B),(2)设A 是n m ⨯阵,B 是m n ⨯阵，则 tr(AB)=tr(BA) 如果A 是对称的n n ⨯矩阵，其特征值为i λ（I=1,2,3,⋅⋅⋅⋅⋅⋅⋅⋅,n ），则 (3) tr(A)=∑=ni i1λ,（4）∑=∈=ni k ikN k A tr 1][λ（5） ∑=--∈=ni i N k A tr 111][λ （若A 非奇异）证明 （1），（2）可直接由迹的定义验证。

（3）因为存在正交阵T ，使Λ==),...,('21n diag AT T λλλ，所以[][]trA ATT tr AT T tr tr ni i===Λ=∑=''1λ（4）因为T A T AT T AT T AT T kk')')...(')('(==Λ，所以[][])('')(1k k ni k k k iA tr TT A tr T A T tr tr ===Λ=∑=λ。

（5）因为T A T AT T 111')'(---==Λ，所以[][])('')(111111--=---===Λ=∑A tr TT A tr T A T tr tr ni iλ。

矩阵微商矩阵微商内容较多，根据需要，仅介绍如下定理。

定理 设μλ,是常数，a 是n 维常数向量，A 是n 阶常数矩阵，i β是自变量，记自变量向量⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n ββββ...21，)(βf 是n 元函数；记梯度⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂=∂∂f f f f n βββββ...)(21；则)(21f f μλβ+∂∂1f βλ∂∂=2f βμ∂∂+；ββββββ)'(';'A A A a a +=∂∂=∂∂证明)(21f f μλβ+∂∂=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡+∂∂+∂∂+∂∂=)(...)()(21212211f f f f f f n μλβμλβμλβ⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂11211...f f f n βββλ⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂+22221...f f f n βββμ1f βλ∂∂=2f βμ∂∂+ 。

其余各式同样得证。

分块矩阵的逆定理 设A 和D 都是对称的，且A 和B A B D G 1'--=的逆都存在，则⎥⎦⎤⎢⎣⎡--+=⎥⎦⎤⎢⎣⎡------111111'''G F G FG F FG A D B B A （） 其中B A F 1-=。

证明 经化简，I G F G FG F FG A D B B A =⎥⎦⎤⎢⎣⎡--+⎥⎦⎤⎢⎣⎡------111111'''。

有关矩阵不等式下列矩阵不等式和极值定理可导出多元统计的极值定理。

定理（二次型极值）设B 是p 阶正定矩阵，其特征值p λλλ≥≥≥...21，对应的彼此正交单位向量是p e e e ,...,21，则对一切p 维是向量x10''maxλ=≠xx Bxx x ， p x xx Bxx λ=≠''min且11111''λ=e e Be e ，p pp p p e e Be e λ=''。

证明 因为B 实对称，存在正交阵T ，使得'T T B Λ=，其中[]p e e e T (21)=是以p e e ,...1为元素的分块矩阵；[]p diag λλλ (21)=Λ是对角阵，对角线上元素为p λλ,...1。

令x T y '=，则∑∑∑∑====≤=Λ==pi ipi ipi ipi ii yy yy yy yy y y Ty B Ty x x Bx x 121211212''')()'(''λλ当1e x =时，由矩阵谱分解11111111''''λλ=⎪⎪⎭⎫ ⎝⎛=∑=e e e e e e Be e p i i i i 定理的其余部分类似可证，留为作业。

练习题设矩阵⎥⎦⎤⎢⎣⎡=4221A 求A 的谱分解和算术平方根。

设⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=301022123A用SAS 软件求A 的谱分解，把特征值从大到小排序，指出最大，第2大特征值对应的单位特征向量，并求2/1-A 。

设⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=301022123A求xx Axx x ''max 0≠。

设321323121232221753108632)(x x x x x x x x x x x x x f -+-+-+-+=用矩阵微商公式求f x∂∂。

证明)()(BA tr AB tr =。