第0章、数学基础范文

第一章、数学基础主要分为两部分：矩阵代数和概率统计§1矩阵代数1、定义（1）矩阵（Matrix）2][1111ij mn m n a a a a a A =⎪⎪⎪⎭⎫ ⎝⎛= n m ⨯ 矩阵, m 为行维数, n 为列维数(dimension). 例如⎥⎦⎤⎢⎣⎡=⨯07655832A , 其中512=a （2） 向量（vector ）m A ⨯1：m 维行向量, （row vector ）, 记为),,(1m x x x =31⨯n A ：n 维列向量, （column vector ）, 记为⎪⎪⎪⎭⎫ ⎝⎛=n y y y 1 （3） 标量（Scalar ）11⨯A :11⨯矩阵, 为一实数（4）方阵（square ）A m ×m4（5）对角矩阵（Diagonal ）A m ×m 有a ij =0, i ≠j, 即110A 0mm a a ⎛⎫ ⎪=⎪ ⎪⎝⎭（6）单位矩阵, 恒等矩阵（Identity ）10I 01n ⎛⎫ ⎪=⎪ ⎪⎝⎭（7）零矩阵（zero matrix, null matrix ）5nm nm ⨯⨯⎪⎪⎪⎭⎫ ⎝⎛=00000 （8）对称矩阵ki ik a a =, k i ∀∀,, 即A A ='例子：⎪⎪⎪⎭⎫⎝⎛=674752421A62 矩阵运算 （1） 矩阵相等A =B 如果a ik = b ik , k i ∀∀,例: ⎪⎪⎭⎫ ⎝⎛=1001A , 101 011B ⎛⎫= ⎪⎝⎭, A ≠B（2） 矩阵转置（行列互换）7⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=005214A , ⎪⎪⎭⎫ ⎝⎛=005214'A )201(=A , ⎪⎪⎪⎭⎫⎝⎛=201'A性质: ✧ A A ='',✧ (αA)’=αA ’, α∈R8✧ (A+B)’=A ’＋B ’ ✧ (AB)’=B ’A ’, A m ×n , B n ×k✧ 11⨯⎪⎪⎪⎭⎫ ⎝⎛=n n x x x , ∑==n i i x x x 12'（3） 矩阵相加A ，B 同维, ⎪⎪⎭⎫ ⎝⎛++=+mn mn b a b a B A 11119（4）数乘（Scalar multiplilation ）,R ∈γ ⎪⎪⎪⎭⎫ ⎝⎛=mn m n a a a a A γγλγγ1111例子: γ＝2, ⎪⎪⎭⎫ ⎝⎛=4231A , ⎪⎪⎭⎫⎝⎛=8462A γ （5）向量乘法（内积, inner product ）10⎪⎪⎪⎭⎫ ⎝⎛=n x x x 1, ⎪⎪⎪⎭⎫ ⎝⎛=n y y y 1, i i n i y x y x 1'=∑= （6）矩阵乘法（matrix multiplication ） A m ×n , B n ×p , (AB)m ×p =(∑k a ik b kj ),AB 第（i, j ）个元素等于A 中的第i 行的每个元素与第j 列的对应元素的乘积之和.11例: ⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛37343760251632165743性质：（a, b ∈R ）✧ (a+b )A=a A+b A✧ a (A+B)= a A+ a B✧ (ab )A=a (b A)✧ a (AB)=(a A)B✧ A+B=B+A✧(AB)C=A(BC)✧A(B+C)=AB+AC✧(A+B)C=AC+BC✧IA=AI=A✧A+0=0+A=A✧A0=0A=0（7）分块矩阵乘法1213⎪⎪⎪⎭⎫ ⎝⎛=⨯n k n a a A 1, 其中a i 为k 维行向量, ⎪⎪⎪⎭⎫ ⎝⎛=⨯n m n b b B 1, 其中b i 为m 维行向量.()',,''1n a a A =, i i n i b a B A ''1=∑=, i i b a '为k ×m 矩阵（8）迹（trace ）A n ×n 的迹为tr(A)=(∑n i a ii ),性质：✧tr ( I n ) = n✧tr ( A’ ) = tr ( A )✧** tr ( AB ) = tr ( BA ), A m×n, B n×m ✧tr ( a A ) = a tr ( A )✧tr ( A+B ) = tr ( A ) + tr ( B )✧a’a = tr ( a’a) = tr ( aa’ )14（9）逆矩阵（inverse）A-1A = AA-1 = I n, 称A n×n可逆或者非奇异性质：✧(AB)-1 = B-1A-1✧(A’)-1 = (A-1)’✧(a B)-1 = (1/a) (B)-1例子：1516⎪⎪⎭⎫ ⎝⎛=8642A , ⎪⎪⎪⎪⎭⎫ ⎝⎛--=-41862111A , 有211001I AA =⎪⎪⎭⎫ ⎝⎛=- Matlab 命令: inv(A), det(A), rank(A)3、数值和⎪⎪⎪⎭⎫ ⎝⎛=n x x x 1, 有17 =+++=∑=n i n i x x x x 211i ⎪⎪⎪⎭⎫ ⎝⎛=n x x x 1)1,,1('=x nx x x i n i '21=∑=, y x y x i i ni '1=∑=4、幂等矩阵（idempotent）（1）幂等矩阵的定义: M2 = MM = M（2）对称幂等矩阵的定义: 幂等矩阵M是对称的. 即M’= M且M2 = M, 也即M= M’M（3）一个常用幂等矩阵01M I ii'n=-, 此处i为n维的全1列向量, 则有1819111ii '(1,,1)111⎛⎫⎛⎫⎪ ⎪== ⎪ ⎪⎪ ⎪⎝⎭⎝⎭性质：(习题)✧ (M 0)’ = M 0✧ M 0 M 0 =M 0证明：？20 ✧ =⎪⎪⎪⎭⎫ ⎝⎛--x x x x n 1 M 0 x ？✧ ')(21x x x i n i =-∑=M 0 x , '))((1x y y x x i i n i =--∑=M 0 y , ？5、线性无关和矩阵的秩（1）线性无关/独立（linearly independent）称向量（a1,…,a k）为线性独立的, 如果线性方程α1a1+ ...+ακa k=0的唯一解为α1=...=ακ=0（2）线性相关至少一个向量可以表示为其它向量的线性组合.2122,i ∃ αι ≠ 0, a i ＝⎪⎪⎭⎫ ⎝⎛-∑≠i j i j ααa j例子：⎭⎬⎫⎩⎨⎧⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛01,10线性独立, 而⎭⎬⎫⎩⎨⎧⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛32,01,10中有⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛01210332线性相关（3）秩（rank）A m×n＝(a1, ...,a n), 其中a i是m维列向量.{a1, ...,a n}中最大线性无关子组的个数, 称为A的（列）秩, 记为rank(A)性质：✧rank(A’)=rank(A)✧rank(A)≤min(m, n)✧A m×m, rank(A)=m, 称A满秩236、特征根与特征向量（characteristic roots and vectors）（1）定义：Ac=λc, c为列向量, 满足c’c=1（2）定理：m×m对称矩阵有m个不相同的特征向量c1,…,c m, 和相应的特征根λ1,...,λm为实数, 不一定相同.2425（3）C ＝[c 1,…,c m ], ⎪⎪⎪⎭⎫ ⎝⎛=Λm λλ001 , AC=C Λ, C ’C=IC ’C=I 可以推出C C ’ =I ，为什么？注意：C’C=I说明C’是C的逆矩阵，即C’=C-1。

因此C C’ =I Matlab: [C, Λ]=eig(A)矩阵的对角化：在AC=CΛ⎛⎛∃≠⎛Ξ∑C’，有C’AC= C’CΛ=Λ σC’AC= Λ26✧若A’=A, 则rank(A)=rank(Λ), 数非0的个数即可.✧Rank(A)=rank(A’A)=A’A的非0特征根的个数.(5) 矩阵的迹✧tr(A)=tr(Λ), 特征根之和,✧tr(A)=tr(ACC’)=tr(C’AC)=tr(Λ)27|A|=|Λ|, 特征根之积证明：由于C’AC=Λ，所以|C’AC|=|Λ|，而左边等于|C’ |×|A|×|C|=|C’|×|C|×|A|=|C’ C|×|A|=|A|(7) 矩阵的幂定理: 若A对称,则A2的特征向量同A, A2的特征根是A的特征根的平方.推论: A k=CΛk C’, k=0, ±1, ±228(8) 幂等矩阵的特征根若A2=A, 则λ=λ2, 即λ=0或1.297. 二次型和正定矩阵(1)二次型q=x’Ax=∑i∑j x i x j a ij, A对称(2)称A是正定的(Positive define), 若对任意x≠0, 有x’Ax>0称A是负定的(negative define), 若对任意x≠0, 有x’Ax<0称A是非负定的(nonnegative define), 若对任意x≠0, 有x’Ax ≥030称A是非正定的(nonnegative define), 若对任意x≠0, 有x’Ax ≤031(3)定理: 若A对称, 且A的所有特征根都为正, 则A为正定; 若一些根为0, 则A为非负定。

证: q=x’Ax=x’CΛC’x 令y=C’x, 则有q=y’ Λy=∑iλi y i2若对任意i, λi >0, 则对任意y≠0, 有q>0.32(4)*对称幂等二次型定理: (1) 对称幂等矩阵均为非负定的; (2) 若A为对称幂等矩阵, 秩为J, 则x’Ax=∑i=1J y i2证: 由幂等矩阵的特征根非0即1可证.3334 8 向量微分设列向量x n ×1∈R n , f: R n —>R, 则⎪⎪⎪⎭⎫ ⎝⎛∂∂∂∂≡∂∂n x x f x x f x x f /)(/)()(1 例：(1) 1)'(⨯=∂∂n a x x a (2) ')(A x Ax =∂∂35 (3) (')(')x Ax A A x x∂=+∂ 例子：效用函数12()U x Ax x αβ=，求U x ∂∂？ 生产函数为(,)F L K AL K αβ=，求,(,)'F z L K z∂=∂？369、多元函数的极值。