机器学习数学基础-矩阵论
矩阵论基础知识总结
矩阵论基础知识总结一、引言矩阵论是线性代数的重要分支，广泛应用于数学、物理、工程等领域。
本文将介绍矩阵的基本概念、运算规则、特殊类型矩阵以及矩阵的应用。
二、矩阵的基本概念1. 定义：矩阵是由m行n列的数按照一定的顺序排列而成的矩形数表，常用大写字母表示，如A、B。
2. 元素：矩阵的每个数称为元素，用小写字母表示，如a、b。
一个矩阵的第i行第j列的元素可以表示为a_ij。
3. 阶数：矩阵的行数和列数分别称为矩阵的行数和列数，记作m×n，其中m表示行数，n表示列数。
4. 主对角线：从左上角到右下角的对角线称为主对角线。
三、矩阵的运算规则1. 矩阵的加法：两个相同阶数的矩阵相加，即对应元素相加。
2. 矩阵的数乘：一个矩阵的每个元素都乘以同一个数。
3. 矩阵的乘法：若矩阵A的列数等于矩阵B的行数，则矩阵A与矩阵B的乘积C为一个新的矩阵，其中C的行数等于A的行数，列数等于B的列数。
四、特殊类型矩阵1. 零矩阵：所有元素都为0的矩阵，用0表示。
零矩阵与任何矩阵相加等于其本身。
2. 对角矩阵：主对角线以外的元素都为0的矩阵。
对角矩阵的乘法可以简化为主对角线上元素的乘积。
3. 单位矩阵：主对角线上的元素都为1，其余元素为0的对角矩阵。
单位矩阵与任何矩阵相乘等于其本身。
4. 转置矩阵：将矩阵的行和列互换得到的新矩阵。
5. 逆矩阵：对于方阵A，若存在一个方阵B，使得A与B的乘积等于单位矩阵，则称B为A的逆矩阵。
五、矩阵的应用1. 线性方程组：矩阵可以用于求解线性方程组，通过矩阵的运算可以将线性方程组转化为矩阵方程，从而求解未知数的值。
2. 向量空间：矩阵可以表示向量空间中的线性变换，通过矩阵的乘法可以实现向量的旋转、缩放等操作。
3. 数据处理：矩阵可以用于数据的存储和处理，通过矩阵运算可以实现数据的加工、筛选、聚合等操作。
4. 图像处理：图像可以表示为像素矩阵，通过矩阵运算可以实现图像的平移、旋转、缩放等操作。
矩阵论定义
矩阵论定义
矩阵论是一门研究矩阵、向量及其操作以及如何应用于数学、物理、工程等学科的学科。
矩阵论是一个较大的学科，涉及线性代数、几何、微积分、数值分析和计算机科学等多个学科。
本文将对矩阵论的定义和运用做出详细的阐述。
矩阵(matrix)是一种方阵，由行向量和列向量构成。
正如向量是如果数的数组，矩阵是由多个向量构成的更复杂的数组。
它可以用来存储多个变量之间的关系、表示向量空间中的线性变换，或者描述复杂的函数等。
在数学上，矩阵论是对矩阵及其操作的研究。
它涉及线性变换、行列式、特征值、特征向量、线性方程组的解等概念。
这些概念的研究可以帮助人们研究更复杂的数学、物理和工程问题。
一般来说，矩阵论是指矩阵的结构和特性，以及矩阵的操作和应用。
通过矩阵的操作，可以得到向量、行列式等结构，从而简化解决复杂数学、物理和工程问题的过程。
比如，可以通过矩阵操作来求解多元不定线性方程组，用矩阵进行线性变换，用行列式解决性质问题，用特征值和特征向量解决一些矩阵分解问题等等。
另外，矩阵论在数值分析和计算机科学中也有广泛的应用。
在数值分析中，矩阵可以用来精确地描述复杂的函数，并用来计算它们的数值解。
在计算机科学中，矩阵也可以用来实现复杂的算法，如最短路径算法、小波变换等等。
综上所述，矩阵论是一门研究矩阵及其操作以及如何应用于数学、
物理、工程等学科的学科。
矩阵论涉及线性变换、行列式、特征值、特征向量、线性方程组的解等概念，可以用来精确描述复杂的函数、实现复杂的算法、解决性质问题和线性变换等。
因此，矩阵论在数学/工程/物理等学科中都具有重要的应用意义。
矩阵论引论
矩阵论引论矩阵论是现代数学中的一个重要分支，它研究了矩阵及其相关性质和运算规律。
矩阵论具有广泛的应用领域，包括线性代数、概率论、统计学、物理学、工程学等等。
本文将介绍矩阵论的基本概念、运算规则以及其在实际问题中的应用。
1. 矩阵的基本概念矩阵是一个由数值排列成的矩形阵列。
一个矩阵由m行n列的元素组成，记作A=[a_ij]_(m×n)，其中a_ij表示矩阵A的第i行第j 列的元素。
矩阵的大小由其行数和列数决定，可以是任意的正整数。
2. 矩阵的运算规则矩阵的运算包括加法、减法、数乘和乘法等。
矩阵的加法和减法遵循相同的规则，即对应位置的元素相加或相减。
数乘指的是将矩阵中的每个元素与一个标量相乘。
矩阵的乘法是矩阵运算中最重要的一种运算，它不同于数乘。
矩阵乘法满足结合律，但不满足交换律，即AB≠BA。
3. 矩阵的特殊类型矩阵可以分为方阵、对称矩阵、上三角矩阵、下三角矩阵等不同类型。
方阵是指行数和列数相等的矩阵，对称矩阵是指矩阵中的元素关于主对角线对称的矩阵，上三角矩阵是指主对角线以下的元素全为0的矩阵，下三角矩阵是指主对角线以上的元素全为0的矩阵。
4. 矩阵的性质和定理矩阵具有许多重要的性质和定理，如矩阵的转置、矩阵的迹、矩阵的秩等。
矩阵的转置是指将矩阵的行和列互换得到的新矩阵。
矩阵的迹是指矩阵主对角线上元素的和。
矩阵的秩是指矩阵中线性无关的行（或列）的最大个数。
5. 矩阵的应用矩阵论在实际问题中有广泛的应用。
在线性代数中，矩阵论用于解线性方程组、求矩阵的逆和特征值等。
在概率论和统计学中，矩阵论用于描述和分析随机变量之间的关系。
在物理学中，矩阵论用于描述量子力学中的算符和态矢量的变换。
在工程学中，矩阵论用于信号处理、图像处理、控制系统设计等领域。
总结：矩阵论是一门重要的数学学科，它研究了矩阵的基本概念、运算规则以及其在各个领域中的应用。
矩阵论的研究为我们解决实际问题提供了强有力的工具和方法。
通过对矩阵的深入理解和应用，我们可以更好地理解和分析复杂的现象，并为实际问题的解决提供有效的解决方案。
矩阵论矩阵分析
第三章 矩阵分析在此之前我们只研究了矩阵的代数运算，但在数学的许多分支和工程实际中，特别是涉及到多元分析时，还要用到矩阵的分析运算．本章首先讨论矩阵序列的极限和矩阵级数，然后介绍矩阵函数和它的计算，最后介绍矩阵的微积分，以及矩阵分析在解微分方程组和线性矩阵方程中的应用．§3.1 矩阵序列 定义 3.1 设有Cm n⨯中的矩阵序列{}()k A ，其中()()()k k ij m nAa ⨯=．若()lim (1,2,,;1,2,,)k ij ij k a a i m j n →+∞=== ，则称矩阵序列{}()k A 收敛于()ij m n A a ⨯=，或称A 为矩阵序列{}()k A 的极限，记为()lim k k A A →+∞=或()()k A A k →→+∞不收敛的矩阵序列称为发散． 由定义可见，Cm n⨯中一个矩阵序列的收敛相当于mn 个数列同时收敛．因此，可以用初等分析的方法来研究它．但同时研究mn 个数列的极限未免繁琐．与向量序列一样，可以利用矩阵范数来研究矩阵序列的极限． 定理 3.1 设()k A，C (012)m n A k ,,,⨯∈= ．则()lim k k AA →+∞=的充分必要条件是()lim 0k k A A →+∞-=，其中 是C m n ⨯上的任一矩阵范数．证 先取Cm n⨯上矩阵的G-范数．由于()()()()1=1k k k ij ij ij ij Gi,jm nk ijiji j a a a a A Aaa =-≤-=-≤-所以()lim k k A A →+∞=的充分必要条件是()lim 0k Gk A A→+∞-=．又由范数的等价性知，对C m n⨯上任一矩阵范数 ，存在正常数α，β，使得()()()k k k GGAAAA AA αβ-≤-≤-故()lim 0k Gk AA→+∞-=的充分必要条件是()lim 0k k A A →+∞-=．证毕推论 设()k A，C(012)m nA k ,,,⨯∈= ，()lim k k A A →+∞=．则()lim k k A A →+∞=其中 是Cm n⨯上任一矩阵范数．证 由()()k k AA A A -≤-即知结论成立．证毕需要指出的是，上述推论的相反结果不成立．如矩阵序列()1(1)112k k A k ⎛⎫- ⎪=+ ⎪ ⎪⎝⎭不收敛．但()Flim lim k k x A →+∞== 收敛的矩阵序列的性质，有许多与收敛数列的性质相类似． 定理3.2 设()lim k k AA →+∞=，()lim k k B B →+∞=，其中()k A ，()k B ，A ，B 为适当阶的矩阵，α，β∈C ．则 (1)()()lim ()k k k AB A B αβαβ→+∞+=+；(2) ()()lim k k k A BAB →+∞=；(3)当()k A与A 均可逆时，()11lim ()k k AA --→+∞=．证 取矩阵范数 ，有()()()()()()()()()()()()()()()k k k k k k k k k k k k k A B A B A A B B A B ABA B A B A B AB A B B A A Bαβαβαβ+-+≤-+--=-+-≤-+-由定理3.1和推论知(1)和(2)成立．因为()1()k A -，1A -存在，所以()lim det det 0k k AA →+∞=≠，又有()lim adj adj k k A A →+∞=．于是()()11()adj adj lim ()lim det det k k k k k A AA A A A--→+∞→+∞=== 证毕 定理3.2(3)中条件()k A与A 都可逆是不可少的，因为即使所有的()k A可逆也不能保证A一定可逆．例如()11111k Ak ⎛⎫+ ⎪= ⎪ ⎪⎝⎭对每一个()k A都有逆矩阵()1()1k kk A k k --⎛⎫=⎪-+⎝⎭，但()11lim 11k k A A →+∞⎛⎫== ⎪⎝⎭而A 是不可逆的． 在矩阵序列中，最常见的是由一个方阵的幂构成的序列．关于这样的矩阵序列有以下的概念和收敛定理． 定义3.2 设n nA C ⨯∈，若()lim 0k k A→+∞=，则称A 为收敛矩阵．定理3.3 设n nA C⨯∈，则A 为收敛矩阵的充分必要条件是ρ(A )＜1．证 必要性．已知A 为收敛矩阵，则由谱半径的性质，有(())()k k k A A A ρρ=≤其中 是Cn n⨯上任一矩阵范数，即有lim (())0kk A ρ→+∞=，故ρ(A )＜1．充分性．由于ρ(A )＜1，则存在正数ε，使得ρ(A )+ε＜1．根据定理2.14，存在C n n⨯上的矩阵范数m ，使得()1m A A ρε≤+<从而由kk m mAA ≤得lim 0kmk A →+∞=．故lim 0k k A →+∞=． 证毕推论 设n nA C ⨯∈．若对Cn n⨯上的某一矩阵范数 有1A <，则A 为收敛矩阵．例3.1 判断下列矩阵是否为收敛矩阵：(1)181216A -⎛⎫= ⎪-⎝⎭； (2)0.20.10.20.50.50.40.10.30.2A ⎛⎫⎪= ⎪ ⎪⎝⎭． 解 (1)可求得A 的特征值为156λ=，212λ=-，于是5()16A ρ=<，故A 是收敛矩阵； (2)因为10.91A =<，所以A 是收敛矩阵．§3.2 矩阵级数定义3.3 由Cm n⨯中的矩阵序列{}()k A 构成的无穷和(0)(1)()k A A A ++++ 称为矩阵级数，记为()k k A+∞=∑．对任一正整数N ，称()()NN k k SA ==∑为矩阵级数的部分和．如果由部分和构成的矩阵序列{}()N S收敛，且有极限S ，即()lim N N SS →+∞=，则称矩阵级数()0k k A +∞=∑收敛，而且有和S ，记为()k k S A+∞==∑不收敛的矩阵级数称为发散的．如果记()()()k k ij m n Aa ⨯=，()ij m n S s ⨯=，显然()0k k S A +∞==∑相当于()(1,2,,;1,2,,)k ij ij k a s i m j n +∞====∑即mn 个数项级数都收敛． 例3.2 已知()1π24(0,1,)10(1)(2)k kk A k k k ⎛⎫⎪ ⎪== ⎪ ⎪++⎝⎭研究矩阵级数()k A+∞∑的敛散性．解 因为k 00()()001π2410(1)(2)1π1242341012N Nk Nk k N k N k k N N S A k k N ====⎛⎫⎪ ⎪== ⎪ ⎪++⎝⎭⎛⎫⎛⎫-- ⎪ ⎪⎝⎭ ⎪= ⎪- ⎪+⎝⎭∑∑∑∑所以()4π2lim 301N N S S →+∞⎛⎫⎪= ⎪ ⎪⎝⎭故所给矩阵级数收敛，且其和为S ． 定义3.4 设()()()C (0,1,)k k m n ij m n Aa k ⨯⨯=∈= ．如果mn 个数项级数()0(1,2,,;1,2,,)k ijk ai m j n +∞===∑ 都绝对收敛，即()k ijk a +∞=∑都收敛，则称矩阵级数()k k A+∞=∑绝对收敛．利用矩阵范数，可以将判定矩阵级数是否绝对收敛转化为判定一个正项级数是否收敛的问题．定理3.4 设()()()C(0,1,)k k m nij m nAa k ⨯⨯=∈= ．则矩阵级数()0k k A +∞=∑绝对收敛的充分必要条件是正项级数()0k k A +∞=∑收敛，其中 是C m n ⨯上任一矩阵范数．证 先取矩阵的1m -范数．若1()k k m A +∞=∑收敛，由于1()()()11(1,2,,;1,2,,)mnk k k ijij i j m aa A i m j n ==≤===∑∑从而由正项级数的比较判别法知()k ijk a+∞=∑都收敛，故()k k A+∞=∑绝对收敛．反之，若()k k A+∞=∑绝对收敛，则()0k ijk a+∞=∑都收敛，从而其部分和有界，即()0(1,2,,;1,2,,)Nk ijijk aM i m j n =≤==∑ 记,max ij i jM M =，则有1()()()0011110()()NNmnm n Nk k k ijijk k i j i j k m AaamnM =========≤∑∑∑∑∑∑∑故1()k k m A +∞=∑收敛．这表明()k k A+∞=∑绝对收敛的充分必要条件是1()k k m A +∞=∑收敛．由矩阵范数的等价性和正项级数的比较判别法知，1()k k m A+∞=∑收敛的充分必要条件是()0k k A +∞=∑收敛，其中 是C m n ⨯上任一矩阵范数． 证毕利用矩阵级数收敛和绝对收敛的定义，以及数学分析中的相应结果，可以得到以下一些结论．定理3.5 设()k k AA +∞==∑，()0k k B B +∞==∑，其中()k A ，()k B ，A ，B 是适当阶的矩阵，则(1)()()0()k k k AB A B +∞=+=+∑；(2)对任意λ∈C ，有()k k AA λλ+∞==∑；(3)绝对收敛的矩阵级数必收敛，并且任意调换其项的顺序所得的矩阵级数仍收敛，且其和不变； (4)若矩阵级数()k k A+∞=∑收敛(或绝对收敛)，则矩阵级数()k k PAQ +∞=∑也收敛(或绝对收敛)，并且有()()0()(3.1)k k k k PAQ P A Q+∞+∞===∑∑(5)若()k k A+∞=∑与()k k B+∞=∑均绝对收敛，则它们按项相乘所得的矩阵级数(0)(0)(0)(1)(1)(0)(0)()(1)(1)(()()(3.2)k k k A B AB A B A B A B A B -++++++++ 也绝对收敛，且其和为AB ． 证 只证(4)和(5)．若()0k k A+∞=∑收敛，记()()0NN k k SA ==∑，则()lim N N S A →+∞=．从而()()00lim(lim)NNk k N N k k PAQ P AQ PAQ →+∞→+∞====∑∑可见()k k PAQ +∞=∑收敛，且式(3.1)成立．若()k k A+∞=∑绝对收敛，则由定理3．4知()k k A +∞=∑收敛，但()()()k k k PA Q P AQ Aα≤≤其中α是与k 是无关的正数，从而()k k PAQ +∞=∑收敛，即()k k PAQ +∞=∑绝对收敛．当()k k A+∞=∑和()k k B+∞=∑绝对收敛时，由定理3.4知()k k A+∞=∑和()0k k B +∞=∑收敛，设其和分别为1σ与2σ，从而它们按项相乘所得的正项级数(0)(0)(0)(1)(1)(0)(0)()(1)(1)()(0)()()k k k A B A B A B ABABAB-++++++++也收敛，其和为12σσ．因为(0)()(1)(1)()(0)(0)()(1)(1)()(0)k k k k k k A B A B A B ABABAB--+++≤+++所以矩阵级数(3.2)绝对收敛．记()()1NN k k SA==∑，()()2NN k k SB ==∑，()(0)()(1)(1)()(0)3()NN k k k k SA B A B A B -==+++∑则()()()(1)()(2)(1)(2)()()(1)()()123N N N N N N N N N S S S A B A B A B A B A B --=++++++又记()()1NN k k Aσ==∑，()()2NN k k B σ==∑，()(0)()(1)(1)()(0)3()NN k k k k A B A B A B σ-==+++∑显然()()()()()()123123N N N N N N S S S σσσ-≤-故由()()12lim N N N S S AB →+∞=和()()()123lim ()0N N N N σσσ→+∞-=，得()3lim N N S AB →+∞=证毕下面讨论一类特殊的矩阵级数——矩阵幂级数． 定义3.5 设n nA C⨯∈，C(0,1,)k a k ∈= ．称矩阵级数kk k a A+∞=∑为矩阵A 的幂级数．利用定义来判定矩阵幂级数的敛散性，需要判别2n 个数项级数的敛散性，当矩阵阶数n 较大时，这是很不方便的，且在许多情况下也无此必要．显然，矩阵幂级数是复变量z 的幂级数0kk k a z+∞=∑的推广．如果幂级数kk k a z+∞=∑的收敛半径为r ，则对收敛圆z r <内的所有z ，kk k a z+∞=∑都是绝对收敛的．因此，讨论kk k a A+∞=∑的收敛性问题自然联系到kk k a z+∞=∑的收敛半径．定理3.6 设幂级数kk k a z+∞=∑的收敛半径为r ，Cn nA ⨯∈．则(1)当ρ(A )<r 时，矩阵幂级数0kk k a A+∞=∑绝对收敛；(2)当ρ(A )>r 时，矩阵幂级数kk k a A+∞=∑发散．证 (1)因为ρ(A )<r ，所以存在正数ε，使得ρ(A )+ε＜r ．根据定理2.14，存在Cn n⨯上的矩阵范数m ，使得m ()A A r ρε≤+<从m m(())kk k k k k a A a A a A ρε≤≤+而由于幂级数(())kkk aA ρε+∞=+∑收敛，故矩阵幂级数0k k k a A +∞=∑绝对收敛．(2)当ρ(A )>r 时，设A 的，n 个特征值为12,,,n λλλ ，则有某个l λ满足l r λ>．由Jordan 定理，存在n 阶可逆矩阵P ，使得11112(10)i n n P AP J λδδδλλ--⎛⎫⎪⎪== ⎪⎪⎝⎭代表或而kk k a J+∞=∑的对角线元素为0(1,2,,)k k jk a j n λ+∞==∑ ．由于0k k lk a λ+∞=∑发散，从而0k k k a J +∞=∑发散．故由定理 3.5(4)知，kkk a A+∞=∑也发散． 证毕推论 设幂级数kkk a z +∞=∑的收敛半径为r ，C n n A ⨯∈．若存在C n n ⨯上的某一矩阵范数 使得A r <，则矩阵幂级数0kk k a A+∞=∑绝对收敛．例3.3 判断矩阵幂级数018216kkk k+∞=-⎛⎫ ⎪-⎝⎭∑的敛散性． 解 令181216A -⎛⎫= ⎪-⎝⎭．例3.1中已求得5()6A ρ=．由于幂级数0kk kz +∞=∑的收敛半径为r ＝1，故由ρ(A )<1知矩阵幂级数kk kA+∞=∑绝对收敛．最后，考虑一个特殊的矩阵幂级数． 定理3.7 设Cn nA ⨯∈．矩阵幂级数kk A+∞=∑(称为Neumann 级数)收敛的充分必要条件是ρ(A )<1，并且在收敛时，其和为1()I A --． 证 当ρ(A )<1时，由于幂级数kk z+∞=∑的收敛半径r ＝1，故由定理 3.6知矩阵幂级数0kk A+∞=∑收敛．反之，若kk A+∞=∑收敛，记0kk S A+∞==∑，()()0NN k k SA ==∑则()lim N N S S →+∞=．由于()(1)()(1)lim lim ()=lim lim N N N N N N N N N A S S S S O --→+∞→+∞→+∞→+∞==－－故由定理3.3知ρ(A )<1．当kk A+∞=∑收敛时，ρ(A )<1，因此I -A 可逆，又因为()1()N N S I A I A +-=-所以()111()()N N S I A A I A -+-=---故()1lim ()N N S S I A -→+∞==- 证毕 例3.4 已知0.20.10.20.50.50.40.10.30.2A ⎛⎫ ⎪= ⎪ ⎪⎝⎭，判断矩阵幂级数0k k A +∞=∑的敛散性．若收敛，试求其和．解 因为10.91A =<，所以kk A+∞=∑收敛，且102814141()44624214202535k k A I A +∞-=⎛⎫ ⎪=-= ⎪ ⎪⎝⎭∑ §3.3 矩阵函数矩阵函数是以矩阵为变量且取值为矩阵的一类函数．本节介绍矩阵函数的定义和计算方法，并讨论常用矩阵函数的性质． 一、矩阵函数的定义 定义3.5 设幂级数0k k k a z +∞=∑的收敛半径为r ，且当z r <时，幂级数收敛于函数f (z )，即0()()kk k f z a zz r +∞==<∑如果Cn nA ⨯∈满足ρ(A )<r ，则称收敛的矩阵幂级数kk k a A+∞=∑的和为矩阵函数，记为f (A )，即0()(3.3)kk k f A a A+∞==∑根据这个定义，可以得到在形式上和数学分析中的一些函数类似的矩阵函数．例如，对于如下函数的幂级数展开式02120101e ()!(1)sin ()(21)!(1)cos ()(2)!(1)(1)(1)ln(1)(1)1kzk k k k k kk kk k k k z r k z zr k z zr k z z r z zr k +∞=+∞+=+∞=+∞-=+∞+===+∞-==+∞+-==+∞-==-+==+∑∑∑∑∑ 相应地有矩阵函数01e !kk A A k +∞==∑(C n n A ⨯∈) 210(1)sin (21)!kk k A A k +∞+=-=+∑ (C n n A ⨯∈)20(1)cos (2)!k kk A A k +∞=-=∑ (C n n A ⨯∈)1()k k I A A +∞-=-=∑ (ρ(A )<1)1(1)ln()1k k k I A A k +∞+=-+=+∑ (ρ(A )<1)称e A为矩阵指数函数，sin A 为矩阵正弦函数，cos A 为矩阵余弦函数．如果把矩阵函数f (A )的变元A 换成At ，其中t 为参数，则相应得到()()(3.4)kk k f At a At +∞==∑在实际应用中，经常需要求含参数的矩阵函数．二、矩阵函数值的计算以上利用收敛的矩阵幂级数的和定义了矩阵函数f (A )，在具体应用中，要求将f (A )所代表的具体的矩阵求出来，即求出矩阵函数的值．这里介绍几种求矩阵函数值的方法．以下均假设式(3.3)或式(3.4)中的矩阵幂级数收敛． 方法一 利用Hamilton-Cayley 定理利用Hamilton-Cayley 定理找出矩阵方幂之间的关系，然后化简矩阵幂级数求出矩阵函数的值．举例说明如下． 例3.5 已知0110A ⎛⎫=⎪-⎝⎭，求e At．解 可求得2det()1I A λλ-=+．由Hamilton-Cayley 定理知2A I O +=，从而2A I =-，3A A =-，4A I =，5A A =，…即2(1)k k A I =-，21(1)(1,2,)k k A Ak +=-=故243501e 1!2!4!3!5!cos sin (cos )(sin )sin cos Atk k k t t t t A t I t Ak t t t I t A t t +∞=⎛⎫⎛⎫==-+-+-+- ⎪ ⎪⎝⎭⎝⎭⎛⎫=+= ⎪-⎝⎭∑例3.6 已知4阶方阵A 的特征值为π，－π，0，0，求sin A ，cos A ．解 因为2422det()(π)(π)πI A λλλλλλ-=-+=-，所以422πA A O -=．于是422πA A =，523πA A =，642πA A =，743πA A =，…即2222πkk A A -=，21223π(2,3,)k k A A k +-==故213223023321323332(1)1(1)sin π(21)!3!(21)!11(1)π3!π(21)!sin ππ1ππk k k k k k k k k A A A A Ak k A A A k A A A A +∞+∞+-==+∞+=--==-+++⎛⎫-=-+ ⎪+⎝⎭=+=-∑∑∑－22222022222(1)1(1)cos π(2)!2!(2)!cos π12ππk k k k k k A A I A Ak k I A I A +∞+∞-==--==-+=+=-∑∑－方法二 利用相似对角化 设C n nA ⨯∈是可对角化的，即存在C n n n P ⨯∈，使得112diag(,,,)n P AP A λλλ-== 则有11112112()()()diag(,,,)diag((),(),,())kkk k k k k k k kk k k k k n k k k n f A a A a P P P a P P a a a P P f f f P λλλλλλ+∞+∞+∞--===+∞+∞+∞-===-==Λ=Λ==∑∑∑∑∑∑同理可得112()diag((),(),,())n f At P f t f t f t P λλλ-=例3.7 已知460350361A ⎛⎫ ⎪=-- ⎪ ⎪--⎝⎭，求e At，cos A ．解 可求得2det()(2)(1)I A λλλ-=+-，即A 的特征值为12λ=-，231λλ==．对应12λ=-的特征向量为T 1(1,1,1)p =-，对应231λλ==的两个线性无关的特征向量为T 2(2,1,0)p =-，T 3(0,0,1)p =．于是120110101P --⎛⎫ ⎪= ⎪ ⎪⎝⎭ 使得1211P AP --⎛⎫⎪= ⎪ ⎪⎝⎭故22212222e 2e e 2e 2e 0e e e e2e e 0e e e 2e 2e e tt t t t At tt t t t t t t t tt P P --------⎛⎫⎛⎫-- ⎪ ⎪==--⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭1cos(2)cos cos1cos12cos1cos 22cos12cos 20cos 2cos12cos 2cos10cos 2cos12cos 22cos1cos1A P--⎛⎫⎪= ⎪ ⎪⎝⎭--⎛⎫ ⎪=-- ⎪ ⎪--⎝⎭方法三 利用Jordan 标准形 设Cn nA ⨯∈，且C n nn P ⨯∈，使得121s J J P AP J J -⎛⎫ ⎪⎪== ⎪ ⎪⎝⎭ 其中×1(1,2,,)1i iii i i r rJ i s λλλ⎛⎫ ⎪⎪== ⎪⎪⎝⎭由定理1.12得111111001(1)01(1C C ()C ()()1!(1)!()1!()()1!(1)!i i i i i i i r k r k k i k i k ik k k k i i k i k k k k k ik i r r k k k i k k k k k tr r i f J t a J t a t t t r a t t t f f f r λλλλλλλλλλλλλλλλ--+-+∞+∞-==--+∞==--⎛⎫ ⎪⎪== ⎪ ⎪ ⎪⎝⎭⎛⎫' ⎪- ⎪⎪= ⎪⎪'⎪ ⎪⎝⎭'-=∑∑∑)()()()1!()i tt f t f f λλλλλ=⎛⎫ ⎪ ⎪⎪ ⎪⎪' ⎪ ⎪⎝⎭从而1010110011()()()()()k kk kk k k k k k k k k k k k k k k s k s f At a A t a PJP t a J tP a J t P P P a J t f J t P Pf J t +∞+∞-==+∞=+∞--=+∞=-==⎛⎫⎪ ⎪== ⎪⎪ ⎪ ⎪⎝⎭⎛⎫ ⎪= ⎪ ⎪⎝⎭∑∑∑∑∑例3.8 已知101120403A -⎛⎫⎪= ⎪ ⎪-⎝⎭，求e A，sin At ．解 例1.9已求得100111210P ⎛⎫ ⎪=-- ⎪ ⎪⎝⎭，11112P AP J -⎛⎫⎪== ⎪ ⎪⎝⎭于是12222e e e 0ee e 3e e e 2e+e e 4e 03e A P P -⎛⎫⎛⎫ ⎪ ⎪==- ⎪⎪ ⎪ ⎪-⎝⎭⎝⎭－－ 1sin cos sin sin sin 2sin 2cos 0cos sin 2cos sin 2sin 2cos sin sin 24cos 02cos sin t t t At P t Pt t t t t t t t t t t t t t t t t t t t -⎛⎫⎪= ⎪ ⎪⎝⎭-⎛⎫ ⎪=+---+ ⎪ ⎪-+⎝⎭根据Jordan 标准形理论可得 定理3.8 设Cn nA ⨯∈，1λ，2λ，…，n λ是A 的n 个特征值，则矩阵函数f (A )的特征值为1()f λ，2()f λ，…，()n f λ． 方法四 待定系数法 设Cn nA ⨯∈，且A 的特征多项式为1212()det()()()()(3.5)srr r s I A ψλλλλλλλλ=-=---其中1λ，2λ，…，s λ是A 的全部互异特征值，12s r r r n +++= ．为计算矩阵函数()k kk k f At a A t +∞==∑，记0()k k k k f t a t λλ+∞==∑．将f (λt )改写为()(,)()(,)(3.6)f t q t r t λλψλλ=+其中q (λ，t )是含参数t 的λ的幂级数，r (λ，t )是含参数t 且次数不超过n －1的λ的多项式，即1110(,)()()()n n r t b t b t b t λλλ--=+++由Hamilton-Cayley 定理知ψ(A )＝O ，于是由式(3.6)得1110()(,)()(,)()()()n n f At q A t A r A t b t Ab t A b t Iψ--=+=+++可见，只要求出()(0,1,,1)k b t k n =- 即可得到f (At )．注意到()()0(0,1,,1;1,2,,)l i i l r i s ψλ==-=将式(3.6)两边对λ求导，并利用上式，得d d ()(,)d d iil ll l f t r t λλλλλλλλ=== 即d d ()(,)(0,1,,1;1,2,,)(3.7)d d iil l li l l t t f r t l r i s μλλλμλμλ====-=由式(3.7)即得到以0()b t ，1()b t ，…，1()n b t -为未知量的线性方程组． 综上分析，用待定系数法求矩阵函数f (At )或f (A )的步骤如下： 第一步：求矩阵A 的特征多项式(3.5)；第二步：设1110()n n r b b b λλλ--=+++ ．根据()()()()(0,1,,1;1,2,,)i l l l i i tr t f l r i s λλλλ===-=或()()()()(0,1,,1;1,2,,)l l i i i r f l r i s λλ==-=列方程组求解0b ，1b ，…，1n b -；第三步：计算1110()(())()n n f At f A r A b A b A b I --==+++ 或．例3.9 已知101120403A -⎛⎫ ⎪= ⎪ ⎪-⎝⎭，求e At，cos A ．解 可求得2det()(1)(2)I A λλλ-=--．设2210()r b b b λλλ=++则由210212210(1)e (1)2e (2)42e tt t r b b b r b b t r b b b ⎧=++=⎪'=+=⎨⎪=++=⎩解得222120e e e 2e 2e 3e e 2e t t t t t t t t b t b t b t ⎧=--⎪=-++⎨⎪=-⎩于是2222210e 2e 0e e e e 2ee e e e 4e 02e e t tAt t t tt t t t t ttt t b A b A b I t t t t t ⎛⎫-⎪=++=-++-- ⎪ ⎪ ⎪-+⎝⎭而由21021210(1)cos1(1)2sin1(2)42cos 2r b b b r b b r b b b =++=⎧⎪'=+=-⎨⎪=++=⎩解得210sin1cos1cos 23sin12cos12cos 22sin1cos 2b b b =-+⎧⎪=-+-⎨⎪=+⎩从而22102sin1cos 20sin1cos 2sin1cos1cos 2cos 2sin1cos1cos 24sin102sin1cos1A b A b A b I +-⎛⎫ ⎪=++=-+--+ ⎪ ⎪-+⎝⎭如果求得矩阵A 的最小多项式，且其次数低于A 的特征多项式的次数，则计算矩阵函数就要容易一些．例3.10 已知311202113A -⎛⎫ ⎪=- ⎪ ⎪--⎝⎭，求e At ，sin A ． 解 例1.9已求得A 的Jordan 标准形为2212J ⎛⎫⎪= ⎪ ⎪⎝⎭于是A 的最小多项式为2()(2)A m λλ=-．设10()r b b λλ=+由21021(2)2e (2)e t tr b b r b t ⎧=+=⎪⎨'==⎪⎩ 解得2120e (12)et t b t b t ⎧=⎪⎨=-⎪⎩ 于是2101e e 21221At t tt t b A b I t tt t t t +-⎛⎫ ⎪=+=-- ⎪ ⎪--+⎝⎭又由101(2)2sin 2(2)cos 2r b b r b =+=⎧⎨'==⎩ 解得10cos 2sin 22cos 2b b =⎧⎨=-⎩从而10sin 2cos 2cos 2cos 2sin 2cos 2sin 22cos 22cos 2cos 2cos 2sin 2cos 2A b A b I +-⎛⎫ ⎪=+=-- ⎪ ⎪--+⎝⎭三、常用矩阵函数的性质常用的矩阵函数有e A，sin A ，cos A ，它们有些性质与普通的指数函数和三角函数相同，但由于矩阵乘法不满足交换律，从而有些性质与一般指数函数和三角函数不相同． 定理3.9 对任意Cn n A ⨯∈，总有(1)sin(－A )=－sin A ，cos(－A )=cos A ； (2)i e cos isin AA A =+，i -i 1cos (e e )2A A A =+，i -i 1sin (e e )2iA A A =-． 证 (1)由sin A 与cos A 的矩阵幂级数形式直接得到；(2)i 221000i (1)(1)e i !(2)!(21)!cos isin k k k Ak k k k k k A A A k k k A A+∞+∞+∞+===--==++=+∑∑∑又有-i e cos()isin()cos isin A A A A A =-+-=- 从而i -i 1cos (e e )2A A A =+，i -i 1sin (e e )2iA A A =- 定理3.10 设A ，C n nB ⨯∈，且AB =BA ，则(1)ee e e e A BA B B A +==；(2)sin(A +B )=sin A cos B +cos A sin B ；(3)cos(A +B )=cos A cos B －sin A sin B ．证 (1)0022011e e !!1()(2)2!1()e !A Bk k k k k A B k A B k k I A B A AB B A B k +∞+∞==+∞+=⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭=++++++=+=∑∑∑(2)i()-i()i i -i -i i -i i -i i -i i -i 11sin()(e e )(e e e e )2i 2i 1111(e e )(e e )(e e )(e e )2i 222i sin cos cos sin A B A B A B A B A A B B A A B B A B A B A B+++=-=-=-+++-=+ 同理可证(3)． 证毕在定理3.10中，取A ＝B ，即得 推论 对任意Cn nA ⨯∈，有22cos 2cos sin A A A =-，sin2A ＝2sin A cos A 值得注意的是，当AB ≠BA 时，ee e A BA B +=或e e e A B B A +=不成立．如取0010A ⎛⎫= ⎪⎝⎭，0100B ⎛⎫= ⎪⎝⎭，则0110A B ⎛⎫+= ⎪⎝⎭，00100100AB BA ⎛⎫⎛⎫=≠= ⎪ ⎪⎝⎭⎝⎭且10e 11A⎛⎫= ⎪⎝⎭，11e 01B ⎛⎫= ⎪⎝⎭，-1-1-1-1e+e e e 1e 2e e e+e A B+⎛⎫= ⎪⎝⎭－－ 可见1121e e e e 1211A BB A ⎛⎫⎛⎫=≠= ⎪ ⎪⎝⎭⎝⎭e e e A B A B +≠，e e e A B B A +≠定理3.11 设Cn nA ⨯∈，则有(1)tr dete eA A=；(2)1(e )e A A --=．证 (1)设A 的特征值为1λ，2λ，…，n λ．则由定理3.8知，e A的特征值为1e λ，2e λ，…，e n λ，从而1212tr dete =e e e e e n n A A λλλλλλ++==…+…(2)由于tr dete =e0AA≠，所以e A 总是可逆的．又由定理3.10，得e e e e A A A A OI--===故1(e )e A A --=． 证毕需要指出的是，对任何n 阶方阵A ，e A总是可逆的，但sin A 与cos A 却不一定可逆．如取π00π/2A ⎛⎫=⎪⎝⎭，则00sin 01A ⎛⎫= ⎪⎝⎭，10cos 00A -⎛⎫= ⎪⎝⎭．可见sin A 与cos A 都不可逆．§3.4 矩阵的微分和积分在研究微分方程组时，为了简化对问题的表述及求解过程，需要考虑以函数为元素的矩阵的微分和积分．在研究优化等问题时，则要碰到数量函数对向量变量或矩阵变量的导数，以及向量值或矩阵值函数对向量变量或矩阵变量的导数．本节简单地介绍这些内容． 一、函数矩阵的微分和积分定义 3.6 以变量t 的函数为元素的矩阵()(())i j m n A t a t ⨯=称为函数矩阵，其中()(1,2,,;1,2,,)ij a t i m j n == 都是变量t 的函数．若t ∈[a ，b ]，则称A (t )是定义在[a ，b )上的；又若每个()ij a t 在[a ，b ]上连续、可微、可积，则称A (t )在[a ，b ]上是连续、可微、可积的．当A (t )可微时，规定其导数为()(())ijm n A t a t ⨯''=或d d ()()d d ij m nA t a t t t ⨯⎛⎫= ⎪⎝⎭而当A (t )在[a ，b ]上可积时，规定A (t )在[a ，b ]上的积分为()()d ()d bb ijaam nA t t a t t ⨯=⎰⎰例3.11 求函数矩阵23sin cos ()2e 01t t t t t A t t t ⎛⎫⎪= ⎪ ⎪⎝⎭的导数． 解2cos sin 1d ()2ln 2e 2d 003t t t t A t t t t -⎛⎫⎪= ⎪ ⎪⎝⎭关于函数矩阵，有下面的求导法则．定理3.12 设A (t )与B (t )是适当阶的可微矩阵，则(1)d d d(()())()()d d d A t B t A t B t t t t+=+ (2)当λ(t )为可微函数时，有d d d (()())()()()()d d d t A t t A t t A t t t t λλλ⎛⎫=+ ⎪⎝⎭(3)d d d (()())()()()()d d d A t B t A t B t A t B t t t t ⎛⎫=+ ⎪⎝⎭； (4)当u =f (t )关于t 可微时，有d d()()()d d A u f t A u t u'= (5)当1()A t -是可微矩阵时，有111d d (())()()()d d A t A t A t A t t t ---⎛⎫=- ⎪⎝⎭证 只证(2)和(5)．设()(())ij m n A t a t ⨯=，()(())ij n p B t b t ⨯=，则111d d (()())(()())d d d d ()()()()d d d d ()()()()d d nik kj m n k n nik kj ik kj k k m nA tB t a t b t t t a t b t a t b t t t A t B t A t B t t t ⨯===⨯=⎛⎫⎛⎫=+ ⎪ ⎪⎝⎭⎝⎭⎛⎫=+ ⎪⎝⎭∑∑∑由于1()()A t A t I-=，两边对t 求导，得11d d ()()()()d d A t A t A t A t O t t --⎛⎫+= ⎪⎝⎭从而111d d ()()()()d d A t A t A t A t t t ---⎛⎫=- ⎪⎝⎭证毕 定理3.13 设C n nA ⨯∈，则有(1)d e e e d AtAt At A A t ==； (2)dsin cos (cos )d At A At At A t ==；(3)dcos sin (sin )d At A At At A t=-=-．证 这里只证(1)．(2)和(3)的证明与(1)类似．由0e !k Atkk t A k +∞==∑，并利用绝对收敛级数可以逐项求导，得101111d d e d d !(1)!e (1)!k k At k k k k k k Atk t t A A t t k k tA A A k -+∞+∞==-+∞-===-==-∑∑∑同样11111d e ==e d (1)!(1)!k k At k k At k k t t A A A A t k k --+∞+∞-==⎛⎫= ⎪--⎝⎭∑∑ 证毕根据定义和积分的有关性质，可得定理3.14 设A (t )，B (t )是区间[a ，b ]上适当阶的可积矩阵，A ，B 是适当阶的常数矩阵，λ∈C ，则 (1)(()())d ()d ()d bb baaaA tB t t A t t B t t +=+⎰⎰⎰；(2)()d ()d bba aA t t A t t λλ=⎰⎰；(3)()()d ()d bbaaA tB t A t t B =⎰⎰，()d ()d b baaAB t t A B t t =⎰⎰；(4)当A (t )在[a ，b ]上连续时，对任意t ∈(a ，b )，有()d ()d ()d t aA A t tττ=⎰(5)当A (t )在[a ，b]上连续可微时，有()d ()()baA t t A b A a '=-⎰以上介绍了函数矩阵的微积分概念及一些运算法则．由于d()d A t t仍是函数矩阵，如果它仍是可导矩阵，即可定义其二阶导数．不难给出函数矩阵的高阶导数11d d d ()()d d d k k k k A t A t t t t --⎛⎫= ⎪⎝⎭二、数量函数对矩阵变量的导数定义 3.7 设f (X )是以矩阵()ij m n X x ⨯=为自变量的mn 元函数，且(1,2,,;1,2,,)ijfi m j n x ∂==∂ 都存在，规定f 对矩阵变量X 的导数d d f X 为 1111d d ij m nm mn ff x x n f fX x ff x x ⨯∂∂⎛⎫ ⎪∂∂ ⎪⎛⎫∂ ⎪== ⎪ ⎪ ⎪∂⎝⎭∂∂ ⎪ ⎪∂∂ ⎪⎝⎭特别地，以T12(,,,)n x ξξξ= 为自变量的函数f (x )的导数T12d (,,,)d nf f f f x ξξξ∂∂∂=∂∂∂ 称为数量函数对向量变量的导数，即为在数学分析中学过的函数f 的梯度向量，记为grad f ．例 3.12 设T 12(,,,)n a a a a = 是给定的向量，T 12(,,,)n x ξξξ= 是向量变量，且T T ()f x a x x a ==求d d f x． 解 因为1()nk kk f x a ξ==∑而(1,2,,)j jfa j n ξ∂==∂ 所以 TT 1212d (,,,)(,,,)d n nf f f f a a a a x ξξξ∂∂∂===∂∂∂ 例3.13 设()ij m n A a ⨯=是给定的矩阵，()ij n m X x ⨯=是矩阵变量，且()tr()f x Ax =求d d fX． 解 因为1()nikkj m m k AX ax ⨯==∑．所以11()tr()m nsk ks s k f X AX a x ====∑∑而(1,2,,;1,2,,)ijfi n j m x ∂==∂ 故T d ()d ji n m ij n mf f a A X x ⨯⨯⎛⎫∂=== ⎪ ⎪∂⎝⎭ 例 3.14 设()ij n n A a ⨯=是给定的矩阵，T 12(,,,)n x ξξξ= 是向量变量，且T ()f x x Ax =求d d f x． 解 因为T1111()()n nn ns sk ks sk k s k s k f x x Ax aa ξξξξ=======∑∑∑∑而1111,11,111()nj j j j jk k j jj j j j n nj k j n nsj s jk ks k fa a a a a a a a ξξξξξξξξξ--++===∂=+++++++∂=+∑∑∑所以1111111T T d d ()n ns s k k s k n nsn s nk k s k n f a a f x f a a A x Ax A A xξξξξξξ====∂⎛⎫⎛⎫+ ⎪ ⎪∂⎪ ⎪ ⎪== ⎪ ⎪ ⎪∂ ⎪ ⎪+ ⎪⎪∂⎝⎭⎝⎭=+=+∑∑∑∑ 特别地，当A 是对称矩阵时，有d 2d fAx x=例3.15 设()ij n n X x ⨯=是矩阵变量，且det X ≠0．证明1T ddet (det )()d X X X X-= 证 设ij x 的代数余子式为ij X ．把det X 按等i 行展开，得1det nikik k X xX ==∑于是det ij ijX X x ∂=∂故 T1T 1Tddet det ()(adj )d ((det ))(det )()ij n n ij n nX X X X X x X X X X ⨯⨯--⎛⎫∂=== ⎪ ⎪∂⎝⎭== 三、矩阵值函数对矩阵变量的导数定义3.8 设矩阵()(())ij s t F X f X ⨯=的元素()(1,2,,;1,2,,)ij f X i s j t == 都是矩阵变量()ij m n X x ⨯=的函数，则称F (X )为矩阵值函数，规定F (X )对矩阵变量X 的导数d d FX为111d d 1FF x x n F X FF x x m mn ∂∂⎛⎫ ⎪∂∂ ⎪⎪= ⎪∂∂ ⎪ ⎪∂∂ ⎪⎝⎭ ，其中1111tij s stf f x x ij ij F x f f x x ij ij ∂∂⎛⎫ ⎪∂∂ ⎪∂⎪=⎪∂ ⎪∂∂ ⎪∂∂ ⎪⎝⎭即其结果为(ms )×(nt )矩阵． 作为特殊情形，这一定义包括了向量值函数对于向量变量的导数，向量值函数对于矩阵变量的导数，矩阵值函数对于向量变量的导数等．例3.16 设T12(,,,)n x ξξξ= 是向量变量，求T T d d d d x xx x=． 解 由定义，得T 1TT 2T 100010d d 001n nx x x I x x ξξξ⎛⎫∂ ⎪∂ ⎪⎛⎫ ⎪∂ ⎪⎪ ⎪===∂ ⎪ ⎪⎪ ⎪⎪⎝⎭ ⎪∂ ⎪∂⎝⎭同理可得T 12d ,,,d n n x x x x I x ξξξ⎛⎫∂∂∂== ⎪∂∂∂⎝⎭例3.17 设T1234(,,,)a a a a a =是给定向量，24()ij X x ⨯=是矩阵变量，求Td()d Xa X，d()d Xa X． 解 因为41121k k k n k k k x a Xa x a ==⎛⎫⎪ ⎪= ⎪ ⎪⎝⎭∑∑，44T 1211()(,)k k k k k k Xa x a x a ===∑∑ 所以T T TT T 13141112T T T T 2122232431243124()()()()d()d ()()()()00000000Xa Xa Xa Xa x x x x Xa XXa Xa Xa Xa xx x x a aa a a a a a ⎛⎫∂∂∂∂⎪∂∂∂∂ ⎪=⎪∂∂∂∂ ⎪ ⎪∂∂∂∂⎝⎭⎛⎫= ⎪⎝⎭而131411122122232412341234()()()()d()()()()()d 00000000Xa Xa Xa Xa x x x x Xa Xa Xa Xa Xa Xxx x x a a a a a a a a ∂∂∂∂⎛⎫⎪∂∂∂∂ ⎪=⎪∂∂∂∂ ⎪∂∂∂∂⎝⎭⎛⎫⎪ ⎪=⎪⎪⎝⎭§3.5 矩阵分析应用举例本节介绍矩阵函数及矩阵微积分的一些应用． 一、求解一阶线性常系数微分方程组在数学或工程技术中，经常要研究一阶常系数微分方程组1111122112211222221122d ()()()()()d d ()()()()()d d ()()()()()d n n n n n n n nn n n x t a x t a x t a x t f t t x t a x t a x t a x t f t t x t a x t a x t a x t f t t ⎧=++++⎪⎪⎪=++++⎨⎪⎪=++++⎪⎩满足初始条件0()(1,2,,)i ix t c i n ==的解．如果记T12(),(,,,)ij n n n A a c c c c ⨯==T 12()((),(),,())n x t x t x t x t = ，T 12()((),(),,())n f t f t f t f t =则上述微分方程组可写为0d ()()()(3.8)d ()x t Ax t f t tx t c⎧=+⎪⎨⎪=⎩因为d d ()(e ())e ()()e d d d ()e ()e ()d At At At At At x t x t A x t t t x t Ax t f t t -----=-+⎛⎫=-= ⎪⎝⎭将上式两边在[0t ，t ]上积分，得00d (e ())d e ()d d tt A A t t x f τττττττ--=⎰⎰ 即00e()e()e ()d tAt A A t x t x t f ττττ----=⎰于是微分方程组的解为00()()e e e ()d tA t t At A t x t c f τττ--+⎰=例3.18 求解微分方程组初值问题113212313123d ()()()1d d ()()2()1d d ()4()3()2d (0)1,(0)0,(0)1x t x t x t t x t x t x t tx t x t x t t x x x ⎧=-++⎪⎪⎪=+-⎪⎨⎪=-++⎪⎪⎪===⎩ 解 记123()10111120,0,()(),()140312()x t A c x t x t f t x t -⎛⎫⎛⎫⎛⎫⎛⎫⎪ ⎪ ⎪ ⎪====- ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭则微分方程组可以写成式(3.8)的矩阵形式．例3.9已求得222e 2e 0e e e e 2e e e e e 4e 02e e t t tAt t t tt t t t t t t t t t t t t ⎛⎫-⎪=-++-- ⎪ ⎪-+⎝⎭依次计算下列各量e e e e e 2e t t At t t t t c t t ⎛⎫- ⎪= ⎪ ⎪-⎝⎭，00e 1e e ()d e 1e 2e 22e t t t A t tf d τττττττ-------⎛⎫⎛⎫- ⎪ ⎪=-=-+ ⎪⎪ ⎪ ⎪-⎝⎭⎝⎭⎰⎰， 0e 1e e ()d e 12e 2t t At A t tf τττ-⎛⎫- ⎪=-+ ⎪ ⎪-⎝⎭⎰故微分方程组的解为123e e e 1(2)e 1()()()e e 1(1)e 1()e 2e 2e 2(32)e 2t t t tt t t t t t t t t x t x t x t t t x t t ⎛⎫⎛⎫⎛⎫----⎛⎫⎪ ⎪ ⎪ ⎪==+-+=-+ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪----⎝⎭⎝⎭⎝⎭⎝⎭二、求解矩阵方程在控制论与系统理论中，要遇到形如AX +XB =F 的矩阵方程求解问题，这个矩阵方程也称为Lyapunov 方程．关于这个矩阵方程的解有如下结果． 定理3.15 给定矩阵方程 AX +XB =F (3.9) 其中Cm mA ⨯∈，Cn nB ⨯∈，Cm nF ⨯∈．如果A 和B 的所有特征值具有负实部(这种矩阵称为稳定矩阵)，则该矩阵方程有惟一解e e d At Bt X F t +∞=-⎰证 记()e e At Bt Y t F =．则有Y (0)＝F ，且d ()e e e e ()()(3.10)d At Bt At Bt Y t A F F B AY t Y t B t=+=+设12,,,m λλλ 是A 的m 个特征值，12,,,n μμμ 是B 的n 个特征值．根据利用Jordan 标准形求矩阵函数的方法(见§3.3)知，e At的元素是形如e (0)j tr t r λ≥的项的线性组合．因为A 的所有特征值j λ的实部是负的，所以lim eAtt O →+∞=．同理lim e Bt t O →+∞=．于是lim ()lim e e At Bt t t Y t F O →+∞→+∞==又由于e e At BtF 的元素是形如()e (0)i j tr t r λμ+≥的项的线性组合，且积分()0ed i j tr t t λμ+∞+⎰都存在，故积分e e d At Bt F t +∞⎰存在．对式(3.10)两边从0到+∞积分，得()()0()(0)()d ()d Y Y AY t t Y t t B +∞+∞+∞-=+⎰⎰即()()0()d ()d A Y t t Y t t B F+∞+∞-+-=⎰⎰这说明0e e d At Bt X F t +∞=-⎰是矩阵方程(3.9)的解．惟一性的证明见第七章． 证毕 推论1 设Cm mA ⨯∈，Cn nB ⨯∈，Cm nF ⨯∈，则矩阵微分方程d ()()()d (0)X t AX t X t B tX F⎧=+⎪⎨⎪=⎩的解为()e e At BtX t F =推论2 设A ，C n nF ⨯∈，且A 的所有特征值具有负实部，则矩阵方程HA X XA F+=-的惟一解为H 0ee d (3.11)A tAt X F t+∞=⎰如果F 是Hermite 正定矩阵，则解矩阵X 也是Hermite 正定矩阵．证 只需证明后一结论．当F 是Hermite 正定矩阵时，由式(3.11)可知X 是Hermite 矩阵．又对0Cnx ≠∈，由于eAt总是可逆的，所以e 0Atx ≠，于是HH H e e (e )(e )0A t At At At x F x x F x =>．从而HH 0(e )(e )d 0At At x Xx x F x t +∞=>⎰故X 是Hermite 正定矩阵． 证毕三、最小二乘问题 设Cm nA ⨯∈，C n b ∈．当线性方程组Ax ＝b 无解时，则对任意C nx ∈都有Ax －b ≠0．此时希望找出这样的向量0C n x ∈，它使2Ax b -达到最小，即022Clim (3.12)nx Ax b Ax b ∈-=-称这个问题为最小二乘问题，称0x 为矛盾方程组Ax ＝b 的最小二乘解．以下结论给出了当A ，b 分别是实矩阵和实向量时，Ax ＝b 的最小二乘解所满足的代数方程．定理3.16 设R m nA ⨯∈，R mb ∈，0R n x ∈．若0R n x ∈是Ax ＝b 的最小二乘解，则0x 是方程组TT(3.13)A Ax A b=的解．称式(3.13)为Ax ＝b 的法方程组．证 由于2T 2TTTTTT()()()f x Ax b Ax b Ax b x A Ax x A b b Ax b b=-=--=--+若0x 为Ax ＝b 的最小二乘解，则它应是f (x )的极小值点，从而d 0(3.14)d x f x=根据例3.12和例3.14，得T T d 22d fA Ax A b x=- 由式(3.14)即知T T00A Ax A b -=，故0x 是式(3.13)的解． 证毕 对于含约束条件的最小二乘问题，有如下的结果． 例3.19 设Rm nA ⨯∈，R m b ∈，Rk nB ⨯∈，R kd ∈，且Bx ＝d 有解．试求约束极小。
数学中的矩阵理论及其应用
数学中的矩阵理论及其应用矩阵是线性代数中最基本的概念之一，是一个由数构成的矩形阵列，可以用于表示线性变换、运动状态、网络流量等多种实际问题。
矩阵理论作为一门数学分支，在现代自然科学与工程技术中得到了广泛的应用。
本文将探讨矩阵理论的基本概念、运算规律以及其应用领域。
一、矩阵的基本概念矩阵是由m×n个数按一定顺序排列成的矩形阵列，记为A=[a(i,j)]m×n ，其中aij表示矩阵A的第i行第j列元素。
若它是一个m阶的矩阵，则有m行，n列。
这里我们将默认矩阵的元素是实数。
在矩阵中，如果行数与列数相等，则称其为方阵，并且可以用A=(a(i,j))表示，其中i, j = 1,2,3,…,n。
矩阵可以用列向量表示，列向量是一个列阵列，例如：$$ a = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} $$二、矩阵的运算1. 矩阵的加减法设A、B是同型矩阵，即具有相同的行数和列数，那么它们的和与差是指相应元素之和与之差的矩阵：$$ A + B = \begin{bmatrix} a_{11}+b_{11} & a_{12}+b_{12} & \cdots & a_{1n}+b_{1n} \\ a_{21}+b_{21} & a_{22}+b_{22} &\cdots & a_{2n}+b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\a_{m1}+b_{m1} & a_{m2}+b_{m2} & \cdots & a_{mn}+b_{mn}\end{bmatrix} $$$$ A - B = \begin{bmatrix} a_{11}-b_{11} & a_{12}-b_{12} &\cdots & a_{1n}-b_{1n} \\ a_{21}-b_{21} & a_{22}-b_{22} & \cdots & a_{2n}-b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}-b_{m1} & a_{m2}-b_{m2} & \cdots & a_{mn}-b_{mn} \end{bmatrix} $$2. 矩阵与标量乘法设A为m×n矩阵，k为标量，则称kA为矩阵A的数乘，它等于把A的每一元素都乘以k。
矩阵论
矩阵论中概念的个人理解矩阵论概述：矩阵论这门学科，其实我们很早就有接触，只是以前学的浅显，只是懂得皮毛，很多问题只是浅尝辄止，课本上也并没有深入的延伸一些知识点，在我们大学者们课程虽然是专业课，但也只是学了一些所谓的基础重要的章节，像行列式的计算，矩阵的初等变换，特征值的计算，对于考研的要求也只是在此基础上增加了各种标准型之间的转化和转化矩阵的求法，算是初具系统化，到接触到矩阵论这门课程，才算是矩阵的一些知识做了梳理和综合，并引入空间，线性变换等概念，研究的深度和广度都有所扩展，也让我们对矩阵有了全面的了解。
矩阵论是一本针对广大研究生开设的一门数学基础课，也是贯穿在很多学科中的一种非常实用的计算工具。
根据世界数学发展史记载，矩阵概念产生于19世纪50年代，是为了解线性方程组的需要而产生的。
然而，在公元前我国就已经有了矩阵的萌芽。
在我国的《九章算术》一书中已经有所描述，只是没有将它作为一个独立的概念加以研究，而仅用它解决实际问题，所以没能形成独立的矩阵理论。
1850年，英国数学家西尔维斯特(SylveSter，1814--1897)在研究方程的个数与未知量的个数不相同的线性方程组时，由于无法使用行列式，所以引入了矩阵的概念。
1855年，英国数学家凯莱(Caylag，1821--1895)在研究线性变换下的不变量时，为了简洁、方便，引入了矩阵的概念。
1858年，凯莱在《矩阵论的研究报告》中，定义了两个矩阵相等、相加以及数与矩阵的数乘等运算和算律，同时，定义了零矩阵、单位阵等特殊矩阵，更重要的是在该文中他给出了矩阵相乘、矩阵可逆等概念，以及利用伴随阵求逆阵的方法，证明了有关的算律，如矩阵乘法有结合律，没有交换律，两个非零阵乘积可以为零矩阵等结论，定义了转置阵、对称阵、反对称阵等概念。
1878年，德国数学家弗罗伯纽斯(Frobeniws，1849一1917)在他的论文中引入了λ矩阵的行列式因子、不变因子和初等因子等概念，证明了两个λ矩阵等价当且仅当它们有相同的不变因子和初等因子，同时给出了正交矩阵的定义,1879年，他又在自己的论文中引进矩阵秩的概念. 矩阵的理论发展非常迅速，到19世纪末，矩阵理论体系已基本形成。
矩阵论知识点
矩阵论知识点最近考试不断，今天终于告一段落了。
矩阵论我花了将近两个礼拜复习，多少有点感悟，所以赶紧写下来，不然估计到时候又还给老师了，也希望自己的见解对你们也有帮助！！总的来说矩阵论就讲了如下6个知识点：（1）线性空间与线性变换（2）范数理论及其应用（3）矩阵分析及其应用（4）矩阵分解（5）特征值的估计（6）广义逆矩阵1.线性空间与线性变换1.1线性空间首先我们需要知道什么是空间？？空间其实就是向量的集合，而什么是线性空间呢？？线性空间就是满足8条性质的向量集合，这8条性质分别如下:所以矩阵论考试里面如果要你证明一个向量集合是线性空间？？只需要证明集合满足上述8条性质就可以了，该证明的难度在于怎么表示该集合中的向量。
然后对于线性空间中的元素（元素很多），我们肯定不可能通过枚举法将每个元素枚举出来的吧，这样不太现实。
最好的方法就是找到线性空间中的基，通过这些基和坐标我们就可以表示出线性空间中所有的向量。
针对上述想法，我们就应该考虑满足条件基的存在性和唯一性，得到的结果是这样的基是存在的但是不唯一！！当时这里就牵涉到另一个问题，线性空间的基是不唯一的，对于同一个元素在不同基下坐标肯定是不同的！！如果我们知道基与基之间的关系，我们是否可以知道坐标与坐标的关系，这就推导出了下面公式：之后的一个概念就是线性子空间，这个名词我们可以拆开进行理解，子空间说明了该空间是一个线性空间的子集，线性说明这个子空间满足齐次性和叠加性，具体形式如下：最后一个概念是线性子空间的交与和，这和集合的交与和性质差不多，这里我需要重点介绍的直和的概念，直和的概念和集合的并类似，不同的是直和中并的两个集合是不相交的，即两个集合中没有共同元素。
以上就是线性空间中所有的知识点。
1.2线性变换及其矩阵这一节出现一个概念叫做线性变换，记为T，出现线性变换的原因就是对于一个向量我们希望通过某种变换将该向量转变成我希望的目标向量，换句话说线性变换就相当于函数，自变量就相当于我们已知的向量，因变量就是我们的目标向量，这样应该好理解点。
矩阵论及其应用
矩阵论及其应用矩阵论是数学中的一个重要分支，它研究的是矩阵及其性质、运算规则以及在各个领域中的应用。
矩阵作为一种代数工具，具有广泛的运用价值，特别是在线性代数、计算机科学、物理学、经济学等领域。
本文将介绍矩阵论的基本概念、运算规则以及一些典型的应用。
我们来了解一下矩阵的基本概念。
矩阵是由数个数构成的矩形阵列，其中的每个数称为矩阵的元素。
矩阵可以表示为一个大写字母加上两个下标，例如A、B、C等。
矩阵的大小由行数和列数决定，行数用m表示，列数用n表示，一个m行n列的矩阵称为m×n矩阵。
矩阵的元素可以是实数、复数或者其他类型的数。
矩阵的运算是矩阵论的核心内容之一。
常见的矩阵运算包括矩阵的加法、减法、数乘、乘法以及转置等。
矩阵的加法和减法要求两个矩阵具有相同的大小，即行数和列数相等。
加法和减法的运算规则是对应位置上的元素相加或相减。
数乘是指一个数与矩阵中的每个元素相乘，乘积仍然是一个矩阵。
矩阵的乘法是一种复杂的运算，它要求第一个矩阵的列数等于第二个矩阵的行数，乘积的结果是一个新的矩阵，其行数等于第一个矩阵的行数，列数等于第二个矩阵的列数。
转置是指将矩阵的行和列互换得到的新矩阵。
矩阵的应用广泛存在于各个领域中。
在线性代数中，矩阵被用来描述线性方程组的系数矩阵，通过矩阵的运算可以求解线性方程组的解。
在计算机科学中，矩阵被广泛应用于图像处理、人工智能和数据分析等领域。
在图像处理中，矩阵可以表示为像素点的亮度值，通过对矩阵的运算可以实现图像的旋转、缩放、模糊等操作。
在人工智能中，矩阵可以表示神经网络的权重矩阵，通过矩阵的乘法和激活函数的运算可以实现神经网络的前向传播和反向传播。
在数据分析中，矩阵可以表示数据集，通过对矩阵的分解和降维可以实现数据的特征提取和模式识别。
矩阵还在物理学、经济学以及其他科学领域中得到广泛应用。
在物理学中，矩阵被用来描述波函数和量子态，通过矩阵的运算可以求解量子系统的能量和态矢。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.矩阵和线性变换：线性变换的定义：线性映射（linear mapping）是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算，而线性变换（linear transformation）是线性空间V到其自身的线性映射。
一个矩阵对应了一个线性变换这个说法，就可以知道这个说法并不严谨。
（基）矩阵是对线性变换的表示；确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。
两个矩阵相乘，表示了三个线性空间的变换。
要想从第一个空间转换到第三个空间，则第一个变换的定义域空间U到目标空间V1，第二个变换的定义域空间V2到目标空间W，必须满足V1和V2是一个空间。
矩阵把v'i换成vi的换基矩阵与把vi换成v'i的换基矩阵这两个矩阵是互逆的.2恒等变换与伸缩变换3矩阵对角化条件：n个线性无关的特征向量；每个特征值的线性无关的特征向量的个数恰好等于该特征值的代数重数；充分条件n个特征值互不相等（充分条件）；代数重数：特征多项式的次数；几何重数：与某一个特征值λ相关联的线性无关的特征向量的最大个数。
所以对角化其实就是要用特征向量组成的基来代替标准基，描述线性变换，使得多个耦合的变量尽可能的解耦。
如果A为实对称阵，则其必可以正交相似对角化。
其中U内的每个向量互相正交。
即：u1.T=u1.I.线性变换：可以发现里面并不涉及矩阵维度的变化。
其中中间的对角矩阵相当于对矩阵的每一列（t 特征向量）进行拉伸。
两边的同维方阵使用的是同一组基，即上述的线性变换始终在一组基里面，所以相当于在同一空间内做旋转。
在一个n维空间里，标准正交基是唯一存在的，该n维空间里面所有的向量都可由该组正交基线性变换得到。
所以矩阵的对角化涉及到的运动包括：旋转和缩放。
A矩阵将一个向量从x这组基的空间旋转到x这组基的空间，并在每个方向进行了缩放。
4.SVD证明：AA.T的特征向量组就是P矩阵：2∑∑∑∑∑T T T T T T T=⇒=⇒==A P V A V P AA P V V P P P得证对A进行矩阵分解得到的P矩阵就是AA.T的特征向量组成的P矩阵。
SVD的一些应用1.降维左奇用于行数的压缩。
右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。
2.PCA使用SVD求解PCA求解过程中的协方差矩阵为特征之间（列之间）的关系矩阵（m*m）。
而SVD的右奇异矩阵也是关于特征之间（矩阵列之间）的关系，所以PCA里面的协方差矩阵可以通过SVD得到。
SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵，也能求出我们的右奇异矩阵。
3.奇异（乱入的）若n阶方阵A的行列式不为零，即|A|≠0，则称A为非奇异矩阵或满秩矩阵4.几何意义：奇异值分解把线性变换清晰地分解为旋转、缩放、投影这三种基本线性变换。
其中，P为m*m矩阵，Q为n*n矩阵。
=∑。
A矩阵的作用是将一个向量从Q 这组正交基向量的其中涉及的变换：AQ P空间旋转到P这组正交基向量空间，并对每个方向进行了一定的缩放，缩放因子就是各个奇异值。
如果Q维度比P大，则表示还进行了投影。
8.一些概念矩阵行秩等于列秩估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计。
矩阵与标量相乘与相加，每个元素与该标量相乘或相加互逆矩阵特征值互为倒数，特征向量一样9.条件数矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=‖A‖·‖A^(-1)‖，对应矩阵的3种范数，相应地可以定义3种条件数。
函数cond(A,1)、cond(A)或cond(A inf)。
原因：条件数事实上表示了矩阵计算对于误差的敏感性，条件数越大，矩阵越大越病态，矩阵是指解集X对系数矩阵A和偏差bias高度敏感。
主要是某些向量之间可以互相近似线性表达（如[401 -201]与[-800 401]）,从而另一项近似残差项，这样微小的扰动带来大的扰动。
矩阵的条件数总是大于1.正交矩阵的条件数等于1，奇异矩阵的条件数为无穷大，而病态矩阵的条件数则为比较大的数据。
10. 鞍点，极值点，驻点检验二元函数F（x，y）的驻点是不是鞍点的一个简单的方法，是计算函数在这个点的Hessian矩阵：如果黑塞矩阵的行列式小于0，则该点就是鞍点。
在一维空间里，鞍点是驻点．也是反曲点点。
////////////目标函数在此点上的梯度（一阶导数）值为0，但从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。
11 矩阵对角化计算过程对称矩阵肯定可以对角化。
矩阵可以对角化的充分必要条件是：矩阵有n各不同的特征值。
n个相互无关的特征向量正交化过程：其中[]/[]。
上下是点乘的过程。
12 矩阵正定半正定判断条件：(1)A为半正定阵：a.定义判定。
X T AX表示的意义是：矩阵A对应的二次型X'AX，对于任意不为0的实列向量X，都大于等于0。
b.所有的主子式非负。
主子式是指将行号与列号相等的项拿出来组成一个矩阵的行列式。
（2）A为正定阵：a.定义判断b.各阶顺序主子式都为正c.特征值都为正d.合同为单位阵e.g 上述四个条件都为充分必要条件。
主子式是，可以跳，顺序主子式是惟一的。
意义：正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。
13 核方法核函数的取（Mercer定理）任何半正定的函数都可以作为核函数。
所谓半正定的函数f(xi,xj)，是指拥有训练数据集合（x1,x2,...xn)，我们定义一个矩阵的元素aij = f(xi,xj)，这个矩阵是n*n 的，如果这个矩阵是半正定的，那么f(xi,xj)就称为半正定的函数。
这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。
常见的核函数有高斯核，多项式核等等，在这些常见核的基础上，通过核函数的性质（如对称性等）可以进一步构造出新的核函数。
SVM是目前核方法应用的经典模型。
一般实施步骤核函数方法是一种模块化(Modularity)方法，它可分为核函数设计和算法设计两个部分，具体为：1）收集和整理样本,并进行标准化；2）选择或构造核函数；3）用核函数将样本变换成为核函数矩阵,这一步相当于将输入数据通过非线性函数映射到高维特征空间；4）在特征空间对核函数矩阵实施各种线性算法；5）得到输入空间中的非线性模型。
14 共轭共轭复数，两个实部相等，虚部互为相反数的复数互为共轭复数(conjugate complex number)。
当虚部不为零时，共轭复数就是实部相等，虚部相反,如果虚部为零，其共轭复数就是自身。
（当虚部不等于0时也叫共轭虚数）复数z的共轭复数记作zˊ。
同时, 复数zˊ称为复数z的复共轭(complex conjugate).共轭矩阵是指，共轭矩阵又称Hermite阵。
Hermite阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。
共轭相等概念出现于共轭矩阵中，体现在：主对角线上的元素为实数（即其共轭复数为其本身），而第i行第j列的元素与第j行第i列的元素为共轭复数（这个不用解释了吧）。
埃尔米特矩阵（又称“自共轭矩阵”）是共轭对称的方阵。
埃尔米特矩阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。
15 概率和似然概率用于在已知事物一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测结果时，对有关事物的性质的参数进行估计。
举例：我们从一个袋子（只有红球和蓝球）里面又放回的抓球，抓了10次，其中红球为3次，蓝球为7次，则我们估计取得蓝球的概率为0.7，红球的概率为0.3.此过程采用的是极大似然的思想，然后我们估计下一次取得蓝球的概率为0.7，此过程称之为概率思想。
16 奇异矩阵奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。
首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。
若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。
然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。
同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。
如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。
如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。
17 海森矩阵的意义在求解凸优化问题的时候，前提条件是嗨森矩阵是正定的。
如果不是正定，不能保证所产生的方向是目标函数在xk处的下降方向。
Hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性（可以看成是抛物线口的大小，而梯度只是抛物线某点的斜率。
），特征值越大，凸性越强。
而凸性和优化方法的收敛速度有关，比如梯度下降。
如果正定Hessian矩阵的特征值都差不多，那么梯度下降的收敛速度越快，反之如果其特征值相差很大，那么收敛速度越慢。
18.均值和期望期望是针对于随机变量而言的一个量。
E(XY)=∑i*j*(Pij)，其中i为X的取值，j为Y的取值，Pij为对应于X=i,Y=j的联合分布列中的相应概率，求和是对所有的i,j求和19.矩阵分解推荐存在稀疏的用户物品矩阵R，希望得到矩阵Q（用户特征矩阵）和P（特征物品矩阵）逐步优化使得R2=QPT与R之间的距离变小。
利用荼毒下降的方法进行优，另外增加Q，P的二范数作为正则项。
这样得到Q，P之后二者相乘得到的R2不是稀疏的，从而进行推荐。
20.矩阵的秩：1.矩阵中的最大的不相关的向量的个数，就叫秩，可以理解为有秩序的程度2.「秩」是图像经过该矩阵变换之后的空间维度。
3.「秩」是列空间的维度，列空间就是矩阵的列向量所能张成（即通过来表示）的空间，列空间的维度就是「秩」。
4.线性变换变换的其实是基。