MIT公开课-线性代数笔记

目录方程组的几何解释 (3)矩阵消元 (3)乘法和逆矩阵 (5)A的LU分解 (6)转置-置换-向量空间R (8)求解AX=0：主变量，特解 (9)求解AX=b：可解性和解的解构 (10)线性相关性、基、维数 (11)四个基本子空间 (12)矩阵空间、秩1矩阵和小世界图 (13)图和网络 (14)正交向量与子空间 (16)子空间投影 (18)投影矩阵与最小二乘 (20)正交矩阵和Gram-Schmidt正交化 (22)特征值与特征向量 (27)对角化和A的幂 (28)微分方程和exp(At)（待处理） (29)对称矩阵与正定性 (29)正定矩阵与最小值 (31)相似矩阵和若尔当型（未完成） (32)奇异值分解(SVD) (33)线性变换及对应矩阵 (34)基变换和图像压缩 (36)NOTATIONp：projection vectorP：projection matrixe：error vectorP：permutation matrixT：transport signC(A)：column spaceN(A)：null spaceU：upper triangularL：lower triangularE：elimination matrixQ：orthogonal matrix, which means the column vectors are orthogonalE：elementary/elimination matrix, which always appears in the elimination of matrixN：null space matrix, the “solution matrix” of AX=0R：reduced matrix, which always appears in the triangular matrix, “IF00”I：identity matrixS：eigenvector matrixΛ：eigenvalue matrixC：cofactor matrix关于LINER ALGEBA名垂青史的分析方法：由具象到抽象，由二维到高维。

方程组的几何解释1. 行图像，列图像2. 矩阵乘法：方法一. 列向量的线性组合 方法二. 左行乘以右列3. 矩阵右乘向量（竖直）：矩阵列的线性组合4. 矩阵左乘向量（横平）：矩阵行的线性组合矩阵消元1. 课程目标：讨论消元法有效，以及无效的情况 用矩阵语言描述消元法2. 消元有效和失效a) 消元目标：把A 矩阵化为U 矩阵（主元不能出现0） b) 消元失效：主元是0：行交换可以解决主元为0的暂时性失效，但当底下的行中再也没有非0元素时，消元就彻底失效了。

3. 用矩阵来表示矩阵变换（消元） a) 例：→⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-−−−−−−−−→−⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡140183121100013001140183121211倍3中减去2目的：从E r r⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-140220121⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡−−−−−−−−→−5002-2012112-0010001322倍2中减去3目的：从E r r b) 针对上一例，假设总变换E=E 32E 21，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=126013001E ，这个矩阵对于消元法中出现的乘数来说太不直观了，然而E -1=E 21-1E 32-1,这个逆比较直观，因为它们是初等列变换的逆变换，只用改变乘数的系数就可以得到它们的逆，这就引出了下一章的内容：A 的LU 分解。

⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||||||||||||||⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡d c b a =a ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+b ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+c ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡|||| []d c b a ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡----------------=a []----+b []----+c []----+d []---- 4. 置换矩阵乘法和逆矩阵1. 矩阵乘法的四个方法AB=C a) 左行乘右列b) 线性组合列⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||||||||||||||⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡d c b a =a ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+b ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+c ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||+d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡||||c) 线性组合行 []d c b a ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡----------------=a []----+b[]----+c []----+d []----d) 左列乘右行 [][]00987614320061987432⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡ 2. 矩阵的逆a) 只有方阵才可能可逆（非方阵也可以求逆矩阵，不过是伪逆） b) 左逆等于右逆 c) 没有逆的情况 i. 行列式为0，列向量共线ii.存在非零向量X ，使AX=0（零空间有非零元素）d) 存在逆的情况 i. 求逆和解方程组是一回事 ii.Gauss-Jordan 消元法例：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡10017231d c b a步骤：⎥⎦⎤⎢⎣⎡10017231 ⎥⎦⎤⎢⎣⎡→⎥⎦⎤⎢⎣⎡→12-3-7100112-011031⎥⎦⎤⎢⎣⎡12-3-7就是所求的A -1。

3. 求逆总结 a) 正交矩阵Q -1=Q Tb) 上三角或者下三角矩阵求逆： i.例：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡100012001100012-0011- ii.例：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡150********-00100011- c) 克拉默法则求逆（代数余子式）A 的LU 分解1. 假设A 和B 都可逆，(AB)-1=B -1A -1,因为括号可以移动,就像先脱鞋子，再脱袜子，逆动作是先穿袜子，再穿鞋子2. (A -1)T =(A T )-1(转置和逆可以颠倒)3. A 的LU 分解 a) 例：A=⎥⎦⎤⎢⎣⎡7812，对其进行消元，目标是得到U 。

i.⎥⎦⎤⎢⎣⎡14-01⎥⎦⎤⎢⎣⎡7812=⎥⎦⎤⎢⎣⎡3012⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡→301214017812A L Uii.A=LU →A=L ’DU ’d) 3*3矩阵的情形 i. E 32E 31E 21A=U →A=E 21-1E 31-1E 32-1U →A=LUii.例：E 31E 21=E 和(E 21)-1(E 31)-1=L 的例子：求E 不容易，但是想要得到L ，只要把所有消元乘数写进来，就可以得到！iii.总结：E 不好求，E 不重要，好求的是L ，重要的是L 。

e) 一个n*n 矩阵A ，消元需要多少次？（“一次”：一般乘法+减法一次） n 2+(n-1)2+…+22+12=331n f) 考虑行互换的情形：转置与置换(3*3) i. 互换0行：Iii.P 12=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡100001010 iii. P 13=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡001010100 iv. 总共有6种。

v. 如果取逆，只要把行换回去即可。

逆矩阵仍然在这六个里。

vi.P -1=P T4. 总结：A 的LU 分解，U 是直观上看的消元得到上三角矩阵的结果，L 比较特殊，它记录了每一次的行变换。

要注意的是，因为L 是初等变换矩阵的逆矩阵，所以L中对角线元素的符号不发生改变，但是要取倒数；而其他元素的符号均发生改变。

转置-置换-向量空间R1.置换矩阵：P,用来完成行互换的矩阵。

2.置换矩阵是行重新排列了的单位矩阵。

3.置换矩阵的逆矩阵和它的转置矩阵相等。

P T P=I.4.转置矩阵（略）5.对称矩阵：symmetric matrix，转置后和原矩阵相等（注意：对角线两边符号不同也有可能是对称矩阵，满足A T=A即可）。

6.A T A一定是一个对称阵。

7.向量空间：向量张成的空间。

8.因为向量乘以0必须在向量空间里，所以向量空间的子空间必定过原点。

9.一个向量空间本身就是它自己的一个子空间。

它是最大的子空间。

10.零向量是所有实空间的子空间。

它总是构成最小的子空间。

11.矩阵如何构造子空间？1.1通过列向量构造。

每列的元素个数m代表这个列向量属于几维的空间，如果列向量个数n＜m，代表这个矩阵展现的是“降维打击“，此时列向量的所有线性组合（列空间）构成一个子空间。

1.2 个人将其命名为“棒型矩阵”。

求解AX=0：主变量，特解注：主元，每行的第一个非零元素1. 课程目标：AX=0的算法是怎样的？2. 消元时要保证：零空间不会改变。

3. 若主元为0，则看下面是否有可以互换的行，或右边是否有可以互换的列。

4. A 的目标是化为阶梯矩阵。

5. 非0主元的个数：秩，这就是秩在算法下的定义。

6. 化为阶梯矩阵后，寻找主变量。

先找到主元所在的列（主列），剩余的列称为自由列，表示可以任意分配数值给这些列所对应的解向量的元素。

例如：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡042000200221⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡4321x x x x =0 中，c 1和c 3是主列，c 2和c 4是自由列，所以x 2和x 4可以自由赋值，而x 1和x 3需要解出。

7. r （rank ）表示的是起到作用的主元个数，也就是起作用的方程个数，n-r=自由变量的个数=不起作用的方程个数=零空间的维数8. 简化行阶梯矩阵：让主元上下都是0，包含了所有信息，包括主行和主列，单位矩阵（主行和主列交汇处），0行表示这一行是非0行的线性组合 9. 简化的步骤相当于回代 10.R=⎥⎦⎤⎢⎣⎡00F I ，F 是自由矩阵，I 是r*r 单位方阵。

如何用这个矩阵解出所有特解？构造一个零空间矩阵N ，它的各列由特解组成。

N=⎥⎦⎤⎢⎣⎡I F -, RN=0. 11.矩阵主列的个数与其转置相同。

12.X=cN.求解AX=b ：可解性和解的解构1. 首先要交代的是：AX=b 不一定有解，是否有解要通过消元来判断。

2. b 要满足什么条件，AX=b 才有解？ a) b 属于A 的列空间b) 如果A 各行的线性组合得到零行，b 中同样线性组合也得到0. 3. 如果有解，如何求解？a) 找一个特解：将所有自由变量设为0，解出AX=b 中的主变量 b) 特解加上零空间中的任意X ，最终结果是所有解。

为什么？？？ 因为Ax p =b ，Ax n =0所以A(x p +x n )=Ax p +Ax n =b+0=b.c) 对于方程组某解，它与零空间里任意向量之和仍然是方程组的解。