解线性代数方程组的直接方法
线性代数求解方法和技巧
线性代数求解方法和技巧线性代数是数学中重要的一个分支，研究向量空间、线性变换和线性方程组等内容。
在实际问题中，我们常常需要用线性代数的方法来解决问题，因此掌握线性代数的求解方法和技巧对于理解和应用数学是非常重要的。
首先，我们讨论线性方程组的求解方法。
线性方程组是由一组线性方程组成的方程组，其中每个方程的未知数的次数都为1。
对于n个未知数和m个方程的线性方程组，我们有以下几种常用的求解方法：1. 列主元消元法：这是最常用的线性方程组求解方法之一。
它的基本思想是通过行变换将线性方程组化为一个三角形式，进而求解得到方程组的解。
在进行行变换时，要选择合适的列主元，即选择主元元素绝对值最大的一列作为主元素。
2. 矩阵求逆法：对于一个可逆的n阶方阵A，我们可以通过求A的逆矩阵来求解线性方程组Ax=b。
具体地，我们首先通过高斯消元法将方程组化为三角形式，然后根据三角形式的矩阵求逆公式来求解x。
3. LU分解法：对于一个n阶非奇异矩阵A，我们可以将其分解为一个下三角矩阵L和一个上三角矩阵U的乘积，即A=LU。
接着，我们可以通过LU分解来求解线性方程组Ax=b。
具体地，我们首先通过LU分解将方程组化为Lc=b和Ux=c两个方程组，然后依次求解这两个方程组得到x的值。
除了以上的求解方法，还有一些线性方程组的特殊情况和对应的求解方法：1. 齐次线性方程组：如果线性方程组右边的常数项都为0，即b=0，那么我们称为齐次线性方程组。
对于齐次线性方程组，其解空间是一个向量空间。
我们可以通过高斯消元法来求解齐次线性方程组，先将其化为三角形式，然后确定自由未知量的个数，最后确定解空间的基底。
2. 奇异线性方程组：如果线性方程组的系数矩阵A是奇异矩阵，即det(A)=0，那么我们称为奇异线性方程组。
对于奇异线性方程组，其解可能不存在，或者存在无穷多解。
我们可以通过计算矩阵A的秩来确定线性方程组的解的情况。
另外，在实际问题中，我们可能会遇到大规模的线性方程组，这时候求解方法和技巧还需要考虑到计算效率的问题。
线性代数方程组的数值解法讨论
线性代数方程组的数值解法讨论解线性方程组的方法，主要分为直接方法和迭代方法两种。
直接法是在没有舍入误差的假设下能在预定的运算次数内求得精确解。
而实际上，原始数据的误差和运算的舍入误差是不可以避免的，实际上获得的也是近似解。
迭代法是构造一定的递推格式，产生逼近精确解的序列。
对于高阶方程组，如一些偏微分方程数值求解中出现的方程组，采用直接法计算代价比较高，迭代法则简单又实用，因此比较受工程人员青睐。
小组成员本着工程应用，讨论将学习的理论知识转变为matlab 代码。
讨论的成果也以各种代码的形式在下面展现。
1 Jacobi 迭代法使用Jacobi 迭代法，首先必须给定初始值，其计算过程可以用以下步骤描述： 步骤1 输入系数矩阵A ，常熟向量b ，初值(0)x ，误差限ε，正整数N ，令1k =.步骤2 (0)11ni i ij jj ii j i x b a x a =≠⎡⎤⎢⎥=-⎢⎥⎢⎥⎣⎦∑，(0)j x 代表(0)x 的第j 个分量。
步骤3 计算11ni i ij j j ii j i y b a x a =≠⎡⎤⎢⎥=-⎢⎥⎢⎥⎣⎦∑，判断1max i i i n x y ε≤≤-<，如果是，则结束迭代，转入步骤5；否则，转入步骤4。
步骤4 判断k N =？如果是，则输出失败标志；否则，置1k k =+，i i x y ⇐，1,2,,i n =，转入步骤2。
步骤5 输出12,,n y y y 。
雅可比迭代代码function [x,k]=Fjacobi(A,b,x0,tol)% jacobi 迭代法 计算线性方程组% tol 为输入误差容限，x0为迭代初值max1= 300; %默认最多迭代300，超过要300次给出警告 D=diag(diag(A)); L=-tril(A,-1);U=-triu(A,1); B=D\(L+U); f=D\b; x=B*x0+f;k=1; %迭代次数while norm(x-x0)>=tol x0=x;x=B*x0+f; k=k+1;if(k>=max1)disp('迭代超过300次，方程组可能不收敛'); return; end%[k x'] %显示每一步迭代的结果 End2 高斯赛德尔迭代由Jacobi 迭代法中，每一次的迭代只用到前一次的迭代值，若每一次迭代充分利用当前最新的迭代值，即在计算第i 个分量(1)k i x +时，用最新分量11()k x +，12()k x +…(1)1k i x +-代替旧分量)1(k x ', )2(k x …)3(k x 就得到高斯赛德尔迭代格式，其数学表达式为：1(1)(1)()111(1,2,,)i n k k k ii ij j ij j j j i ii xb a x a x i n a -++==+⎛⎫=--= ⎪⎝⎭∑∑具体形式如下：()()()(1)()()()11221331111(1)(1)()()22112332222(1)(1)(1)(1)(1)112233,11111k k k k n n k k k k n n k k k k k n n n n n n n n nnx a x a x a x b a x a x a x a x b a x a x a x a x a x b a ++++++++--=----+=----+⋯⋯⋯⋯⋯⋯=-----+矩阵形式表示为：()(1)1(1)()(0,1,2,,),k k k k n +-+=++=x D Lx Ux b将(1)(1)()(0,1,2,,)k k k k n ++=++=Dx Lx Ux b 移项整理得： (1)1()1()()(0,1,2,,))k k x D L Ux D L b k n +--=-+-=记11(),()--=-=-M D L U g D L b ，则(1)()k k x x +=+M g高斯塞德尔迭代function [x,k]=Fgseid(A,b,x0,tol)%高斯-塞德尔迭代法 计算线性方程组 % tol 为误差容限max1= 300; %默认最高迭代300次D=diag(diag(A)); L=-tril(A,-1); U=-triu(A,1); G=(D-L)\U; f=(D-L)\b; x=G*x0+f;k=1; while norm(x-x0)>=tol x0=x;x=G*x0+f; k=k+1;if(k>=max1)disp('迭代次数太多，可能不收敛'); return; end% [k,x'] %显示每一步迭代结果 End3 超松弛迭代法在工程中最常遇到的问题便是线性代数方程组的求解,而线性代数方程组的求解一般可以分为两类,一类是直接法(精确法),包括克莱姆法则方法、LD 分解法等，另一类是迭代法（近似法），包括雅克比迭代法、高斯迭代法、超松弛迭代法等。
07线性代数方程组的解法
总计∑ n (k2k) n(n21)
k1
3
除法
n1
k
n(n1)
k1
2
回 代 总 计 算 量 n(n1) 2
总 乘 除 法 共 n 3 3 n 2 1 3 n (n 3 0 ,为 9 8 9 0 )
21
三、Gauss消去法的矩阵表示
每一步消去过程相当于左乘初等变换矩阵Lk
a x a x a x a b 得
到
(1)
同
解 (1)
方
程 (1)A(3组 )x=b(1() 3)
(1)
11 1
12 2
13 3
1n
1
a x a x (2) (2)
22 2
23 3
a x(3) 33 3
a b (2) (2)
2n
2
a b (3) (3)
11 1
12 2
1n n
1
b x 22 2
b2nxn g 2
称 消 元 过 程 。 逐 次 计 算 b出 nn x xn n, x gn 1 n,, x 1 称 回 代 过 1程 0 。
一、Gauss 消去法计算过程
a a b b 统一记 → 号 (1) ： , →(1)
(2) ,
2
(3)
(2)
2
1
0
1
L m 0 2
32
1
0 mn2 0
m a a
(2) (2)
i2
i2
22
i 3,4, ,n
常见的线性代数求解方法
常见的线性代数求解方法
1.列主元消去法
列主元消去法是一种经典的求解线性方程组的方法。
它通过将
方程组转化为上三角矩阵的形式来求解。
这个方法的关键在于选取
主元的策略。
一种常见的选取主元的策略是选择当前列中绝对值最
大的元素作为主元，然后进行消去操作，直到将矩阵转化为上三角
矩阵。
2.高斯-约当消去法
高斯-约当消去法是另一种常见的线性方程组求解方法。
它通
过消去矩阵的下三角部分来将线性方程组转化为上三角矩阵的形式。
这个方法也需要选择主元，常见的选择策略是选取当前行中绝对值
最大的元素作为主元，然后进行消去操作。
3.LU分解法
LU分解法是将矩阵分解为一对矩阵的乘积的方法。
这个方法的思想是先将矩阵分解为一个下三角矩阵和一个上三角矩阵，然后通过求解上三角矩阵和下三角矩阵的两个方程组来求解原始的线性方程组。
4.Jacobi迭代法
Jacobi迭代法是一种迭代求解线性方程组的方法。
它通过将原始的线性方程组转化为一个对角矩阵和另一个矩阵的乘积的形式，然后通过迭代求解这个对角矩阵和另一个矩阵的方程组来逼近线性方程组的解。
5.Gauss-Seidel迭代法
Gauss-Seidel迭代法是另一种迭代求解线性方程组的方法。
它与Jacobi迭代法类似，但是在每一次迭代中，它使用前一次迭代得到的部分解来更新当前的解。
这个方法通常比Jacobi迭代法收敛得更快。
以上是一些常见的线性代数求解方法。
每种方法都有其特点和适用范围，我们可以根据具体情况选择合适的方法来求解线性方程组的问题。
(整理)线性方程组的直接法
第二章线性方程组的直接法在近代数学数值计算和工程应用中，求解线性方程组是重要的课题。
例如，样条插值中形成的关系式，曲线拟合形成的法方程等，都落实到解一个元线性方程组，尤其是大型方程组的求解，即求线性方程组（2.1）的未知量的数值。
（2.1）其中ai j，bi为常数。
上式可写成矩阵形式Ax = b，即（2.2）其中，为系数矩阵，为解向量，为常数向量。
当detA=D0时，由线性代数中的克莱姆法则，方程组的解存在且惟一，且有为系数矩阵的第列元素以代替的矩阵的行列式的值。
克莱姆法则在建立线性方程组解的理论基础中功不可没，但是在实际计算中，我们难以承受它的计算量。
例如，解一个100阶的线性方程组，乘除法次数约为（101·100！·99），即使以每秒的运算速度，也需要近年的时间。
在石油勘探、天气预报等问题中常常出现成百上千阶的方程组，也就产生了各种形式方程组数值解法的需求。
研究大型方程组的解是目前计算数学中的一个重要方向和课题。
解方程组的方法可归纳为直接解法和迭代解法。
从理论上来说，直接法经过有限次四则运算，假定每一步运算过程中没有舍入误差，那么，最后得到方程组的解就是精确解。
但是，这只是理想化的假定，在计算过程中，完全杜绝舍入误差是不可能的，只能控制和约束由有限位算术运算带来的舍入误差的增长和危害，这样直接法得到的解也不一定是绝对精确的。
迭代法是将方程组的解看作某种极限过程的向量极限的值，像第2章中非线性方程求解一样，计算极限过程是用迭代过程完成的，只不过将迭代式中单变量换成向量而已。
在用迭代算法时，我们不可能将极限过程算到底，只能将迭代进行有限多次，得到满足一定精度要求的方程组的近似解。
在数值计算历史上，直接解法和迭代解法交替生辉。
一种解法的兴旺与计算机的硬件环境和问题规模是密切相关的。
一般说来，对同等规模的线性方程组，直接法对计算机的要求高于迭代法。
对于中等规模的线性方程组，由于直接法的准确性和可靠性高，一般都用直接法求解。
第三章 线性代数方程组的直接解法1
for
j = n : −1 : 2
y( j ) = y( j ) u( j , j )
y (1 : j − 1) = y (1 : j − 1) − y ( j )u(1 : j − 1, j )
end
y(1) = y(1) u(1,1)
加减乘除运算次数之和)均为 两种算法的工作量(加减乘除运算次数之和 两种算法的工作量 加减乘除运算次数之和 均为 n
高斯变换
a 0
(1) 11
取
L = I +l e 1
其中 l i 1
T 1 1
l1 = (0, l21,⋯, ln1)
a
(1) 11
T
=
−1 1
a
(1) i1
i = 2, 3,⋯ , n
−1 1 T 1 1
记
A
( 2)
=L A
(1)
L = I −l e
(1 a11) 0 I n−1 c1 T 1
(i ) ii
的各阶顺序主子式都不等于零 顺序主子式都不等于 A 的各阶顺序主子式都不等于零，即
−1 −1 1 2
1 4 7 0 −3 − 6 = U L2 L1 A = 0 0 1
∴ A = L L U = LU
其中
1 0 0 2 1 0 −1 − 1 L = L1 L2 = 3 2 1
Gauss消去法的矩阵表示 消去法的矩阵表示 设给定 n 阶矩阵 记
1 0 0 −2 1 0 L1 = −3 0 1
设给定矩阵
则有
7 1 4 0 −3 −6 L1 A = 0 −6 −11
第三章解线性方程组直接法
第三章 解线性方程组的直接法3.1 引言许多科学技术问题要归结为解含有多个未知量x 1, x 2, …, x n 的线性方程组。
例如，用最小二乘法求实验数据的曲线拟合问题，三次样条函数问题，解非线性方程组的问题，用差分法或有限元法解常微分方程、偏微分方程的边值等，最后都归结为求解线性代数方程组。
关于线性方程组的数值解法一般有两类：直接法和迭代法。
1. 直接法直接法就是经过有限步算术运算，可求得线性方程组精确解的方法（假设计算过程中没有舍 入误差）。
但实际计算中由于舍入误差的存在和影响，这种方法也只能求得线性方程组的近似解。
本章将阐述这类算法中最基本的高斯消去法及其某些变形。
2. 迭代法迭代法就是用某种极限过程去逐步逼近线性方程组精确解的方法，迭代法需要的计算机存储 单元少、程序设计简单、原始系数矩阵在计算过程中不变，这些都是迭代法的优点；但是存在收敛性和收敛速度的问题。
迭代法适用于解大型的稀疏矩阵方程组。
为了讨论线性方程组的数值解法，需要复习一些基本的矩阵代数知识。
3.1.1 向量和矩阵 用nm ⨯R表示全部n m ⨯实矩阵的向量空间，nm C⨯表示全部n m ⨯复矩阵的向量空间。
()⎪⎪⎪⎪⎪⎭⎫⎝⎛==⇔∈⨯nn n n n n ij nm a a a a a aa a a a ΛΛΛΛΛΛ212222111211A R A 此实数排成的矩形表，称为m 行n 列矩阵。
⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⇔∈n n x x x M 21x R x x 称为n 维列向量矩阵A 也可以写成)(n 21a ,,a ,a A Λ= 其中 a i 为A 的第i 列。
同理⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=T T T n 21b b b A M其中Ti b 为A 的第i 行。
矩阵的基本运算：（1） 矩阵加法 )( ,n m n m R C ,R B ,R A B A C ⨯⨯⨯∈∈∈+=+=n m ij ij ij b a c . （2） 矩阵与标量的乘法 ij j a ci αα== ,A C （3） 矩阵与矩阵乘法 p nk kj ikb acij ⨯⨯⨯=∈∈∈==∑m p n n m R C ,R B ,R A AB C ( ,1（4） 转置矩阵 ji ij T nm a c ==∈⨯ , ,A C RA（5） 单位矩阵 ()nn ⨯∈=Re ,,e ,e I n 21Λ，其中()Tk e 0,0,1,0,0ΛΛ= k=1,2,…,n（6） 非奇异矩阵 设n n ⨯∈R A ，n n ⨯∈R B 。
线性代数方程组的直接解法赖志柱
第二章线性代数方程组的直接解法教学目标：1.了解线性代数方程组的结构、基本理论以及相关解法的发展历程；2.掌握高斯消去法的原理和计算步骤，理解顺序消去法能够实现的条件，并在此基础上理解矩阵的三角分解（即LU分解），能应用高斯消去法熟练计算简单的线性代数方程组；3.在理解高斯消去法的缺点的基础上，掌握有换行步骤的高斯消去法，从而理解和掌握选主元素的高斯消去法，尤其是列主元素消去法的理论和计算步骤，并能灵活的应用于实际中。
教学重点：1. 高斯消去法的原理和计算步骤；2. 顺序消去法能够实现的条件；3. 矩阵的三角分解（即LU分解）；4. 列主元素消去法的理论和计算步骤。
教学难点：1. 高斯消去法的原理和计算步骤；2. 矩阵的三角分解（即LU分解）；3. 列主元素消去法的理论和计算步骤。
教学方法：教具：引言在自然科学和工程技术中，许多问题的解决常常归结为线性方程组的求解，有的问题的数学模型中虽不直接表现为线性方程组，但它的数值解法中将问题“离散化”或“线性化”为线性方程组。
例如，电学中的网络问题、船体数学放样中建立三次样条函数问题、最小二乘法用于求解实验数据的曲线拟合问题、求解非线性方程组问题、用差分法或有限元法求解常微分方程边值问题及偏微分方程的定解问题，都要导致求解一个或若干个线性方程组的问题。
目前，计算机上解线性方程组的数值方法尽管很多，但归纳起来，大致可以分为两大类：一类是直接法（也称精确解法）；另一类是迭代法。
例如线性代数中的Cramer法则就是一种直接法，但其对高阶方程组计算量太大，不是一种实用的算法。
实用的直接法中具有代表性的算法是高斯（Gauss）消元法，其它算法都是它的变形和应用。
在数值计算历史上，直接法和迭代法交替生辉。
一种解法的兴旺与计算机的硬件环境和问题规模是密切相关的。
一般说来，对同等规模的线性方程组，直接法对计算机的要求高于迭代法。
对于中、低阶（200n ）以及高阶带形的线性方程组，由于直接法的准确性和可靠性高，一般都用直接法求解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
分解过程中元素lkm的平方不会超过A的最大 对角元,因而舍入误差的放大受到限制. 故平方根法求解对称正定方程组时可以不 考虑选主元的问题. 同时计算量约为Gauss消去法的一半左右.
12
2.若用顺序Gauss消去法求解对称正定方程 组AX b , 则有
1 i , j n
5
A对称正定, 则A有唯一LU 分解 : 1 l 1 21 A ln1 ln 2
n i 1
u11 u12 u 22 1
u1n u2 n unn
A对称正定 uii 0 1 l 1 21 A ln1 ln 2 u11 u22 1 u12 1 u11 1 unn u1n u11 u2 n u22 1
u ji uii
.
于是, AX b LDL X b 令L X Z , DZ Y , LY b
T
则每一个方程组比AX b 都相对简单. 计算量约为Gauss消去法的一半.
16
例：用LDL 分解法求解方程组 5 -4 1 x1 2 -4 6 4 x 1 2 1 4 6 x 1 3
14
note : 为了避免平方根的开方运算, 可以利 用定理5.2对A作LDL 分解,再计算方 程组AX b .
T
15
设A正定对称, 则A有唯一LU 分解 : A LU , 另一方面, A LDL U DL
T T
其中D diag (u11 , u22 ,
T
, unn ), lij
补充：
定义：子式 a11 a12 a21 a22 ai1 ai 2 a1i a2i aii
pi
(i 1, 2,...n)
称为矩阵A (aij )nn的顺序主子式。 若矩阵A的所有顺序主子式均大于零，则称A是正定的
1
补充： 将矩阵A行列互换就得到了A的转置，通常记为AT。 若AT=A，则称A是对称矩阵。
T
其中L是单位下三角阵, D为对角阵(其 元素均为正数) , 且这种分解是唯一的.
4
1 l 1 21 其中L为LU 分解中的L 1 ln1 ln 2 u11 u 22 , u 为LU 分解中U D ii unn 的对角线元素.
T
17
5.5 向量与矩阵范数
18
用直接法求解线性方程组AX b时, 由于舍入误差, 只能得到近似解. 为进行解的误差分析和迭代法的收 敛性分析,引入向量范数和矩阵范数.
7
定理5.3 : n阶对称正定矩阵A一定有 Cholesky分解:A L L , 其中L1是一 个实的非奇异下三角矩阵. 当限定L1的对角线元素为正时, Cholesky 分解唯一.
T 1 1
A LDL LD D L ( LD )( LD )
T T
1 2
1 L1 , 则A L L
1 2
T 1 1
8
a11 a 21 an1
a12 a22 an 2
a1n l11 l a2 n 21 l22 ann ln1 ln 2
l11 l21 l22 ln n
ln1 ln 2 ln n
max aij
(k )
max aii
1 i n
(k 1, 2,
, n)
故Gauss法求解对称正定方程组时也可以不 考虑选主元的问题.
13
例 : 用平方根法求解方程组 3 2 3 x1 5 2 2 0 x 3 2 3 0 12 x 7 3
9
L1的元素为 : l11 a11 a j1 ( j 2,3, , n) l j1 l 11 k 2,3, , n; k 1 lkk akk lkm 2 i k 1, k 2, , n m 1 k 1 aik limlkm m 1 l ik lkk 由于上式每一步都有开方运算,故又称Cholesky方法 为平方根法.
6
1 l 1 21 令L ln1 ln 2 u12 1 u 11 1 R
u11 u 22 ,D , 1 unn u1n u11 u2 n A AT LDR RT DLT , u22 LU 分解的唯一性 1 u ji T T T L R , L R, 即有A LDL , 且lij . uii
0 a1 0 0 a 0 2 的矩阵称为对角矩阵， 形如 ai 0 0 其中a （ ， 2， ...)是数。 i i 1
2
实际问题中，若方程组的系数矩阵是对称 正定矩阵，则可用LDLT分解法来简化程序 设计并减少计算量。
3
定理5.2 : 设A是对称正定矩阵, 则A有如 下分解 : A LDL
10
l11 l l 21 22 l31 l32 l l 41 42 l n1 ln 2
l33 l43 ln 3 l44 ln 4
lnn
11
note : 1.由akk lkm lkm akk max aii ,即在