62第二节 超定方程组的解
超定方程组最优解（最小二乘解）推导
超定⽅程组最优解（最⼩⼆乘解）推导⼀、超定⽅程组##超定⽅程组即为有效⽅程个数⼤于未知数个数的⽅程组。
（这⾥只讨论多元⼀次的情况）超定⽅程组可以写成矩阵的形式：Ax=b其中A为m×n的矩阵，其与b组成的增⼴矩阵[A|b]的秩⼤于n。
x为n维列向量未知数。
⼆、超定⽅程组的最⼩⼆乘解##超定⽅程组是⽆解的，但是我们可以求得其最⼩⼆乘解，就是将等式左右两端乘上A的转置。
\begin{equation}\begin{split}A TAx=A Tb\end{split}\end{equation}该⽅程有增⼴矩阵[A T A|A T b]的秩等于n，即该⽅程的未知数的个数等于有效⽅程的个数，所以该⽅程有唯⼀解且为原⽅程的最⼩⼆乘解。
平时记住结论直接⽤就好三、推导过程##（记录，⼤家不要看：其实⼩⽣也是只知道结论不知道结论是怎么来的，不过有⼀天看斯坦福⼤学的机器学习公开课的第⼆节，看到了推导过程。
）1.前置结论###1. trAB=trBA2. trABC=trBCA=trCAB3. ∇A trAB=B T4. trA=trA T5. tra=a6)∇A trABA T C=CAB+C T AB Ttr代表矩阵的迹，⼤写字母为矩阵⼩写字母表⽰实数，∇表⽰求导。
2.公式推导###作差[]Ax−b=a T1x−b1⋮a T m−b m构建最⼩⼆乘\begin{equation}\begin{split}\frac{1}{2}(Ax-b)^T(Ax-b) = \frac{1}{2}\sum_{i=1}m(a_i Tx-b_i)^2\end{split}\end{equation}对x求导\begin{equation}\begin{split}\nabla_x \frac{1}{2}(Ax-b)^T(Ax-b) = \nabla_x tr(x TA TAx-x TA Tb-b TAx+b Tb)\end{split}\end{equation}利⽤前置结论2)4)5)\begin{equation}\begin{split}\nabla_x \frac{1}{2}(Ax-b)^T(Ax-b) = \nabla_xtr[xx TA TA-\nabla_xb TAx-\nabla_xb TAx]\end{split}\end{equation}其中利⽤前置结论6)注：⼤括号下的A为前置结论中的A，⼤括号上的A为矩阵A。
解方程组的方法与步骤
解方程组的方法与步骤解方程组是数学中非常重要的一个概念，它涉及到了数学的基础知识和思维方法。
在实际应用中，解方程组有着广泛的应用，如物理、经济学、工程等领域。
本文将介绍解方程组的方法与步骤，帮助读者理解和掌握这一重要的数学技巧。
解方程组的方法主要有代入法、消元法和矩阵法。
其中，代入法是最基础的方法之一。
它的基本思想是将一个方程的解代入到另一个方程中，从而得到一个只包含一个未知数的方程。
通过反复代入，最终可以求解出所有未知数的值。
代入法适用于方程组中的某个方程较为简单，容易求解。
消元法是解方程组的另一种常用方法。
它的基本思想是通过变换方程组中的方程，使得方程组中的某个未知数的系数为0，从而简化方程组的求解过程。
消元法可以分为高斯消元法和高斯-约当消元法两种。
高斯消元法是通过逐行变换，将方程组化为阶梯形式，从而求解出未知数的值。
高斯-约当消元法是在高斯消元法的基础上，进一步将方程组化为行最简形式，从而得到方程组的解。
消元法适用于方程组中的各个方程都比较复杂，需要进行多次变换的情况。
矩阵法是解方程组的一种更为高级的方法。
它将方程组的系数矩阵和常数矩阵组合成增广矩阵，通过行变换将增广矩阵化为行最简形式，从而求解出未知数的值。
矩阵法适用于方程组较为复杂，未知数较多的情况。
矩阵法的优势在于它可以通过矩阵的性质和运算规则，简化方程组的求解过程，提高求解效率。
在实际应用中，解方程组的步骤一般包括以下几个方面。
首先，确定方程组的类型，即确定方程的个数和未知数的个数。
根据方程组的类型，选择合适的解法。
其次，对于代入法，选择一个方程，将其中一个未知数表示为其他未知数的函数，然后代入到其他方程中求解。
对于消元法，通过变换方程组中的方程，使得方程组化为简化形式。
对于矩阵法，将方程组的系数矩阵和常数矩阵组合成增广矩阵，通过行变换将增广矩阵化为行最简形式。
最后，根据方程组的形式，求解出未知数的值。
解方程组的过程中，需要注意一些常见的问题和技巧。
超定方程组的最小二乘解原理
超定方程组，又称为过定方程组，是线性代数中的一个概念。
当方程组的未知数数量少于方程数量时，该方程组就被称为超定方程组。
由于超定方程组通常没有精确解，我们常常会寻求一个近似解，使得所有方程的残差平方和最小。
这就是最小二乘解的原理。
一、最小二乘解的基本概念最小二乘法是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、超定方程组的性质对于超定方程组，由于方程数量多于未知数数量，因此通常不存在一个解能够使得所有方程同时成立。
这种情况下，我们需要寻找一个近似解，即一个解，使得所有方程的残差（即方程的实际值与解代入方程后得到的计算值之间的差）的平方和最小。
三、最小二乘解的原理最小二乘解的原理就是基于上述思想，通过最小化残差平方和来寻找超定方程组的近似解。
具体步骤如下：构建残差平方和函数：首先，我们需要构建一个表示残差平方和的函数。
假设超定方程组有(m) 个方程，(n) 个未知数（(m > n)），未知数的向量记作(\mathbf{x} = (x_1, x_2, \ldots, x_n)^T)，方程组的系数矩阵记作(\mathbf{A} = (a_{ij})_{m \times n})，常数项向量记作(\mathbf{b} = (b_1, b_2, \ldots, b_m)^T)。
那么，残差向量可以表示为(\mathbf{r} = \mathbf{A}\mathbf{x} - \mathbf{b})，残差平方和函数可以写为(S(\mathbf{x}) = \mathbf{r}^T\mathbf{r} = (\mathbf{A}\mathbf{x} - \mathbf{b})^T(\mathbf{A}\mathbf{x} - \mathbf{b}))。
求超越方程的解
先举一例，解方程"x^2+100*x+99=0"在matlab ”Command Window"中输入如下命令：x=solve('x^2+100*x+99=0','x')首先来求一个二元一次方程组9x+8y=10 式113x+14y=12 式2我们一般的解法是代入法，或者加减消去法。
比较繁琐。
这里我们只需输入如下命令即可求出解：[x,y]=solve('9*x+8*y=10','13*x+14*y=12','x','y')普通的代数方程用fzero函数或者solve函数就行了：用fzero函数：fzero('(x+0.025)/1.1*exp(x/0.025)-exp(1.1/0.025)',0)ans =1.0995用solve函数：solve('(x+0.025)/1.1*exp(x/0.025)=exp(1.1/0.025)')2009b在matlad里直接输入mupad 回车，就调出了mupad。
要是直接在matlab中引用，用下面的语句试一下：v=evalin(symengine,'numeric::solve(exp(1.1/0.025)=((x+0.025)/1.1)*exp(x/0.025))')v ={}我简单验证了一下，结果是对的。
但是为什么在mupad中解出来无解我很矛盾：因为这个就是调用mupad的。
现在在外面，手上没有MATLAB软件，试试看哈syms xeq=*exp(x/0.025)-exp(1.1/0.025);s=solve(eq)解符号方程方程。
这类方程除极少数情形（如简单的三角方程）外，只能近似地方程的数值解法也适用于代数方程。
解法或者根据ƒ(z)的解析性质来确定。
当ƒ(x)为实函数时，确定方程实根的分布的最常用方法是应用连续函数的中值定理：如果实的连续函数ƒ(x)在区间【α,b】的两个端点的值异号,则ƒ(x)在此区间内至少有一个根。
正定超定适定方程求解
正定超定适定方程求解正定超定适定方程是指一个方程组中包含的未知数个数大于等于方程组中的方程个数，而且方程组的系数矩阵是正定的。
在这种情况下，我们可以通过最小二乘法求解这个方程组，得到一个近似解。
假设我们有一个超定方程组Ax=b，其中A是一个m×n的矩阵，b 是一个m维的列向量，n>m。
我们需要找到一个向量x，使得Ax尽可能地接近b。
为了求解这个问题，我们可以构造一个目标函数，定义为目标向量x与方程组Ax-b的残差向量之间的欧几里得距离的平方和。
即：J(x) = ∥Ax-b∥²我们的目标是找到一个使得J(x)最小化的x，即最小化残差向量的平方和。
为了求解这个最小化问题，我们可以使用最小二乘法。
最小二乘法的核心思想是将目标函数关于待求解向量x的每一个分量求导，并令导数等于零，得到一个关于x的线性方程组。
这个线性方程组的解即为我们所要求的最小二乘解。
具体的步骤如下：1.计算矩阵A的转置矩阵AT。
2.将目标函数关于向量x的每一个分量求导，得到一个关于x的线性方程组：AT(Ax-b) = 0。
3.解这个线性方程组，得到向量x的近似解。
在实际求解过程中，我们通常使用QR分解来求解这个线性方程组。
QR分解将矩阵A分解为一个正交矩阵Q和一个上三角矩阵R的乘积，即A=QR。
然后，我们可以将线性方程组AT(Ax-b)=0代入QR分解中得到QTRx=QTB，再将R转置与R相乘得到RTRx=RTR，这个方程组的解即为我们所要求的最小二乘解。
需要注意的是，由于矩阵A是正定的，所以QR分解一定存在，且矩阵R是满秩的。
因此，我们可以通过求解这个方程组得到唯一的最小二乘解。
我们可以将求解得到的最小二乘解代入原方程组，得到近似解，检验解的准确性。
综上所述，正定超定适定方程可以通过最小二乘法求解。
最小二乘法是一种数值计算方法，可以用来求解方程组中的近似解。
在应用中，我们可以使用数值计算软件或编程语言来实现最小二乘法的求解过程。
最小二乘法解超定方程组
1. 最小二乘法解超静定方程组（1.《数值分析》，闵涛，秦新强，赵凤群编，P68页，例3-5） （2.《无网格法》，张雄，刘岩著，P10~11页）1.1 理论知识如果配点数(方程数)r 大于试函数中的项n (未知量个数)，将导致超定方程组：Gu =P(1)其中系数矩阵G 为r ×n 阶矩阵，P 为r 阶列阵。
方法一：利用最小二乘法求解，即令(1)中每个方程的误差的平方和最小：[][]0∂--=∂T Gu P Gu P u (2)方法二：或Ku =f (3)其中T T K =G G,f =G P (4)1.2 算例例3.5 利用最小二乘法解下列超定方程组1231231231232312521352x x x x x x x x x x x x ++=⎧⎪+-=-⎪⎨++=⎪⎪-+=-⎩ (5)方法一：利用最小二乘法求解其中系数矩阵G 为4×3阶矩阵，P 为4阶列阵。
43111131252315⨯⎡⎤⎢⎥-⎢⎥=⎢⎥⎢⎥-⎣⎦G (6)[]412112T⨯=--P(7)31123[,,]T x x x ⨯=u(8)1231123212331234331414121112311311252125213523152x x x x x x x x x x x x x x x ⨯⨯⨯⨯++-⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥+-+--⎢⎥⎢⎥⎢⎥⎢⎥-=-=⎢⎥⎢⎥⎢⎥⎢⎥++-⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦-++--⎣⎦⎣⎦⎣⎦Gu P(9)[]1231231231231231231231232222123123123123[]]2312,3125213522521352(2)(31)(2521)(352)x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x =--++-⎡⎤⎢⎥+-+⎢⎥=++-+-+++--++⎢⎥++-⎢⎥-++⎣⎦=++-++-++++-+-++T I Gu P Gu P (10)[][]0,∂--=∂T Gu P Gu P u(11)由于123[,,]T x x x =u 即分别对x 1，x 2，x 3球偏导，得到12312311231231232(2)2(31)22(2521)23(352)2(1511193)Ix x x x x x x x x x x x x x x x ∂=++-++-+∂+⨯⨯+-+⨯⨯-++=+++(12)同理可得12322(113636)Ix x x x ∂=++-∂ (13)12332(193315)Ix x x x ∂=+++∂ (14)令偏导数等于零1231123212332(1511193)02(113636)02(193315)0Ix x x x Ix x x x Ix x x x ⎧∂=+++=⎪∂⎪⎪∂=++-=⎨∂⎪⎪∂=+++=⎪∂⎩ (15)法方程组为：1231511193113636193315x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎣⎦(16)解此方程组得最小二乘解:x 1= -1.5917 x 2= 0.5899 x 3=0.7572方法二：或3443331111123151119131135111363252112519331315⨯⨯⨯⎡⎤⎡⎤⎡⎤⎢⎥-⎢⎥⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦-⎣⎦T K =G G(17)3441312112331135161112552⨯⨯⨯⎡⎤-⎡⎤⎡⎤⎢⎥-⎢⎥⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥--⎢⎥⎣⎦⎣⎦-⎣⎦T G P(18)法方程组为1231511193113636193315x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎣⎦(19)解得x 1= -1.5917 x 2= 0.5899 x 3=0.7572。
数值线性代数课程设计—超定方程组的求解
数值线性代数课程设计—超定⽅程组的求解《数值线性代数课程设计》专业：信息与计算科学班级： 13405011学号： 1340501123姓名：邢耀光实验⽇期： 2016.05.09报告⽇期： 2015.05.13实验地点：数理学院五楼机房超定⽅程组的求解邢耀光（班级：13405011 学号1340501123）摘要：在实验数据处理和曲线拟合问题中，求解超定⽅程组⾮常普遍。
⽐较常⽤的⽅法是最⼩⼆乘法。
形象的说，就是在⽆法完全满⾜给定条件的情况下，求⼀个最接近的解。
最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。
它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。
利⽤最⼩⼆乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。
关键字：最⼩⼆乘问题，残量，超定⽅程组，正则化⽅程组，Cholesky 分解定理。
正⽂：最⼩⼆乘法的背景：最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。
它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。
利⽤最⼩⼆乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。
最⼩⼆乘法还可⽤于曲线拟合。
其他⼀些优化问题也可通过最⼩化能量或最⼤化熵⽤最⼩⼆乘法来表达。
最⼩⼆乘法经常运⽤在交通运输学中。
交通发⽣预测的⽬的是建⽴分区产⽣的交通量与分区⼟地利⽤、社会经济特征等变量之间的定量关系，推算规划年各分区所产⽣的交通量。
因为⼀次出⾏有两个端点，所以我们要分别分析⼀个区⽣成的交通和吸引的交通。
最⼩⼆乘问题：最⼩⼆乘问题多产⽣于数据拟合问题。
例如，假定给出m 个点1,...,m t t 和这m 个点上的实验或观测数据1,...,my y ，并假定给出在i t 上取值的n 个已知函数1(),...,()n t t ψψ。
考虑i ψ的线性组合1122(;)()()...()n n f x t x t x t x t ψψψ=+++ ，（1）我们希望在1,...,m t t 点上(;)f x t 能最佳的逼近1,...,m y y 这些数据。
求解超定线性方程组及其相关问题的神经网络算法_任传波
1996年7月Journal of Dalian University of TechnologyJul .1996收稿日期:1996-02-01;修订日期:1996-05-16任传波:男,1964年生,博士生求解超定线性方程组及其相关问题的神经网络算法任传波 于万明 云大真(大连理工大学工程力学系 116024)摘要 探讨了用神经网络求解超定线性方程组及其相关问题的可能性,并给出了求解的Hebb 算法.最后,求解了四个数值例子,获得了较为满意的结果.实例证明,对于用某些迭代法不能求解的线性方程组问题,本方法都能得到其收敛解.关键词:超定方程组;线性方程;神经网络/Hebb 算法分类号:O 242;O 142.2神经网络现在已成为国际上十分活跃的研究领域.它被广泛地应用于控制系统、识别系统、天气预报、图象处理等诸多领域,并获得了极大的成功,显示出非凡的活力.但是,神经网络在求解超定线性代数方程组及其相关问题方面的工作还不多见,作者在这方面进行了尝试,得到了较为满意的结果.神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统是靠其状态对外部的输入响应来处理信息的.Hebb 算法是神经网络算法中最具有代表性的一种算法,可简单描述如下:如果一个处理单元从另一处理单元接收输入激励信号,而且两者均处于高激励状态,那么处理单元间权值应当增强.这一点将为本文的算法提供一个理论基础.按数学表示,其加权的改变为x ij (n +1)=x i j (n )+Z y i y j(1)其中:x ij (n +1)、x ij (n )分别为第n +1和第n 次调整前后从结点i 到结点j 的连接权值;Z 为训练速率系数,一般取Z ∈(0,1);y i 为结点i 的输出,并输入到结点j ;y j 为结点j 的输出.1 超定线性方程组的Hebb 算法1.1 超定线性方程组与神经网络在数学表达上的相似性设有一超定线性方程组如下:a 11x 1+a 12x 2+…+a 1k x k =T 1a 21x 1+a 22x 2+…+a 2k x k =T 2……a m 1x 1+a m 2x 2+…+a mk x k =T m m ≥k (2)式(2)可进一步改写成∑kj =1ai jx j =T i ; i =1,2,…,m (3)当m =k 时,式(2)就成为一般的线性代数方程组;下面的讨论同时也适应一般的线性代数方程组.为了把超定线性方程组和神经网络联系起来,本文研究具有一个输出结点的单层前馈神图1 单层前馈神经网络拓扑结构经网络的拓扑结构(如图1所示)和它的输入、输出之间数学关系.假设输入向量为A i =(a i 1,a i 2,…,a ik );输出为y i ;相应的权向量X =(x 1,x 2,…,x k )T .显然,其输入的加权和为s i =a i 1x 1+a i 2x 2+…+a ik x k =∑kj =1aijx j (4)其输出y i 应为y i =F (s i -θ)=F∑kj =1aijx j -θ(5)式中:F (s i -θ)为输出结点的转移函数,它可以是符号函数、线性函数和非线性函数;θ为门限值.假如取θ=0,F (s i )=s i ,则式(5)变为y i =∑kj =1aijx j (6)比较式(3)、(6)可以看出,这两式在数学表达上是完全相似的,系数向量与输入向量A i 相同.因此可以用神经网络训练算法来求解线性方程组(2).在方程组(2)中,系数向量A i =(a i 1,a i 2,…,a ik )与数值T i 可以看作是神经网络中输入和输出的训练对,这样的训练对数目就是方程组中方程的个数.通过这些训练对,可反复进行训练,直到权向量(即方程组的解)X =(x 1,x 2,…,x k )T 满足理想输出T i 为止.1.2 算法实现算法的基本思路是,将输入加到网络上(见图1),对每个输入向量计算其输出y i .如果实际输出y i 就是要求的理想输出T i ,则保持权值不变;如果y i ≠T i ,则按Hebb 规则修改权值x j ,即加权的修正量正比于该加权对应的输入和输出的乘积.据此可导出算法的关系式〔1、2〕x j (n +1)=x j (n )+Δx jΔx j =Z W ij T ij i ,j =1,2,…,k (7)式中:Z 为训练速率系数,一般取Z ∈(0,1);W ij =T i -y i .其算法步骤如下:(1)将所有加权值随机地置于较小的数(均匀随机分布数);(2)加入一个输入,即A i =(a i 1,a i 2,…,a ik ),计算输入加权和s i =∑kj =1aijx j ;(3)计算输出y i =F (s i )=s i ;(4)计算输出误差W ij =T i -y i ;(5)调节各权值x j (n +1)=x j (n )+Z W ij a ij ;(6)计算权值误差X j =|x j (n +1)-x j (n )|;420大连理工大学学报 第36卷 如果X j <X (j =1,2,…,k ),停机;否则,回到(2).在这里有两点需要说明:(a)用Hebb 算法求解超定线性代数方程组与一般的神经网络问题有些不同〔1、2〕.在这里,训练对及其个数是确定的,由方程组的结构所决定;必须取转移函数F (x )=x ,门限值θ=0.(b )Z 的取值对算法的收敛速度是非常重要的.收敛速度随Z 值的增加而加快〔1、3〕,但Z 值取得太大,不收敛;取得太小,收敛速度太慢.因此本文把Z 值在计算开始时取得较大,随权值调整次数的增加而减小,即取Z =A 1/(n +A 2)(9)式中:A 1和A 2为常数,并且A 1<A 2.n 为权值的调整次数,在程序运行过程中为一变量.n =1,2,…,N ;其中N 为收敛时权值的调整次数.2 数值算例为了验证算法在求解超定线性方程组及一般线性方程组方面的可行性,本文给出下面几个算例.例1 给一超定线性方程组为1112231-12411Tx 1x 2=〔3 1 7 11.1 6.9 7.2〕T(10)按上述算法求得的解如表1所示.在这里式(9)中的A 1=300,A 2=450,N =441.表1 例1的解值方 法x 1x 2本 文 法 2.03674 1.80266最小二乘法2.074111.80780表2 例2给定的数据表12345x i 00.2500.5000.750 1.000y i1.0001.2841.6492.1172.718 例2 给定表2所示数据,要求用二次多项式y =b 0+b 1x +b 2x 2拟合,问题化为求解超定线性方程组的拟解.用本文法求得的解为y = 1.00538+0.86161x +0.84658x 2(11)在这里式(9)中的A 1=300,A 2=855,N =987.用最小二乘法求得的解为y = 1.0052+0.8641x +0.8437x 2(12)通过与最小二乘法的结果比较可以看出本算法的解还是比较可靠的.例3 在本例中,取式(9)中的A 1=30,A 2=405,这时计算方程组(13)的N =17,方程组(14)的N =246.用本文算法求解的结果如表3所示;从表中可以看出,方程组(13)的解几乎等于精确解.为了进行比较,表3同时还给出了方程组(14)的高斯消去法和高斯列主元消去法的结果;本方法比这两种方法的精度都高.(13)421 第4期 任传波等:求解超定线性方程组及其相关问题的神经网络算法0.001 2.000 3.000- 1.000 3.7214.623- 2.0001.0725.643x 1x 2x 3= 1.0002.0003.000(14)表3 本文解与其他解的比较方 程 组 (13)x 1x 2x 3x 4方 程 组 (14)x 1x 2x 3精 确 解-1.00000- 1.00000-1.00000-1.00000-0.49040-0.051040.36750本文算法-0.99999-0.99999-0.99999-0.99999-0.49039-0.051040.36752高斯消去法-----0.40000-0.049800.40000列主元素法-----0.49000-0.051130.36780 例4 在本例中有两个方程组(15)和(16).其中(15)用高斯-赛德尔迭代法收敛,而用雅可比迭代法不收敛;(16)用高斯-赛德尔迭代法不收敛,而用雅可比迭代法收敛.对这两个方程组,用本文算法进行了求解,均收敛,并且精度还较高.在这里均取式(9)中的A 1=30,A 2=405.这时计算方程组(15)的N =307,方程组(16)的N =189.式(15)的解为:X =(x 1,x 2,x 3)T =(-0.1351,- 1.0809, 3.9187)T ;式(16)的解为:X =(x 1,x 2,x 3)T =(- 2.9995,2.9996,0.99851)T1.00.40.40.4 1.00.80.40.8 1.0x 1x 2x 3=123(15)12-2111221x 1x 2x 3=111(16) 针对上述算例,检验了算法的收敛性,给出了式(9)中A 1、A 2与N 对应关系的两种情况.表4为超定线性方程组的情况;表5为一般线性方程组的情况(在两表中三、四列为N 的值).这时训练速度系数Z 在计算过程中是变化的;由A 1、A 2及n 决定.从表中可以看出随着A 1与A 2比值的增加,在保证收敛的情况下,收敛速度是增加的.基于目前神经网络研究的水平,还没有正确地确定Z 的理论根据,这也是神经网络界正在进一步研究的课题〔1、3〕,本文只是根据经验和反复的数据试验给出了确定Z 值的一种方法.表4 超定时的NA 1A 2例1例2300450441不收敛3008551036987表5 一般时的NA 1A 2方程组(13)方程组(14)30255不收敛17930405172463 结束语(1)本文用神经网络算法对超定线性代数方程组和一般的线性代数方程组进行了求解;算法简单、易行.对一般的线性代数方程组来讲,只要存在解,且A 1和A 2取得合理,就一定能够得到收敛解,并且精度较高;这是迭代法所不能的.422大连理工大学学报 第36卷 (2)本算法的特点主要是对权值进行调整,它是决定收敛速度的关键.为了使收敛速度加快,对权值调整策略的进一步研究,将是一项很有意义的课题.参 考 文 献1 周继成.人工神经网络.北京:科学普及出版社,1993.2 李庆扬.数值分析.武汉:华中工学院出版社,1982.3 Yu Xia ohu.Dy na mic lea rning r ate optimiza tio n o f th e backpro pag atio n a lg orithm.IEEE Trans on Neural Networks ,1995,6(3):669～677Algorithm of neural network for solving overdetermined systems of linear equations and related problemsRen Chuanbo ,Yu Wanming,Yun Dazhen(Dept .o f Eng ineering M echa nics ,DU T )Abstract The possibility to solve ov er -determined sy stems of linea r equatio ns by usingneural netw o rks is discussed,and the Hebb algo rithm is giv en.Finally ,four num erical ex-am ples are solv ed and the results are satisfactory.The exam ples show:fo r system s o f linea r equatio ns that ca n 't be so lv ed with som e itera ted metho ds ,the conv ergent so lution o f them can be g o tten with the metho d pro posed.Key Words :ov er-determined sy stems;linear equations;neural netw o rks /the Hebb al-go rithm423 第4期 任传波等:求解超定线性方程组及其相关问题的神经网络算法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2x1 4x2 11.0478 3x1 5x2 2.9119
x1 2x2 5.5239
b1 b2 b3
解得最小二乘解为
x1 x2
3.0403 1.2418
2x1 x2 7.3224 b4
m
n
m
故误差平方和为 I r 2 2
数学学院 信息与计算科学系
nm
m
即有 ( aij aik )xk aij bi ( j 1,2,..., n)
k 1 i1
i 1
此线性方程组写成矩阵形式就是
AT Ax AT b
故x*是 ATAx=ATb 的解.
定理得证.
这里 ATAx=ATb 是关于x1,x2, …,xn的线性 方程组，称为正规方程组或法方程组.
数学学院 信息与计算科学系
解的存在唯一性
由于ATA是n 阶方阵，且是对称阵，当R(A)=n 时， 对任意 y≠0，有Ay≠0 ，所以
yT ( AT A) y ( Ay, Ay) Ay 2 0 2
可见ATA是正定矩阵，必有det(ATA)>0。故法方程
AT Ax AT b
的解存在且唯一.
2 2 yT AT (b Ax* )
2
Ay
2 2
b Ax*
2
Ay 2
b Ax*
2
2
2
2
所以x*是Ax=b 的最小二乘解.
数学学院 信息与计算科学系
必要性 误差向量r=b-Ax 的第 i 个分量为
n
ri bi aik xk (i 1,2,..., m),
k 1
1 2
2 1
3 1
5 2
x1 x2
2 4
3 5
1 2
12
3 6
2 1
7
数学学院 信息与计算科学系
即有
此时有
18
3
3
46
x1
x2
51 48
任取一n维向量 x x, 令 y x x , 则y≠0, 且
b Ax 2 b Ax* Ay 2
2
2
(b Ax* Ay, b Ax* Ay)
(b Ax*, b Ax* ) 2( Ay, b Ax* ) ( Ay, Ay)
b Ax*
(bi
aik xk )2
(bi bi )2
i 1
k 1
i 1
I (11 11.0478)2 (3 2.9119)2 (6 5.5239)2 (7 7.3224)2
0.34065942
x2
3 6 7
b
数学学院 信息与计算科学系
2 4
11
3 1
5 2
x1 x2
3 6
2 1
7
正规方程组为 ATAx=ATb，即
2 4
11
2 43 5Biblioteka 数学学院 信息与计算科学系
第二节 超定方程组的最小二乘解
设方程组Ax=b中, A=(aij)mn, b是m 维已知向量, x是n 维解向量,当 m>n 即方程组中方程的个数多于 自变量的个数, 称此方程组为超定方程组.
例如
就是一个超定方程组
数学学院 信息与计算科学系
一般说来，超定方程组无解（此时为矛盾方程
数学学院 信息与计算科学系
2 x1 4 x2 11
例1 求超定方程组
3 x1 5 x2 x1 2 x2
3 6
2 x1 x2 7
的最小二乘解，并求误差平方和.
解 方程组写成矩阵形式为
2 4
11
Ax
3 5
1 2
2
1
x1
m
n
记
I
I( x1, x2 ,..., xn )
r
2 2
(bi
aik xk )2
i 1
k 1
误差最小，由多元函数求极值的必要条件，可得
I
x j
m
n
2 (bi aik xk )aij
i 1
k 1
0
( j 1,2,..., n)
设解为 x ( x1 , x2 , ..., xn )T
组），这时需要寻找方程组的一个“最近似”的解.
定义
记误差向量 r=b-Ax, 称使
r
2
最小的解x*
2
为方程组Ax=b 的最小二乘解.
定理 x*是 Ax=b的最小二乘解的充要条件为x* 是 ATAx=ATb 的解.
数学学院 信息与计算科学系
定理 x*是 Ax=b的最小二乘解的充要条件为x*
是 ATAx=ATb 的解. 证 充分性 若存在 n维向量 x* 使ATAx*=ATb,