最小二乘法
统计学中的最小二乘法原理解读
统计学中的最小二乘法原理解读统计学是一门研究收集、分析、解释和呈现数据的学科。
在统计学中，最小二乘法是一种常用的数据分析方法，用于找到最佳拟合曲线或平面，以最小化观测数据与拟合值之间的差异。
本文将对最小二乘法的原理进行解读。
一、最小二乘法的基本原理最小二乘法的基本原理是通过最小化残差平方和来确定最佳拟合曲线或平面。
残差是观测数据与拟合值之间的差异，残差平方和是所有残差平方的总和。
最小二乘法的目标是找到使残差平方和最小的参数值。
二、最小二乘法的应用最小二乘法广泛应用于各个领域，包括经济学、物理学、工程学等。
在经济学中，最小二乘法常用于估计经济模型中的参数。
在物理学中，最小二乘法常用于拟合实验数据，以找到最佳的理论曲线。
在工程学中，最小二乘法常用于回归分析，以预测和解释变量之间的关系。
三、最小二乘法的步骤最小二乘法的步骤包括建立数学模型、计算残差、计算残差平方和、求解最小化残差平方和的参数值。
首先，需要根据实际问题建立数学模型，选择适当的函数形式。
然后，通过将观测数据代入数学模型，计算出拟合值。
接下来，计算每个观测数据与拟合值之间的差异，得到残差。
然后，将每个残差平方求和，得到残差平方和。
最后，通过求解残差平方和最小化的参数值，得到最佳拟合曲线或平面。
四、最小二乘法的优缺点最小二乘法具有以下优点：1. 简单易懂：最小二乘法的原理和步骤相对简单，容易理解和实施。
2. 有效性：最小二乘法可以得到最佳拟合曲线或平面，能够较好地描述观测数据。
3. 适用性广泛：最小二乘法适用于各种类型的数据分析问题，具有广泛的应用领域。
然而，最小二乘法也存在一些缺点：1. 对异常值敏感：最小二乘法对异常值较为敏感，异常值可能会对拟合结果产生较大影响。
2. 对数据分布要求高：最小二乘法要求数据满足正态分布或近似正态分布，否则可能导致拟合结果不准确。
3. 无法处理非线性关系：最小二乘法只适用于线性关系的数据分析，对于非线性关系需要进行适当的转换或采用其他方法。
最小二乘法
最小二乘法设（x 1, y 1 ), (x 2, y 2), …, (x n, y n)是直角平面坐标系下给出的一组数据，若x 1<x 2<…<x n,我们也可以把这组数据看作是一个离散的函数。
根据观察，如果这组数据图象“很象”一条直线（不是直线），我们的问题是确定一条直线y = bx +a ,使得它能"最好"的反映出这组数据的变化。
最小二乘法是处理各种观测数据进行测量平差的一种基本方法。
如果以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。
因此称最小二乘法。
所谓“权”就是表示观测结果质量相对可靠程度的一种权衡值。
法国数学家勒让德于1806年首次发表最小二乘理论。
事实上，德国的高斯于1794年已经应用这一理论推算了谷神星的轨道，但迟至1809年才正式发表。
此后他又提出平差三角网的理论，拟定了解法方程式的方法等。
为利用最小二乘法测量平差奠定了基础。
最小二乘法也是数理统计中一种常用的方法，在工业技术和其他科学研究中有广泛应用。
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)其中：a0、a1 是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计= a0+a1X)的离差(Yi-Y计)的平方和｀〔∑(Yi - Y计)2〕最小为“优化判据”。
令: φ = ∑(Yi - Y计)2 (式1-2)把(式1-1)代入(式1-2)中得:φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)当∑(Yi-Y计)平方最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。
最小二乘法的推导
最小二乘法的推导最小二乘法是统计学中一种常用的数据拟合方法，它是将待拟合函数的拟合优度衡量为误差平方和最小化的问题，属于最优化策略。
它可以用来拟合非线性模型，使得得到的模型拟合更加精确。
一、最小二乘法概念最小二乘法是一种数据拟合方法，它是将待拟合函数的拟合优度衡量为误差平方和最小化的问题，属于最优化策略。
最小二乘法的主要思想是，对给定的一组观测值，在满足某种条件下，这组观测值可以用一个或几个理论模型来描述，从而使拟合模型尽可能逼近实际观测值，达到拟合精度最高的目的。
二、最小二乘法推导考虑一个最小二乘问题，我们希望拟合一组数据，它们的点坐标可以用一个关于d个未知参数（p1，p2，p3，…，pd）的多项式表示，即：F(x，p1，p2，p3，…，pd)将多项式中的参数（p1，p2，p3，…，pd）的值求出，就可以对已知数据进行拟合。
最小二乘法表示形式：要使拟合模型参数值与所拟合数据做到最拟合，就要将拟合模型和实际数据的差值最小化，也就是求出多项式中的参数的值，使得误差平方和最小根据最小二乘法的优化性质，我们可以写出最小二乘优化问题的形式将误差平方和最小化的条件写出来就为：S=（f(x1，p1，…，pd)-y1）^2＋（f(x2，p1，…，pd)-y2）^2＋…＋（f(xn，p1，…，pd)-yn）^2最小二乘问题表示为：min{S(p1，p2，…，pd)}其中p1，p2，…，pd是未知参数，我们要求这些参数值使得S 最小。
为了求得最小二乘拟合参数和进行形式转换，我们对S求偏导：S/pi=2*(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi 当S/pi=0时，即有(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi=0 于是，我们将最小二乘拟合参数pi的表达式改写为：pi=(A-1)*B其中A=∑(f(xi，p1，…，pd)/pi)^2，B=∑(f(xi，p1，…，pd)-yi)*f(xi，p1，…，pd)/pi根据最小二乘法，我们就可以求得最小二乘拟合参数pi的值了。
最小二乘法知识
最小二乘法知识最小二乘法是一种最优化方法，经常用于拟合数据和解决回归问题。
它的目标是通过调整模型参数，使得模型的预测值与观测值之间的差异最小。
最小二乘法的核心思想是最小化误差的平方和。
对于给定的数据集，假设有一个线性模型y = β₀ + β₁x₁ + β₂x₂ + ... +βₙxₙ，其中β₀, β₁, β₂, ... , βₙ 是需要求解的未知参数，x₁, x₂, ... , xₙ 是自变量，y 是因变量。
那么对于每个样本点 (xᵢ, yᵢ)，可以计算其预测值ŷᵢ = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ，然后计算预测值与实际值之间的差异 eᵢ = yᵢ - ŷᵢ。
最小二乘法的目标是使得误差的平方和最小化，即最小化目标函数 E = ∑(yᵢ - ŷᵢ)²。
对于简单的线性回归问题，即只有一个自变量的情况下，最小二乘法可以通过解析方法求解参数的闭合解。
我们可以通过求偏导数，令目标函数对参数的偏导数等于零，求解出参数的最优解。
然而，对于复杂的非线性回归问题，解析方法通常不可行。
在实际应用中，最小二乘法通常使用迭代方法进行求解。
一种常用的迭代方法是梯度下降法。
梯度下降法通过反复进行参数更新的方式逐步降低目标函数的值，直到收敛到最优解。
具体而言，梯度下降法首先随机初始化参数的值，然后计算目标函数对于每个参数的偏导数，根据偏导数的方向更新参数的值。
迭代更新的过程可以通过下式表示：βₙ = βₙ - α(∂E/∂βₙ)其中，α 是学习率参数，控制每次更新参数的步长。
学习率需要适当选择，过小会导致收敛过慢，过大会导致震荡甚至不收敛。
最小二乘法除了可以用于线性回归问题，还可以用于其他类型的回归问题，比如多项式回归。
在多项式回归中，我们可以通过增加高次项来拟合非线性关系。
同样地，最小二乘法可以通过调整多项式的系数来使得拟合曲线与实际数据更加接近。
除了回归问题，最小二乘法还可以应用于其他领域，比如数据压缩、信号处理和统计建模等。
最小二乘法实现公式
最小二乘法实现公式最小二乘法是一种常用的回归分析方法，用于估计线性模型中的参数。
它通过最小化观测值与预测值之间的误差平方和，来确定最优的参数估计值。
下面将详细介绍最小二乘法的原理和应用。
一、最小二乘法原理最小二乘法的基本思想是，通过找到一条线（或曲线），使得该线与观测数据点之间的误差最小化。
具体来说，对于一个线性模型 y = β0 + β1x + ε，其中 y 是因变量，x 是自变量，β0 和β1 是待估计的参数，ε 是误差项。
最小二乘法的目标是找到最优的参数估计值β0* 和β1*，使得观测值与预测值之间的误差平方和最小化。
为了实现最小二乘法，需要定义一个衡量误差的函数，通常选择误差的平方和作为目标函数。
即最小化目标函数：min Σ(yi - (β0 + β1xi))^2通过对目标函数求导，可以得到参数估计值的解析解。
令目标函数的导数等于零，可以得到以下两个方程：Σyi - nβ0 - β1Σxi = 0Σxiyi - β0Σxi - β1Σxi^2 = 0解这个方程组，可以求得最优的参数估计值β0* 和β1*。
最小二乘法的核心思想就是通过最小化误差平方和来确定最优的参数估计值。
二、最小二乘法的应用最小二乘法广泛应用于各个领域的回归分析中。
下面将介绍最小二乘法在经济学、统计学和工程学中的应用。
1. 经济学中的应用最小二乘法在经济学中被广泛应用于建立经济模型和估计经济参数。
经济学家可以利用最小二乘法来估计需求函数、供给函数和生产函数等。
通过回归分析，经济学家可以研究各种经济变量之间的关系，并对经济现象进行解释和预测。
2. 统计学中的应用最小二乘法是统计学中最常用的参数估计方法之一。
通过最小二乘法，统计学家可以估计线性回归模型中的参数，并进行统计推断。
最小二乘法还可以用于解决多重共线性、异方差性和自相关等统计问题。
3. 工程学中的应用最小二乘法在工程学中有着广泛的应用。
例如，在信号处理中，最小二乘法可以用于信号滤波和信号重构。
最小二乘方法
最小二乘方法：原理、应用与实现一、引言最小二乘方法是数学优化中的一种重要技术，广泛应用于各种实际问题中。
它的基本原理是通过最小化误差的平方和来估计未知参数，从而实现数据拟合、线性回归等目标。
本文将对最小二乘方法的原理、应用与实现进行详细介绍，并探讨其在实际问题中的应用。
二、最小二乘方法的原理最小二乘方法的基本原理可以概括为：对于一组观测数据，通过最小化误差的平方和来估计未知参数。
具体而言，设我们有一组观测数据{(xi, yi)}，其中xi是自变量，yi是因变量。
我们希望找到一个函数f(x)，使得f(xi)与yi之间的差距尽可能小。
为了量化这种差距，我们采用误差的平方和作为目标函数，即：J = Σ(f(xi) - yi)²我们的目标是找到一组参数，使得J达到最小值。
这样的问题称为最小二乘问题。
在实际应用中，我们通常采用线性函数作为拟合函数，即：f(x) = a + bx其中a和b是待估计的参数。
此时，最小二乘问题转化为求解a 和b的问题。
通过求解目标函数J关于a和b的偏导数，并令其为零，我们可以得到a和b的最优解。
这种方法称为最小二乘法。
三、最小二乘方法的应用数据拟合：最小二乘方法在数据拟合中有广泛应用。
例如，在物理实验中，我们经常需要通过一组观测数据来估计某个物理量的值。
通过采用最小二乘方法，我们可以找到一条最佳拟合曲线，从而得到物理量的估计值。
这种方法在化学、生物学、医学等领域也有广泛应用。
线性回归：线性回归是一种用于预测因变量与自变量之间关系的统计方法。
在回归分析中，我们经常需要估计回归系数，即因变量与自变量之间的相关程度。
通过采用最小二乘方法，我们可以得到回归系数的最优估计值，从而建立回归方程。
这种方法在经济学、金融学、社会科学等领域有广泛应用。
图像处理：在图像处理中，最小二乘方法常用于图像恢复、图像去噪等问题。
例如，对于一幅受到噪声污染的图像，我们可以采用最小二乘方法对图像进行恢复，从而得到更清晰、更真实的图像。
最小二乘法分类
最小二乘法分类最小二乘法（Least Squares Method）是一种常用的参数估计方法，用于寻找一个函数模型的最佳拟合参数，使得模型的预测值与观测值的残差平方和最小化。
这种方法最早由高斯提出，并被广泛应用于统计学和计算机科学等领域。
本文将介绍最小二乘法的基本原理、应用场景以及相关的算法和评估指标。
一、基本原理：最小二乘法用于求解形如y = f(x;θ) 的函数模型的参数θ，其中y是观测值，x是自变量，f是函数模型。
最小二乘法的目标是找到最佳的参数θ，使得模型的预测值与实际观测值之间的残差平方和最小化。
具体步骤如下：1. 定义函数模型：根据具体问题，选择适当的函数模型，如线性模型、多项式模型、指数模型等。
2. 表达目标函数：根据函数模型和参数θ，将目标函数表达为关于θ的函数形式。
3. 定义损失函数：通常采用残差的平方和作为损失函数，即Loss = Σ(y_i - f(x_i;θ))^2 。
4. 求解参数θ：通过最小化损失函数，即求解使得∂Loss/∂θ = 0 的参数θ。
5. 参数估计：根据求解得到的参数θ，即可获得最佳的函数模型。
二、应用场景：最小二乘法在各个领域都有广泛的应用，以下是一些常见的应用场景：1. 线性回归：最小二乘法用于拟合线性回归模型，求解自变量与因变量之间的关系。
2. 特征选择：最小二乘法可用于特征选择，筛选对目标变量影响最大的特征。
3. 数据压缩：通过最小二乘法可以估计出一个低维子空间，将高维数据进行压缩。
4. 图像处理：最小二乘法可用于图像去噪、图像恢复等问题，如使用低秩矩阵模型对图像进行恢复。
5. 信号处理：最小二乘法可用于信号滤波、信号恢复等问题，如基于 DCT 的音频和图像压缩。
三、算法与评估指标：1. 最小二乘法的数值解：在实际应用中，最小二乘法的数值解可以通过各种数值优化算法来求解，包括梯度下降法、牛顿法、共轭梯度法等。
2. 算法评估指标：常用的评估指标包括残差平方和（Residual Sum of Squares, RSS）、均方误差（Mean Square Error, MSE）以及决定系数（Coefficient of Determination, R^2）等。
最小二乘法(least sqaure method)
最小二乘法（least sqauremethod）专栏文章汇总文章结构如下：1：最小二乘法的原理与要解决的问题2 ：最小二乘法的矩阵法解法3：最小二乘法的几何解释4：最小二乘法的局限性和适用场景5：案例python实现6：参考文献1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta_nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。
矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最小二乘法基本原理：成对等精度测得一组数据，试找出一条最佳的拟合曲线，使得这条曲线上的各点值与测量值的平方和在所有的曲线中最小。
我们用最小二乘法拟合三次多项式。
最小二乘法又称曲线拟合，所谓的“拟合”就是不要求曲线完全通过所有的数据点，只要求所得的曲线反映数据的基本趋势。
曲线的拟合几何解释：求一条曲线，使所有的数据均在离曲线的上下不远处。
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差i i i y x p r -=)((i=0,1,…,m)绝对值的最大值im i r ≤≤0max ，即误差 向量T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=mi ir 0，即误差向量r 的1—范数；三是误差平方和∑=mi ir02的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=mi i r 02来 度量误差i r (i=0，1，…，m)的整体大小。
数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即∑=m i ir 02=[]∑==-mi ii y x p 02min)(从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最小的曲线 )(x p y =（图6-1）。
函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。
在曲线拟合中，函数类Φ可有不同的选取方法.6—1二 多项式拟合假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一Φ∈=∑=nk k k n x a x p 0)(,使得[]min )(00202=⎪⎭⎫⎝⎛-=-=∑∑∑===mi mi n k i k i k i i n y x a y x p I (1)当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘拟合多项式。
特别地，当n=1时，称为线性拟合或直线拟合。
显然∑∑==-=m i nk i k ik y x a I 02)(为n a a a ,,10的多元函数，因此上述问题即为求),,(10n a a a I I =的极值 问题。
由多元函数求极值的必要条件，得n j x y x a a Im i j i nk i k i k j ,,1,0,0)(200 ==-=∂∂∑∑== (2) 即nj y x a xn k mi i j i k mi k j i,,1,0,)(000==∑∑∑===+ (3)（3）是关于n a a a ,,10的线性方程组，用矩阵表示为⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡+∑∑∑∑∑∑∑∑∑∑∑=====+==+====m i i n i m i i i m i i n mi n i m i n i m i n i mi n i m i i m i imi n i m i i y x y x y a a a x x x x x x x x m 000100201001020001 (4) 式（3）或式（4）称为正规方程组或法方程组。
可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。
从式（4）中解出k a (k=0,1,…，n)，从而可得多项式∑==nk kk n x a x p 0)( (5)可以证明，式（5）中的)(x p n 满足式（1），即)(x p n 为所求的拟合多项式。
我们把[]∑=-mi i i ny x p2)(称为最小二乘拟合多项式)(x p n 的平方误差，记作[]∑=-=mi i i n y x p r0222)(由式(2)可得∑∑∑===-=mi nk mi i k i k i y x a y r222)( (6)多项式拟合的一般方法可归纳为以下几步：(1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数n ；(2) 列表计算∑==mi j in j x)2,,1,0( 和∑==mi ij in j y x)2,,1,0( ；(3) 写出正规方程组，求出n a a a ,,10；(4) 写出拟合多项式∑==nk kk n x a x p 0)(。
在实际应用中，m n <或m n ≤；当m n =时所得的拟合多项式就是拉格朗日或牛顿插值多项式。
例1 测得铜导线在温度i T (℃)时的电阻)(Ωi R 如表6-1，求电阻R 与温度 T数为T a a R 10+=解方程组得故得R 与T 的拟合直线为利用上述关系式，可以预测不同温度时铜导线的电阻值。
例如，由R=0得T=-242.5，即预测温度 T=-242.5℃时，铜导线无电阻。
6-2例2 例2 已知实验数据如下表解 设拟合曲线方程为2210x a x a a y ++=⎥⎦ ⎤ ⎢ ⎣ ⎡ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ 445 . 20029 5 . 565 83 . 9325 3 . 245 3 . 245 7 10 a a 291. 0 ,77 . 79 10 = = a a TR 291 . 0 77 . 79+ =⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡102514732253173017381301738152381529210a a a解得2676.06053.3,4597.13210=-==a a a故拟合多项式为22676.06053.34597.13x y +-=*三 最小二乘拟合多项式的存在唯一性定理1 设节点n x x x ,,,10 互异，则法方程组（4）的解存在唯一。
证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。
用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡+∑∑∑∑∑∑∑∑∑∑∑=====+==+====m i i n i m i i i m i i n mi n imi n imi n i mi n i mi im i imi nimi iy x y x y a a a x xx x xxx x m 00010020101020001（7）有非零解。
式(7)可写为nj a xn k k mi k j i,,1,0,0)(0==∑∑==+ （8）将式（8）中第j 个方程乘以j a (j=0,1,…，n)，然后将新得到的n+1个方程左右两端分别 相加，得∑∑∑===+=⎥⎦⎤⎢⎣⎡nj n k k m i k j i j a x a 0000)( 因为[]∑∑∑∑∑∑∑∑∑∑=======+===+===⎥⎦⎤⎢⎣⎡m i m i mi i n n k ki k n j j i j n j n k k j i j k nj n k k m i k j i j x p x a x a x a a a x a 00020000000)())(()( 其中∑==nk kk n x a x p 0)(所以0)(=i n x p (i=0,1,…,m))(x p n 是次数不超过n 的多项式，它有m+1＞n 个相异零点，由代数基本定理，必须有010===n a a a ，与齐次方程组有非零解的假设矛盾。
因此正规方程组（4）必有唯一解 。
定理2 设n a a a ,,1,0 是正规方程组（4）的解，则∑==nk kk n x a x p 0)(是满足式（1）的最小二乘拟合多项式。
证 只需证明，对任意一组数n b b b ,,1,0 组成的多项式∑==nk kk n x b x Q 0)(，恒有[][]∑∑==-≥-mi i i n mi i i n y x p y x Q 022)()(即可。
[][][][][][]()∑∑∑∑∑∑∑∑∑∑==========⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛--=⎥⎦⎤⎢⎣⎡-⋅-+≥-⋅-+-=---n j mi j i n k i ki k j j m i nj n k i k i k ji j j i i n mi i n i n mi i n i n mi i i nm i iinx y x a a b y x a x a b y x p x p x Q x p x Q y x py x Q 00000002222)(20)()()(2)()()()(因为k a (k=0,1,…，n)是正规方程组（4）的解，所以满足式（2），因此有[][]0)()(022≥---∑∑==mi i i n m i iiny x py x Q故)(x p n 为最小二乘拟合多项式。
*四 多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。
而且①正规方程组系数矩阵的阶数越高，病态越严重； ②拟合节点分布的区间[]m x x ,0偏离原点越远，病态越严重； ③i x (i=0,1,…，m)的数量级相差越大，病态越严重。
为了克服以上缺点，一般采用以下措施：①尽量少作高次拟合多项式，而作不同的分段低次拟合； ②不使用原始节点作拟合，将节点分布区间作平移，使新的节点i x 关于原 点对称，可大大降低正规方程组的条件数，从而减低病态程度。
平移公式为：mi x x x x mi i ,,1,0,20 =+-= (9)③对平移后的节点i x (i=0,1,…，m),再作压缩或扩张处理：m i x p x i i ,,1,0,==* （10）其中r mi rix m p 202)()1(∑=+=,（r 是拟合次数） （11）经过这样调整可以使*i x 的数量级不太大也不太小，特别对于等距节点),,1,0(0m i ihx x i =+=，作式（10）和式（11）两项变换后，其正规方程组的系数矩阵设 为A ，则对1～4次多项式拟合，条件数都不太大，都可以得到满意的结果。
④在实际应用中还可以利用正交多项式求拟合多项式。
一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。