最小二乘法LSQ(least square)_计算公式
函数逼近的几种算法及其应用汇总
函数逼近的几种算法及其应用汇总函数逼近是数值计算中非常重要的技术之一，它主要用于用已知函数逼近未知函数，从而得到未知函数的一些近似值。
在实际应用中，函数逼近广泛用于数据拟合、插值、信号处理、图像处理等领域。
下面将介绍几种常用的函数逼近算法及其应用。
1. 最小二乘法（Least Square Method）最小二乘法将函数逼近问题转化为最小化离散数据与拟合函数之间的残差平方和的问题。
它在数据拟合和插值中应用广泛。
例如，最小二乘法可以用于拟合数据点，找出最佳拟合曲线；也可以用于信号处理中的滤波器设计。
2. 插值法（Interpolation）插值法旨在通过已知数据点之间的连线或曲线，来逼近未知函数在这些数据点上的取值。
常见的插值方法有拉格朗日插值、牛顿插值和分段线性插值等。
插值法在图像处理中广泛应用，例如可以通过已知的像素点来重构图像，提高图像的质量和分辨率。
3. 最小二乘曲线拟合（Least Square Curve Fitting）最小二乘曲线拟合是一种将渐近函数与离散数据拟合的方法，常见的函数包括多项式、指数函数、对数函数等。
最小二乘曲线拟合可以在一定程度上逼近原始数据，从而得到曲线的一些参数。
这种方法在数据分析和统计学中经常使用，在实际应用中可以拟合出模型参数，从而做出预测。
4. 正交多项式逼近（Orthogonal Polynomial Approximation）正交多项式逼近是一种通过正交多项式来逼近未知函数的方法。
正交多项式具有良好的性质，例如正交性和递推关系，因此可以用于高效地逼近函数。
常见的正交多项式包括勒让德多项式、拉盖尔多项式和切比雪夫多项式等。
正交多项式逼近广泛应用于数值计算和信号处理中，例如用于图像压缩和数据压缩。
5. 插值样条曲线（Interpolating Spline）插值样条曲线是将多个局部的多项式插值片段拼接在一起，从而逼近未知函数的方法。
插值样条曲线在实现光滑拟合的同时，还能逼近离散数据点。
最小二乘法的概念
最小二乘法的概念1. 概念定义最小二乘法（Least Squares Method）是一种用于拟合数据和估计未知参数的数学方法。
它通过最小化观测值与拟合值之间的残差平方和，来找到最优的拟合曲线或平面。
最小二乘法可以用于线性和非线性回归分析，广泛应用于统计学、经济学、工程学等领域。
2. 关键概念2.1 残差残差（Residual）是指观测值与拟合值之间的差异。
在最小二乘法中，我们希望通过最小化残差的平方和来找到最优的拟合曲线或平面。
残差可以用以下公式表示：e i=y i−y î其中，e i为第i个观测值的残差，y i为第i个观测值，y î为第i个观测值对应的拟合值。
2.2 残差平方和残差平方和（Sum of Squares of Residuals，SSR）是指所有残差平方的和。
最小二乘法的目标就是通过最小化残差平方和来找到最优的拟合曲线或平面。
残差平方和可以用以下公式表示：nSSR=∑(y i−y î)2i=1其中，n为观测值的数量。
2.3 最小二乘估计最小二乘估计（Least Squares Estimation）是指通过最小化残差平方和来估计未知参数的方法。
对于线性回归模型，最小二乘估计可以通过求解正规方程来得到。
正规方程可以用以下公式表示：(X T X)β̂=X T y其中，X为设计矩阵，包含自变量的观测值；y为因变量的观测值；β̂为未知参数的估计值。
2.4 最优拟合曲线或平面最优拟合曲线或平面是指通过最小二乘法找到的最优的拟合函数。
对于线性回归模型，最优拟合曲线可以用以下公式表示：ŷ=β0̂+β1̂x1+β2̂x2+...+βp̂x p其中，ŷ为因变量的拟合值；β0̂,β1̂,β2̂,...,βp̂为未知参数的估计值；x1,x2,...,x p为自变量的观测值。
3. 重要性3.1 数据拟合最小二乘法可以用于拟合数据，通过找到最优的拟合曲线或平面，可以更好地描述数据的分布规律。
这对于理解数据的特征、预测未来趋势等具有重要意义。
_最小二乘法
，
• 线性模型 y = X θ + e 线性模型: 式中： 维输出向量； 维噪声向量； 式中： y 为n维输出向量；e 为n维噪声向量；θ 为m 维输出向量 维噪声向量 维参数向量； 维测量矩阵。 维参数向量；X 为 n × m 维测量矩阵。
足够大,当 只要 α 足够大 当 k > m 后,初值 P (0)、 0） 初值 θ （ 对估计的影响可以忽略. 对估计的影响可以忽略
LS法和 法和RLS法的比较 法和 法的比较
• • • LS法是一次完成算法，适于离线辩识，要记忆全部测 法是一次完成算法，适于离线辩识， 法是一次完成算法 量数据； 量数据； RLS法是递推算法，适于在线辩识和时变过程，只需 法是递推算法， 法是递推算法 适于在线辩识和时变过程， 要记忆n+1步数据； 步数据； 要记忆 步数据 RLS 法用粗糙初值时，如若 N 较小时，估计精度不 法用粗糙初值时， 较小时， 如 LS 法。
以上三式构成一组递推最小二乘估计算式 ^ ^ • 物理意义：新的参数估计 θ N +1是对上次老的估计 θ N 进行 物理意义： 修正而得出的。 修正而得出的。
初值选取方式
• 初值选取一般有两种方法可以考虑 初值选取一般有两种方法可以考虑: 1、先取一批数据,求取 θ ( N ) , P(N)做初值 、先取一批数据 求取 做初值,N>m 做初值
最小二乘法(OLS)的原理解析
定义
最小二乘法（OLS），英文全称ordinary least squares，又称最小平方法，是回归分析 （regression analysis）最根本的一个形式,对模型条件要求最少，也就是使散点图上的所有观测值 到回归直线距离的平方和最小。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘 法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小，最小二 乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
公式
在一元线性回归模型中，回归方程一般表示为
yi
=
β^0
+
β^ x 1 i
，所用到的是statmodels模块中
OLS（最小二乘法），通过实际值 yi 与拟合值 y^i 差的平方和Q最小，也就是残差平方和最小，来
确定拟合方程中的系数 β1 和截距 β0 ，公式如下：
n
n
∑
( xi
)2
−
(
∑
xi
)2
i=1
i=1
n
n
n
n
(∑
xi2
)(
∑
yi
)
−
(∑
xi)(∑
xiyi
)
β^ = i=1
0
i=1 n
i=1
i=1
n
n
∑
( xi
)2
−
(
∑
最小二乘法公式推导
最小二乘法公式推导
最小二乘法是一种用于拟合数据的统计方法，通过最小化残差平方和来确定一组最佳的拟合系数。
以下是最小二乘法的公式推导：
假设有n个数据点(x1,y1),(x2,y2),...,(xn,yn)，
要用一条直线y=a+bx来拟合这些数据，其中a和b是未知
参数。
首先定义残差ei为第i个数据点的y值减去拟合直线在该
点的预测值：
ei=yi-(a+bxi)
然后，我们将残差平方和S定义为所有n个数据点的残差平
方的和：
S=Σ(ei^2)=Σ(yi-a-bxi)^2
要找到最佳的拟合系数a和b，我们需要将S最小化。
为了
实现这一点，我们可以将S分别对a和b求偏导，并令偏导数等
于0，得到以下两个方程：
∂S/∂a=-2Σ(yi-a-bxi)=0
∂S/∂b=-2Σ(xi)(yi-a-bxi)=0
将上述两个方程展开并整理，得到：
na+bΣ(xi)=Σ(yi)
bΣ(xi^2)+aΣ(xi)=Σ(xi)(yi)
这是一个包含两个未知数a和b的线性方程组，可以通过解方程组来求出最佳的拟合系数。
具体来说，我们可以使用矩阵求解法，将上述方程组转化为矩阵形式：
|nΣ(xi)||a||Σ(yi)|
|Σ(xi)Σ(xi^2)||b|=|Σ(xi)(yi)|
然后，可以使用矩阵的逆来求解a和b的值：
|a||nΣ(xi)|^-1|Σ(yi)|
|b|=|Σ(xi)Σ(xi^2)||Σ(xi)(yi)|
最终，得到的a和b就是最小二乘法所求的拟合系数，可以将其代入y=a+bx中，得到拟合直线的方程。
最小二乘法(least sqaure method)
最小二乘法（least sqauremethod）专栏文章汇总文章结构如下：1：最小二乘法的原理与要解决的问题2 ：最小二乘法的矩阵法解法3：最小二乘法的几何解释4：最小二乘法的局限性和适用场景5：案例python实现6：参考文献1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta_nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。
矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。
(精品)最小平方QR分解法(LSQR)详细
ห้องสมุดไป่ตู้
ａｎ︐
ｆｌ．
Ｂ珠 ＝礁凡 十／ｊ， （０，０， ．．．，０，Ｖ，， ，，）
卜面计算Ｖ＇，ＢＶ ，的形式：
叮ＢＶ一叮［Ｖ．Ｔ ．
一Ｖ，Ｖ．， Ｔ，＋ ／ｊ，．，叮（０，０，、二，０，ｖ，． ，）
（７－１０）
注意到叹Ｖ．＝Ｉ和ｖｍ＊ｉ－１Ｋｍ ，叮ｖ－，二０，所以，嵘ＢＶ，一 Ｔ，从而（３）式化为：
其中，Ｂ为ｎｘｎ实数对称方阵，ｘ和ｂ为ｎ维列向量，ｘ为待求未知量。求解方程 （７－６）
的Ｌａｎｃｚｏｓ方法是一种子空间投影法·设ｖ，，ｈ，一 气，为”维空间咋ｍ个无关向量。
令Ｖ，＝［ＶＩ ，ｖ２ ，．二，０Ｊ 为ｎｘｍ矩阵，Ｋｍ＝ｓ ｐａｎＩＶ， ，Ｖ２ １ ．．．Ｉ Ｖ．｝为ｖ，，ｖ２，…，ｖ．张成的
用到ＱＲ因子分解法，因此这种方法叫做ＬＳＱＲ（ ＬｅａｓｔＳｑ ｕａｒｅＱ Ｒ－ｆａｃｔｏｒｉｚａｔｉｏｎ）方法。在
参阅文献 （刘伊克，１９８８；刘家琦，１９９３）的基础上，本文对 ＬＳＱＲ算法进行了详细的推
导，给出了无阻尼和有阻尼情况 ＞｀的ＬＳＱＲ算法。
一、Ｌａｎｃｚｏｓ方法
考虑方程
Ｂｘ＝ｂ
（７ －６ ）
Ｔ、Ｗ 满足 Ｌａｎｃｚｏｓ条ＩＩＩ
（ ２２）
其中
尸！ ａｌ
！几
ａ
Ｂ
１︒
－－ ｌ
︸
ｌｗｅ
０
ｅｓ
Ｌ
刀
二 二
０ 气
︸ ︸
ｎＵ ︐
一、＊＋、， 八引
ｎ引
ａ ‘
（７－２３）
︐ Ｏ Ｑ Ａ
日５
由 （７－２１），有
Ａ＝Ｕｋ．，凡叮
（７－２４）
最小二乘法的基本公式
最小二乘法的基本公式最小二乘法，这玩意儿听起来是不是有点高大上？但别怕，其实它并没有那么复杂，就像咱们学骑自行车，一开始觉得难，掌握窍门后就变得轻松自如啦！先来说说最小二乘法到底是啥。
简单来讲，它就是一种找数据最佳拟合直线或者曲线的方法。
比如说，你记录了一堆气温和日期的数据，想找出它们之间的规律，这时候最小二乘法就派上用场了。
那它的基本公式是啥呢？咱们来瞧瞧。
假设咱们有一堆数据点（x₁, y₁）, （x₂, y₂）,..., （xₙ, yₙ），然后要找一条直线 y = ax + b 来拟合这些点。
那最小二乘法就是要让每个点到这条直线的垂直距离的平方和最小。
这个垂直距离，咱们叫它残差。
具体的公式就是：Q = Σ(yi - (axi + b))²，这里的Σ是求和符号，就是把所有的残差平方加起来。
然后通过求 Q 对 a 和 b 的偏导数，令它们等于 0 ，就能解出 a 和 b 的值，从而得到最佳拟合直线的方程。
我给您讲个我亲身经历的事儿吧。
有一次我带着学生们去做一个关于植物生长和光照时间关系的实验。
我们每天记录植物的高度和对应的光照时长，最后想用最小二乘法来找出它们之间的关系。
一开始，学生们都被这些数据弄得晕头转向的。
有的说：“老师，这也太乱了，怎么找规律啊？”我就告诉他们，别着急，咱们有最小二乘法这个法宝呢！然后我一步一步地给他们讲解公式的原理和计算方法。
有个叫小明的同学特别认真，眼睛紧紧盯着黑板，手里的笔不停地记着。
可算到中间的时候，他突然举手说：“老师，我这一步算错了，得重新来。
”我鼓励他说：“没关系，重新算，多算几遍就熟练啦。
”最后，经过大家的努力，我们终于算出了最佳拟合直线的方程。
当我们把这个方程画在图上，看到那些数据点都很接近这条直线的时候，孩子们都兴奋得欢呼起来。
从那以后，学生们对最小二乘法的理解可深刻多了。
他们知道了，数学不仅仅是书本上的公式，还能真真切切地帮助我们解决生活中的问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的一个二元函数， 把 M 看成自变量 a 和 b 的一个二元函数， 那么问题就可归结为求函数 M = M ( a , b ) 在那 些点处取得最小值. 些点处取得最小值
7 ∂M ∂a = −2∑ [ yi − (at i + b )]t i = 0, i =0 令 7 ∂M = −2∑ [ yi − (at i + b )] = 0; ∂b i =0
7 7 7
(1)
计算得
∑t
i =0 7 i =0
7
i
= 28, = 208.5,
∑t
i =0 7 i =0
7
2 i
= 140, = 717.0
∑y
i
∑yt
i i
代入方程组（ ） 代入方程组（1）得
140a + 28b = 717, 28a + 8b = 208.5.
解此方程组， 解此方程组，得到 a = −0.3036, b = 27.125. 这样便得到所求经验公式(回归方程 为 这样便得到所求经验公式 回归方程 )为
在研究单分子化学反应速度时，得到下列数据： 例2 在研究单分子化学反应速度时，得到下列数据：
i
1 3
2 6
3 9
4 12
5 15
6 18
7 21 8.9
8 24 6.5
τi
yi
57.6 41.9 31.0 22.7 16.6 12.2
y 表示从实验开始算起的时间， 其中 τ 表示从实验开始算起的时间， 表示时刻τ 反应物的量． 反应物的量．试定出经验公式 y = f (τ ).
试根据上面的试验数据建立 y 和 t 之间的经验公 式 y = f (t ).
解 首先确定 f (t ) 的类型.y 的类型. 如图， 如图，在坐标纸上画出
27
这些点， 这些点，观察可以认为
y = f (t ) 是 线 性 函 数 ,
并设 f ( t ) = at + b, 其中
26
25
a 和 b 是待定常数. 是待定常数.
二、最小二乘法
为了测定刀具的磨损速度， 例1 为了测定刀具的磨损速度，我们做这样的 实验：经过一定时间(如每隔一小时) 实验：经过一定时间(如每隔一小时)，测量一 次刀具的厚度,得到一组试验数据如下： 次刀具的厚度,得到一组试验数据如下：
0 1 2 3 4 5 6 7 顺序编号i 0 1 2 3 4 5 6 7 小时) 时间t i (小时 小时 刀具厚度 yi (毫米 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3 毫米) 毫米
由化学反应速度的理论知道， 解 由化学反应速度的理论知道， y = f (τ ) 应是 指数函数： 指数函数： y = ke mτ , 其中 k 和 m 是待定常数 是待定常数.
讨论： 讨论： 由于 lg y = aτ + b, 所以仿照例1中的讨论 通过求方程组 所以仿照例 中的讨论,通过求方程组 中的讨论 8 8 8 2 a ∑ τ i + b∑ τ i = ∑ τ i lg yi , i =1 i =1 i =1 8 8 a ∑ τ + 8b = ∑ lg y i i =1 i i =1 的解,把 确定出来. 的解 把 a, b 确定出来 通过计算得
7 24.3
yi
算得
27.125 26.821 26.518 26.214 25.911 25.607 25.303 25.000
f (ti )
偏差
-0.125 -0.021 -0.018 -0.086 0.189 0.093 -0.003 -0.200
偏差的平方和 M = 0.108165， 它的平方根 M = 0.329 ． 我们把 M 称为均方误差，它的大小在一定 称为均方误差， 均方误差 程度上反映了用经验公式来近似表达原来函数关 系的近似程度的好坏． 系的近似程度的好坏．
即
7 [ y − (at + b )]t = 0, i i ∑ i i =0 7 ∑ [ yi − (at i + b )] = 0. i =0
将括号内各项进行整理合并， 将括号内各项进行整理合并，并把未知数 a 分离出来， 和 b 分离出来，便得
a t 2 + b t = y t , ∑i ∑ ii ∑ i i =0 i =0 i =0 7 7 a ∑ t i + 8b = ∑ yi . i =0 i =0
y = f ( t ) = −0.3036t + 27.125.
( 2)
由（2）式算出的函数值 f ( t i ) 与实测 yi 的有 ） 一定的偏差.现列表比较如下 现列表比较如下： 一定的偏差 现列表比较如下：
ti
实测
0 27.0
1 26.8
2 26.5
3 26.3
4 26.1
5 25.7
6 25.3
达到最小． 求 f ( t )，使 M = ∑ [ yi − (at i + b )] 达到最小．
2 i =1
n
注意：计算机与数据拟合． 注意：计算机与数据拟合．
（参看高等数学实验课讲义 郭锡伯 徐安农编） 徐安农编）
∴ m = −0.1036, k = 78.78.
因此所求经验公式为 y = 78.78e − 0.1036τ .
三、小结
给定平面上一组点 ( xi , yi ) ( i = 1,2,3,⋯, n)， 作曲线拟合有多种方法 ，其中最小二乘法是常 用的一种． 用的一种．
最小二乘法的原理： 最小二乘法的原理：
( 3)
∑ τ = 108, ∑ τ ∑ lg y = 10.3, ∑ τ
i 1 8= i i =1 8 i =1 i i =1
8
8
2
i
= 1836, lg yi = 122.
i
将他们代入方程组（ ） 将他们代入方程组（3）得
1836a + 108b = 122, 108a + 8b = 10.3. a = 0.4343m = −0.045, 解这方程组， 解这方程组，得 b = lg k = 1.8964.
最小二乘法
一、经验公式
在工程问题中，常常需要根据两个变量的 在工程问题中， 几组实验数值——实验数据，来找出这两个变 实验数据， 几组实验数值 实验数据 量的函数关系到 的函数的近似表达式叫做经验公式 经验公式. 的函数的近似表达式叫做经验公式. 问题：如何得到经验公式，常用的方法是什么？ 问题：如何得到经验公式，常用的方法是什么？
24
o
1 2 3 4 5 6 7 8
t
因为这些点本来不在一条直线上， 因为这些点本来不在一条直线上，我们只 能要求选取这样的 a, b ，使得 f ( t ) = at + b 在 t 0 , t1 ,⋯, t 7 处的函数值与实验数据 y0 , y1 ⋯, y7 相 差都很小． 差都很小．
就是要使偏差
yi − f ( t i )
7
( i = 0,1,2,⋯,7 ) 都很小 都很小.
2
因此可以考虑选取常数 a, b ，使得
M = ∑ [ yi − (at i + b )]
i =0
最小来保证每个偏差的绝对值都很小． 最小来保证每个偏差的绝对值都很小． 定义 这种根据偏差的平方和为最小的条件来选 最小二乘法． 的方法叫做最小二乘法 择常数 a, b 的方法叫做最小二乘法． 这种确定常数的方法是通常所采用的. 这种确定常数的方法是通常所采用的