元线性回归的经验公式与最小二乘法
最小二乘法和线性回归的公式推导
最⼩⼆乘法和线性回归的公式推导⼀、⼀维线性回归⼀维线性回归最好的解法是：最⼩⼆乘法问题描述：给定数据集D=x1,y1,x2,y2,⋯,x m,y m，⼀维线性回归希望能找到⼀个函数f x i，使得f x i=wx i+b能够与y i尽可能接近。
损失函数：L(w,b)=m∑i=1f x i−y i2⽬标：w∗,b∗=argminw,bm∑i=1f x i−y i2=argminw,bm∑i=1y i−wx i−b2求解损失函数的⽅法很直观，令损失函数的偏导数为零，即：∂L(w,b)∂w=2m∑i=1y i−wx i−b−x i=2m∑i=1wx2i−y i−b x i=2wm∑i=1x2i−m∑i=1y i−b x i=0∂L(w,b)∂b=2m∑i=1wx i+b−y i=2mb−m∑i=1y i−wx i=0解上⼆式得：b=1mm∑i=1y i−wx iwm∑i=1x2i−m∑i=1y i−b x i=0wm∑i=1x2i−m∑i=1y i x i+1mm∑i=1y i−wx im∑i=1x i=0wm∑i=1x2i−m∑i=1y i x i+m∑i=1y i¯x i−wmm∑i=1x i2=0wm∑i=1x2i−1mm∑i=1x i2=m∑i=1y i x i−¯x i w=∑mi=1y i x i−¯x i∑mi=1x2i−1m∑mi=1x i2其中¯x i=1m∑mi=1x i为x i的均值⼆、多元线性回归假设每个样例x i有d个属性，即x i=x(1)ix(2)i⋮x(d)i{()()()}()()[()]()[()]()()()[()](())()(())()()()()[()]()()[()] []()()Processing math: 95%试图学得回归函数f x i，f x i=w T x i+b损失函数仍采⽤军⽅误差的形式，同样可以采⽤最⼩⼆乘法对x和b进⾏估计。
一元线性回归模型参数的最小二乘法估计
8.2.1一元线性回归模型1.生活经验告诉我们,儿子的身高与父亲的身高相关.一般来说,父亲的身高较高时，儿子的身高通常也较高.为了进一步研究两者之间的关系，有人调查了14名男大学生的身高及其父亲的身高，得到的数据如表1所示.编号1234567891011121314父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180 儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182从图上看，散点大致分布在一条直线附近根据我们学过的整理数据的方法:相关系数r =0.886．父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 1).问题1:可以得到什么结论？由散点图的分布趋势表明儿子的身高与父亲的身高线性相关，通过相关系数可知儿子的身高与父亲的身高正线性相关，且相关程度较高．2).问题2:是否可以用函数模型来刻画？不能，因为不符合函数的定义.这其中还受其它因素的影响.3).问题3:那么影响儿子身高的其他因素是什么？影响儿子身高的因素除父亲的身外,还有母亲的身高、生活的环境、饮食习惯、营养水平、体育锻炼等随机的因素，儿子身高是父亲身高的函数的原因是存在这些随机的因素.4).问题4: 你能否考虑到这些随机因素的作用，用类似于函数的表达式,表示儿子身高与父亲身高的关系吗?用x表示父亲身高，Y表示儿子的身高,用e表示各种其它随机因素影响之和，称e为随机误差, 由于儿子身高与父亲身高线性相关，所以Y=bx+a.考虑随机误差后，儿子的身高可以表示为：Y=bx+a+e由于随机误差表示大量已知和未知的各种影响之和，它们会相互抵消，为使问题简洁，可假设随机误差e的均值为0，方差为与父亲身高无关的定值 . 2σ2即E e D eσ:()0,().==我们称①式为Y 关于x 的一元线性回归模型，其中，Y 称为因变量或响应变量，x 称为自变量或解释变量 . a 称为截距参数，b 称为斜率参数；e 是Y 与bx+a 之间的随机误差．2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩① 2、一元线性回归模型如果用x 表示父亲身高，Y 表示儿子的身高,e 表示随机误差.假定随机误差e 的均值为0，方差为与父亲身高无关的定值 ，则它们之间的关系可以表示为2σ4.问题5:你能结合具体实例解释产生模型①中随机误差项的原因吗?产生随机误差e的原因有：(1)除父亲身高外，其他可能影响儿子身高的因素,比如母亲身高、生活环境、饮食习惯和锻炼时间等.(2)在测量儿子身高时，由于测量工具、测量精度所产生的测量误差.(3)实际问题中,我们不知道儿子身高和父亲身高的相关关系是什么，可以利用一元线性回归模型来近似这种关系,这种近似关系也是产生随机误差e的原因.8.2.2一元线性回归模型参数的最小二乘法估计二、自主探究问题1.为了研究两个变量之间的相关关系， 我们建立了一元线性回归模型表达式 刻画的是变量Y 与变量x 之间的线性相关关系，其中参数a 和b 未知，我们如何通过样本数据估计参数a 和b?2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩问题2.我们怎样寻找一条“最好”的直线，使得表示成对样本数据的这些散点在整体上与这条直线最“接近”？从成对样本数据出发，用数学的方法刻画“从整体上看，各散点与蓝色直线最接近”利用点到直线y=bx+a 的“距离”来刻画散点与该直线的接近程度，然后用所有“距离”之和刻画所有样本观测数据与该直线的接近程度.父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 父亲身高/cm180 175 170 165 160160 165 170 175 180 185 190·· ·· · · · 儿子身高/cm· · · · ·185设满足一元线性回归模型的两个变量的n 对样本数据为(x 1,y 1)，(x 2，y 2），…，(x n ，y n )父亲身高/cm180 175170165 160160165 170 175 180 185 190·· · · · · · 儿子身高/cm· ·· · · 185()()(1,2,3,,-).i i i i i i i i i i i y bx a e i n y bx a e e x y x bx a =++=⋅⋅⋅+=+由），得(显然越小，表示点，与点，的距离越小，()0,.i i i x y =即样本数据点离直线y=bx+a 的竖直距离越小，如上图特别地，当e 时，表示点在这条直线上1-)ni i i y bx a =+∑因此可用(来刻画各样本观测数据与直线y=bx+a 的整体接近程度.()iix y ，y=bx+a()i i x bx a +，·[]21(,)()ni i i Q a b y bx a ==-+∑残差平方和： 即求a ，b 的值，使Q ( a ，b )最小残差：实际值与估计值之间的差值，即 使Q 取得最小值，当且仅当b 的取值为121()()()nii i nii xx y y b xx ==--=-∑∑b.,ˆ,ˆ的最小二乘估计叫做求得a b a b(,).x y 经验回顾直线必经过的符号相同与相关系数r b ˆ最小二乘法我们将 称为Y 关于x 的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线，这种求经验回归方程的方法叫最小二乘法．ˆˆˆy bxa =+12111=i ni n22i ni n x x y y ˆb ,x x ˆˆa x y x y x xy b .i i i i i i ΣΣx )n ΣΣ(()()n ====⎧--⎪=⎪⎨-⎪⎪--=⎩-问题2:依据用最小二乘估计一元线性回归模型参数的公式,求出儿子身高Y 关于父亲身高x 的经验回归方程.儿子的身高不一定会是177cm ，这是因为还有其他影响儿子身高的因素，回归模型中的随机误差清楚地表达了这种影响,父亲的身高不能完全决定儿子的身高，不过，我们可以作出推测，当父亲的身高为176cm 时，儿子身高一般在177cm 左右.当x=176时， ,如果一位父亲身高为176cm,他儿子长大后身高一定能长到177cm 吗？为什么？177y ≈083928957ˆy .x .=+的意义？∧b残差的定义,e a bx Y ++=一元线性回归模型,,Y y 对于通过观测得响应到的数据称量为变观测值ˆ,y通过经验回归方程得到称为预报值的ˆ.ˆey y =-残观测值减去预报值称为即差判断模型拟合的效果:残差分析问题3:儿子身高与父亲身高的关系，运用残差分析所得的一元线性回归模型的有效性吗？残差图:作图时纵坐标为残差,横坐标可以选为样本编号,或身高数据或体重估计值等，这样作出的图形称为残差图．从上面的残差图可以看出，残差有正有负，残差点比较均匀地分布在横轴的两边，可以判断样本数据基本满足一元线性回归模型对于随机误差的假设.所以，通过观察残差图可以直观判断样本数据是否满足一元线性回归模型的假设，从而判断回归模型拟合的有效性.所以，只有图(4）满足一元线性回归模型对随机误差的假设图(1)显示残差与观测时间有线性关系,应将时间变量纳入模型； 图(2)显示残差与观测时间有非线性关系,应在模型中加入时间的非线性函数部分; 图(3)说明残差的方差不是一个常数，随观测时间变大而变大图(4)的残差比较均匀地集中在以横轴为对称轴的水平带状区域内.根据一元线性回归模型中对随机误差的假定，残差应是均值为0，方差为 的随机变量的观测值.2σ观察以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定？1.残差等于观测值减预测值2.残差的平方和越小越好；3.原始数据中的可疑数据往往是残差绝对值过大的数据；4. 对数据刻画效果比较好的残差图特征:残差点比较均匀的集中在水平带状区域内．归纳小结（残差图中带状越窄，精度越高）1.关于残差图的描述错误的是( )A.残差图的横坐标可以是样本编号B.残差图的横坐标也可以是解释变量或预报变量C.残差点分布的带状区域的宽度越窄相关指数越小D.残差点分布的带状区域的宽度越窄残差平方和越小C 三、巩固提升2.根据如下样本数据:得到的经验回归方程为 ,则( ) A. >0, >0B. >0, <0C. <0, >0D. <0, <0 x 2 3 4 5 6 Y42.5-0.5-2-3a $a $a $a$$b $b$b$b $$ybx a =+$ B3.某种产品的广告支出费用x(单位:万元)与销售额Y(单位:万元)的数据如表:已知Y 关于x 的经验回归方程为 =6.5x+17.5,则当广告支 出费用为5万元时,残差为________. x 2 4 5 6 8Y 30 40 60 50 70$y当x=5时, =6.5×5+17.5=50,表格中对应y=60,于是残差为60-50=10.$y10一元线性回归模型的应用例1.经验表明,对于同一树种,一般树的胸径(树的主干在地面以上1.3m处的直径)越大,树就越高.由于测量树高比测量胸径困难，因此研究人员希望由胸径预测树高.在研究树高与胸径之间的关系时,某林场收集了某种树的一些数据如下表所示,试根据这些数据建立树高关于胸径的经验回归方程.编号 1 2 3 4 5 6胸径/cm 18.1 20.1 22.2 24.4 26.0 28.3树高/m 18.8 19.2 21.0 21.0 22.1 22.1编号7 8 9 10 11 12胸径/cm 29.6 32.4 33.7 35.7 38.3 40.2树高/m 22.4 22.6 23.0 24.3 23.9 24.7dh· · ·· · · · · · · · · 解: 以胸径为横坐标,树高为纵坐标作散点图如下：散点大致分布在一条从左下角到右上角的直线附近，表明两个变量线性相关，并且是正相关，因此可以用一元线性回归模型刻画树高与胸径之间的关系.0.249314.84h d =+··· ·· · · · · · · · 用d 表示胸径,h 表示树高,根据据最小二乘法,计算可得经验回归方程为0.249314.84h d =+根据经验回归方程，由胸径的数据可以计算出树高的预测值(精确到0.1)以及相应的残差，如下表所示.编号胸径/cm 树高观测值/m 树高预测值/m 残差/m1 18.1 18.8 19.4 -0.62 20.1 19.2 19.9 -0.73 22.2 21.0 20.4 0.64 24.4 21.0 20.9 0.15 26.0 22.1 21.3 0.86 28.3 22.1 21.9 0.27 29.6 22.4 22.2 0.28 32.4 22.6 22.9 -0.39 33.7 23.0 23.2 -0.210 35.7 24.3 23.7 0.611 38.3 23.9 24.4 -0.512 40.2 24.7 24.9 -0.2以胸径为横坐标，残差为纵坐标，作残差图，得到下图.30252015-1.0-0.5 0.0 0.5 1.0· · · · · · · 残差/m· · · ·· 354045胸径/cm观察残差表和残差图，可以看到残差的绝对值最大是0.8，所有残差分布在以横轴为对称轴、宽度小于2的带状区域内 .可见经验回归方程较好地刻画了树高与胸径的关系，我们可以根据经验回归方程由胸径预测树高.编号1 2 3 4 5 6 7 8 年份 1896 1912 1921 1930 1936 1956 1960 1968 记录/s 11.8010.6010.4010.3010.2010.1010.009.95例2.人们常将男子短跑100m 的高水平运动员称为“百米飞人”.下表给出了1968年之前男子短跑100m 世界纪录产生的年份和世界纪录的数据.试依据这些成对数据，建立男子短跑100m 世界纪录关于纪录产生年份的经验回归方程以成对数据中的世界纪录产生年份为横坐标,世界纪录为纵坐标作散点图,得到下图在左图中，散点看上去大致分布在一条直线附近，似乎可用一元线性回归模型建立经验回归方程.将经验回归直线叠加到散点图，得到下图：76913031.4902033743.0ˆ1+-=t y用Y 表示男子短跑100m 的世界纪录,t 表示纪录产生的年份 ,利用一元线性回归模型来刻画世界纪录和世界纪录产生年份之间的关系 . 根据最小二乘法,由表中的数据得到经验回归方程为：从图中可以看到，经验回归方程较好地刻画了散点的变化趋势，请再仔细观察图形，你能看出其中存在的问题吗?你能对模型进行修改,以使其更好地反映散点的分布特征吗？仔细观察右图，可以发现散点更趋向于落在中间下凸且递减的某条曲线附近.回顾已有的函数知识，可以发现函数y=-lnx的图象具有类似的形状特征注意到100m短跑的第一个世界纪录产生于1896年, 因此可以认为散点是集中在曲线y=f(t)=c1+c2ln(t-1895)的周围，其中c1、c2为未知参数，且c2<0.y=f(t)=c1+c2ln(t-1895)这是一个非线性经验回归函数，如何利用成对数据估计参数c1、c2令x=ln(t-1895)，则Y=c2x+c1对数据进行变化可得下表：编号 1 2 3 4 5 6 7 8 年份/t 1896 1912 1921 1930 1936 1956 1960 1968 x 0.00 2.83 3.26 3.56 3.71 4.11 4.17 4.29 记录/s 11.80 10.60 10.40 10.30 10.20 10.10 10.00 9.95将x=ln(t-1895)代入：得 8012653.114264398.0ˆ2+-=x y上图表明,经验回归方程对于成对数据具有非常好的拟合精度.将经验回归直线叠加到散点图，得到下图： 8012653.114264398.0ˆ2+-=x y8012653.11)1895ln(4264398.0ˆ2+--=t y经验回归方程为对于通过创纪录时间预报世界纪录的问题，我们建立了两个回归模型，得到了两个回归方程，你能判断哪个回归方程拟合的精度更好吗？8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653y t =--+② 我们发现，散点图中各散点都非常靠近②的图象， 表明非线性经验回归方程②对于原始数据的拟合效果远远好于经验回归方程①.(1).直接观察法.在同一坐标系中画出成对数据散点图、非线性经验回归方程②的图象(蓝色)以及经验回归方程①的图象(红色).28212811ˆ,ˆQ Q (()0.004)0.669i i i i eu ===≈=≈∑∑8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653yt =--+②（2).残差分析:残差平方和越小,模型拟合效果越好.Q 2明显小于Q 1，说明非线性回归方程的拟合效果 要优于线性回归方程.R 2越大，表示残差平方和越小，即模型的拟合效果越好 R 2越小，表示残差平方和越大，即模型的拟合效果越差. 21212ˆ()11()n i i nii i y y y y R ==-=-=--∑∑残差平方和。
最小二乘法数据拟合与回归
最小二乘法数据拟合与回归简介：本文主要对PRML一书的第一章总结，结合moore关于回归的课件Predicting real-valued outputs: an introduction to regression。
什么是回归(regression)?1. 单一参数线性回归如上图考虑用一条过原点的直线去拟合采样点，y=wx,那么未知参数w取什么值可以使得拟合最好的，即整体拟合误差最小，这是一个最小二乘法拟合问题。
目标是使得(Xi-Yi)^2的总和最小。
2. 从概率的角度考虑上面的问题就是说我们假定模型是y=wx但是具体的(Xi,Yi)对应生成的时候按照高斯分布概率模型，以WXi为中心,方差未知。
具体每个采样点之间是独立的。
上面提到我们的目标是通过样本集合的实际观察值去预测参数W的值。
怎样预测W的值呢，有两个思路即上面提到的•MLE 最大似然法即参数W取什么样的值能够使得我们已经观察到的实际样本集合出现的概率最大。
ArgMax(P(Y1,Y2…Yn|X1,X2…Xn,W))，但是这样是不是有点奇怪，我们的目的其实是从观察的样本中估算最可能的W，ArgMax （W|x1,x2…xn,y1,y2…yn)可以看到优化的目标其实和最小二乘法是一样的。
•MAP 采用贝叶斯规则,后面再讲。
3.多项式曲线拟合贯穿PRML第一章的例子是多项式曲线拟合的问题（polynomial curve fitting)。
考虑order为M的多项式曲线，可以表述为下面的形式:曲线拟合的目标可以表述为优化是的下面的E(W)最小化(当然你可能会选取不同的error function这只是其中一种而已):对于取到最小值的我们表示为，最优的最小距离是。
如果我们选择不同的order值即M不同的多项式曲线去拟合，比如取M=0，1，3，9最小二乘法拟合的结果如下图:可以看到M=9的情况，曲线和采样观察点拟合的很好但是却偏离了整体，不能很好的反映,这就是传说中的over fitting过度拟合问题。
最小二乘法一元线性回归
最小二乘法产生的历史
• 最小二乘法最早称为回归分析法。由著 名的英国生物学家、统计学家道尔顿 （F.Gallton）——达尔文的表弟所创。 • 早年，道尔顿致力于化学和遗传学领域 的研究。 • 他研究父亲们的身高与儿子们的身高之 间的关系时，建立了回归分析法。
14
最小二乘法的地位与作用
• 现在回归分析法已远非道尔顿的本意 • 已经成为探索变量之间关系最重要的方 法，用以找出变量之间关系的具体表现 形式。 • 后来，回归分析法从其方法的数学原 理——误差平方和最小（平方乃二乘也） 出发，改称为最小二乘法。
12
解决问题的思路——可能性
• 寻找变量之间直线关系的方法多多。于是，再接下 来则是从众多方法中，寻找一种优良的方法，运用 方法去求出线性模型——y=a+bx+u中的截距a=？； 直线的斜率b=？正是是本章介绍的最小二乘法。 • 根据该方法所得，即表现变量之间线性关系的直线 有些什么特性？ • 所得直线可靠吗？怎样衡量所得直线的可靠性？ • 最后才是如何运用所得规律——变量的线性关系？
• Y=f(X1,X2,…,Xk; ū)
2
• 三、随机误差和系统误差 • 1、随机误差：是由随机因素形成的误差。 所 谓随机因素，是指那些对被解释变量的作用不 显著，其作用方向不稳定（时正时负），在重 复试验中，正作用与负作用可以相互抵消的因 素。 • 2、系统误差：由系统因素形成的误差。所谓 系统因素，是指那些对被解释变量的作用较显 著，其作用方向稳定，重复试验也不可能相互 抵消的因素。
2 2 i 相同，即 ，并且随机干扰项彼此不相关，即对于 i≠j,
2 Y1 Y1 , Y2 Y2 , Y1 2 Y2 Var Y ... ... Yn , Y1 Yn , Y2
最小二乘估计原理
最小二乘估计原理最小二乘估计是一种常用的参数估计方法，它可以用来估计线性回归模型中的参数。
在实际应用中，最小二乘估计被广泛应用于数据拟合、信号处理、统计分析等领域。
本文将介绍最小二乘估计的原理及其应用。
最小二乘估计的原理是基于最小化观测值与模型预测值之间的误差平方和来进行参数估计。
在线性回归模型中，我们通常假设因变量Y与自变量X之间存在线性关系，即Y = β0 + β1X + ε，其中β0和β1是待估参数，ε是误差项。
最小二乘估计的目标是找到最优的β0和β1，使得观测值与模型预测值之间的误差平方和最小。
为了形式化地描述最小二乘估计的原理，我们可以定义损失函数为误差的平方和，即L(β0, β1) = Σ(Yi β0 β1Xi)²。
最小二乘估计的思想就是通过最小化损失函数来求解最优的参数估计值。
为了找到最小化损失函数的参数估计值，我们可以对损失函数分别对β0和β1求偏导数，并令偏导数等于0，从而得到最优的参数估计值。
在实际应用中，最小二乘估计可以通过求解正规方程来得到参数的闭式解，也可以通过梯度下降等迭代方法来进行数值优化。
无论采用何种方法，最小二乘估计都能够有效地估计出线性回归模型的参数，并且具有较好的数学性质和统计性质。
除了在线性回归模型中的应用，最小二乘估计还可以推广到非线性回归模型、广义线性模型等更加复杂的模型中。
在这些情况下，最小二乘估计仍然是一种有效的参数估计方法，并且可以通过一些变形来适应不同的模型结构和假设条件。
总之，最小二乘估计是一种重要的参数估计方法，它具有简单直观的原理和较好的数学性质，适用于各种统计模型的参数估计。
通过最小化观测值与模型预测值之间的误差平方和，最小二乘估计能够有效地估计出模型的参数，并且在实际应用中取得了广泛的成功。
希望本文对最小二乘估计的原理有所帮助，谢谢阅读！。
最小二乘法及其应用
最小二乘法及其应用摘要最小二乘法是一种数学优化技术。
它通过最小化误差的平方与寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方与为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
关键字最小二乘法经验公式近似计算1最小二乘法的简介及其定义1.1关于最小二乘法的简介1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。
经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。
随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。
奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。
1.2最小二乘法的定义在科学研究与实际工作中,常常会遇到这样的问题:给定两个变量x, y的m组实验数据,如何从中找出这两个变量间的函数关系的近似解析表达式(也称为经验公式),使得能对x与y之间的除了实验数据外的对应情况作出某种判断. 这样的问题一般可以分为两类:一类是对要对x与y之间所存在的对应规律一无所知,这时要从实验数据中找出切合实际的近似解析表达式是相当困难的,俗称这类问题为黑箱问题;另一类是依据对问题所作的分析,通过数学建模或者通过整理归纳实验数据,能够判定出x与y之间满足或大体上满足某种类型的函数关系式,其中是n个待定的参数,这些参数的值可以通过m组实验数据来确定(一般要求),这类问题称为灰箱问题.解决灰箱问题的原则通常是使拟合函数在处的值与实验数值的偏差平方与最小,即取得最小值.这种在方差意义下对实验数据实现最佳拟合的方法称为"最小二乘法"。
回归直线方程公式与最小二乘法的原理
回归直线方程公式与最小二乘法的原理
最小二乘法，英文全称Least Squares Method，是统计学和优化学领域中用来估计系数和参数最为常见的方法之一。
它旨在拟合观测数据，使误差平方和最小。
尤其在回归分析及灰色预测中，最小二乘法广泛应用，常用来搭建观测数据之间的线性模型，确定模型参数。
最小二乘法是以误差的平方和为最小的优化目标函数，并利用求解极值的数学方法进行参数的确定，常用的是利用函数的首阶导数为0来寻找此函数的极大值或极小值，最小二乘法的最小化理论假设误差满足正态分布，最小二乘估计的参数是使偏差平方和最小的参数组合。
通过最小二乘法，可求解出线性回归直线公式，即 y=ax+b，其中a和b为拟合直线上任何一点的横纵坐标之间的系数，从而使得直线接近所有离散点，拟合度最佳。
在这里，a为斜率，b为截距，斜率a表示两个变量间，即x和y变量之间的
关系；截距b则表示原点离y轴的距离，反映出原点到斜率a的距离。
总结一下，最小二乘法使用误差的平方和作为最小化的优化目标函数，且假设误差满足正态分布，从而估计参数，使得出线性回归直线方程，即映射出线性关系，使得拟合数据度最佳。
线性回归的经验公式与最小二乘法
a,b的方法称为最小二乘法. LSE (Least Square Estimation)
10
n
a, b 的求解： Q(a, b) [ yi (a bxi )]2
i 1
Q
n
a
Q
b
2 2
i 1 n
i 1xi
)] )]xi
0 0
na nxb ny
nxa
(
i
n 1
xi2 )b
n i 1
——
xi yi
称为正规方程组
其中
x
1 n
n i 1
xi
,
y
1 n
n i 1
yi
11
na nxb ny
nxa
n
(
i 1
xi2 )b
n i 1
xi
yi
系数行列式
n D nx
nx
n
n
n
xi2
n(
x
2 i
nx
2
)
n
(xi x)2,
i 1
i 1
i 1 n
i1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
n
n
记 lxx
(xi x)2
x
2 i
nx 2
,
i 1
i 1
n
n
l yy ( yi y)2 yi2 ny2 ,
i 1
i 1
n
n
lxy ( xi x)( yi y) xi yi nxy ,
i 1
i 1
• 皮肌炎是一种引起皮肤、肌肉、 心、肺、肾等多脏器严重损害的， 全身性疾病，而且不少患者同时 伴有恶性肿瘤。它的1症状表现如 下：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其他可能的相关关系见下图：
y
o
x
y
o
x
y
o
x
y
o
x
6
图 1的10个点虽然不在一直线上，但大致散布于 一条直线周围，我们把其表示为：
yabx ~N(0,2) 即对每一个x值， y~N(ab,x 2),其中 a,b及2都是
不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一 线性回归方程. 通常记为 元
yi abix i
n
如 a, b 的值能使 | i |为最小,则该直线是较理想的选择.
n
i1 n
由于
| i |最小与
2 i
最小一致,故问题成为求
a,
b
,使
i 1
i 1
n
Q(a,b) [yi (abix)2]
i1
达到最小. 上述原则即称为最小二乘原则，由此估计
a,b的方法称为最小二乘法. LSE (Least Square Estimation)
yˆabx
由样 a,b本 进对 行 ,得 估 a ˆ及 到 b 计 ˆ,称 a为回,归 b为回归系数 .
7
求 a,b 估计值的方法：
(一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法：
最大似然估计法； 矩估计法； 最小二乘估计法（常用）.
8
二、最小二乘法
根据上述假 i1,设 2, n， , 对
i1 n
.
x
2 i
nx
2
(xi x)2
i1
i1
11
aˆ ybˆx,
n
n
x i y i n x y
( xi x )( yi y)
bˆ
i1 n
i1 n
.
x
2 i
nx
2
(xi x)2
i1
i1
n
n
记 lxx (xix)2 xi2nx2,
i1
i1
n
n
lyy (yiy)2 yi2ny2,
nxa(in1
xi2)b
n i1
xi
yi
系数行列式
n D nx
nx
n
n
n
x
2 i
n( xi2 nx2)n (xi x)2,
i1
i1
i1
由 于 xi 不 全 相 等 ， n D0,
所, bˆ
xi yi nxy
i1 n
( xi x )( yi y)
i1
i1
10
10
lxy (xi x)2 xiyi 10xy135,0
i1
i1
bˆ lxy 6.4286, aˆybˆx1.428, 8 lxx
所以所求回归方程为
y ˆ1.42 86.8 42x8.6
14
练习：
P240 习题七
15
第七章
1
变量之间的关系大致有 两种，一是 函数 关系， 是确定性的，如 s = v t ; 另一种是相关关系，是不 确定的.
在社会经济领域，更多的是相关关系. 如投 入与产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力 工具.
2
第一节
3
一、散点图与回归直线
将n对观察结果作为直角平面上的点，这样得 到的图形称为散点图.散点图可以帮助我们粗略地 看出 x 与 y 的相关关系的形式.
9
n
a,b的求解： Q(a,b) [yi (abix)2]
i1
Q
n
a
Q
b
2
i1
n
2
i1
[ [
yi yi
(a (a
bxi bxi
)] )]xi
0 0
nanxbny
nxa(in1
xi2)b
n i1
xi
yi
——
称为正规方程组
其中 xn 1i n1xi , yn 1i n1yi
10
nanxbny
求 y 对 x 的回归方程.
解
1 10
x 10i1
xi
8,
y 1 10 10i1
yi
50,
10
10
lxx (xi x)2 xi210x2 210,
i1
i1
10
10
lxy (xi x)2 xiyi 10xy135,0
i1
i1
13
10
10
lxx (xi x)2 xi210x2 210,
4
例1 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
散点图
120 100
80
60
40 20
0
0
5
10
15
20
图1
由图1可以看出，x 与 y 之间存在一定的相关关系， 且这种关系是线性关系.
i1
i1
n
n
lx y (x ix)y (iy) x iyin x y,
i 1
i 1
则
bˆ lx y , lxx
aˆ ybˆx.
显然回归直线经过散点图
的几何中心 (x, y) . 12
例2 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110