最小二乘法在经济预测中的应用

编号（学号）：12914008

优化理论课程论文

（ 08 级 1班）

题目：最小二乘法在经济预测中的应用

学院：理学院

专业：信息与计算科学

姓名：刘天政

指导教师：张永祥

完成日期： 2011 年 12 月 18 日

最小二乘法在经济预测中的应用

摘要:由于经济发展呈现一种鹏飞的状态及其可能的动荡会引起严重的后果,使得经济预测成为了一个必然产物,预测会使人们在将来经济上可能出现的波动有所准备降低损失或增加收益.本文选择了经济预测中的其中一种方法最小二乘法的基本原理,并且利用了线性回归预测模型.同时对相关系数和标准偏差进行检验.最后给出了利用最小二乘法进行经济预测的实例.实现对产品生产的预测让各方面对产品的产量有个简单的了解.

关键词：最小二乘法;线性回归;产品生产预测

一.引言

随着改革开放的步伐带动各地的经济发展状态呈现一片大好的形势,由于地域人文不同各地经济特色也各显风骚.本文以某县为例,该县是全国经济百强县之一,全县大都以染料、纺织和布匹等生产加工为主.笔者了解到支撑该县经济支柱的大部分是以生产加工上述产品的中小企业甚至家庭型企业.由于他们规模不是很大,因此相应的各技术部门没有很好的配备,所以进行生产管理的方式没有像大型企业那样规范,他们产品的年产量往往根据企业主近几年摸爬滚打中积累起来对市场的判断来制订的,而没有进行科学的经济预测，这常常导致大量产品销售不够或大量产品积压在家,给企业带来严重影响.

经济预测是进行经济决策活动的一个重要组成部分.在实际经济活动中,预测的结果可以揭示经济现象在未来时期发展变化的情况和发现经济发展过程中存在的问题,从而为进行决策、制订计划、提高经济管理水平以及获取较好的经济效益提供了科学依据.运用定量预测模型进行预测的方法有很多,依据笔者对许多家庭型企业的了解及对企业主知识层次的分析,本文介绍的最小二乘法在经济预测中的应用方法简单明了,比较适合这些企业在进行预测产品产量时参考,从而能够避免盲目的生产和经营,尽可能地为企业获得最大利润.

二.最小二乘法

最小二乘法是由实验或调查的数据,建立线性型公式的一种常用方法.在建立线性型公式中,虽然有很多种不同的方法来求样本回归函数（即,真实总体回归函数的估计值）,但是,在回归分析中最广泛应用的方法是最小二乘法.

如果变量y x 和有精确的线性关系比如说b ax y +=,那么∧

=i i y y 即观测值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此,由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比如说人的身高和体重就是一个对应,我们都知道长的高的人不一定就重,同理长的矮的人也不一定就轻，但身高和体重的确存在着一定的关系,而这种关系并非是b ax y +=所能确定的.那么我们要寻求身高和体重之间的关系就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来；然后拟合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间的关系表示出来. 在处理类似的事情中常常用到最小二乘法.

所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为：

102

2)()(min

i i

x b b Y

Y Y

--=

∑∑∑∧

为了说明这个方法，先解释一下最小二乘原理.

i i i x B B Y μ++=10 （一元线性回归方程）

由于总体回归方程不能进行参数估计,我们只能对样本回归函数来估计即： i i i e x b b Y ++=10 )...2,1(n i = (1.1) 从（1.1）公式可以看出：残差i e 是i Y 的真实值与估计值之差,估计总体回归函数最优方法是,选择10,B B 的估计量10,b b ,使得残差i e 尽可能的小.

总之,最小二乘原理就是选择样本回归函数使得所有Y 的估计值与真实值差的平方和为最小,这种确定10,b b 的方法叫做最小二乘法.

在经济关系中,往往某一指标与多个因素有关,如果这种关系具备一定的线性相关性，就可以用多元回归分析来处理,假设由观测得到一组数据：

),...,,(),...,,...,,(),,...,,(212222111211nm n n m m x x x x x x x x x

1y 2y ，… ， n y

令向量分别为：

)

,...,()

,...,,()

,...,,(),...,(2,121222122

121,111n nm m m m

n n y y y Y x x x X

x x x X

====

如果向量组m X X X ,...,,21与Y 存在线性关系,得到n 元线性预测公式

m X

a X

a X a a Y ++++=∧

...2

2110 （1.2）

其矩阵形式为：

=????????????n y y y 21?????

??????????????????m nm n n m m a a a x x x x x x x x x

22221112111

(1.3）其中m a a a ,...,,10为待定常数,亦称回归系数.

如何来确定m a a a ,...,,10的值呢?将每组观测值代入（1.3）就得到：

im m i i i x a x a x a a Y ++++=∧

...22110 )...2,1(n i =

特别地1=n 时 x a a Y 10+=∧

（1.4）

∧

i Y 与i y 间存在差异.记i e ∧

-=i i Y y

我们选择这样的m a a a ,...,,10使每个偏差i e )...2,1(n i =都尽量小，因为偏差

（∧

-i i Y y ）有正有负，所以偏差的代数和)(∧

-∑i i Y y 并不能反映总体偏差的大小，而

∑

∧

-i i Y y 数学上处理起来也比较繁杂，所以通常采用使偏差平方和2

∑i e 为最小.

即 ∑==n

i S 1

[]2

22110)...(im m i i i

x a x a x a a y ++++-最小（1.5）

显然,偏差平方和随m a a a ,...,,10的变化而取不同的值,可把S 视为m a a a ,...,,10的多元函数,并求极值得： ∑

==??n

i a S 10[]0)1()...(222110=-++++-im m i i i x a x a x a a y ∑

??n

i a S 11[]0)()...(2122110=-++++-i im m i i i x x a x a x a a y

∑

??n

i m

a S 1

[]0)()...(222110=-++++-im im m i i i x x a x a x a a y

整理得：

=++++=++++=++++∑∑∑∑∑∑∑∑∑∑∑∑∑∑==============n i n i n i n i n

i i

im m i m i im i im im n i n i n i n i i

i im i m i i i n i i n i n i n i n

i i im m i i y x x a x x a x x a x a y x x x a x x a x a x a y x a x a x a n a 111112

221101111

112122

11110111122110.........

（1.6）

将上述m+1个方程式联立起来就m a a a ,...,,10求解,则得到公式（1.5）的待定系数值,从而确定了多元线性预测公式.

特别地当1=n 时，10,a a 的估计公式为：

?--=-=∑∑∑∑∑∑∑=======n i n

i i i n i n i n

i i i i i n i n

i i

i x x n y x y x n a n x a y a 112

211111

110)( （1.7）

三.相关系数与标准偏差

3.1相关系数R

以两个变量的情况为例,因为只要任意给定两个变量y x ,的一组数据,都可以经过计算给出一个经验公式,这个公式在多大程度上反映了y x ,的关系呢?因为只要通过最小二乘法采取强拟合我们同样可以把一组毫无线性关系的数据表成线性关系,但这条直线并不能很好地反映了变量y x 和的实际关系,缺乏应用价值,例如：

1234567891011121314151

原始散点图强拟合后散点图

为此我们一方面要建立从经验上认为有意义的方程,另一方面我们必须用数学方法进

行拟合效果和显著性相关检验. 其公式如下：我们称R=

yy xx xy L L L 为y x 和的相关系数，其中：

))((1

y y x x

y x n

xy L i i

xy --=

∑∑∑∑

)()

(1x x

x n x L i

xx -=

∑∑∑

)()

(1y y

y n

y L i

yy -=

=∑∑∑

∑=

i x n

x 1

∑=

i y n

y 1

由上可推算： yy L R S )1(2

由0≥S ,0≥yy L 有 012

≥-R ,所以10≤≤R , R 越接近1,S 越接近0,y x ,的线性关

系越好.

（1）当

0,1==S R 时, 即i e =0，称y x ,完全线性关系.

（2）当 0,0==xy L R 时。说明y x ,无关，即不存在线性关系.

（3）当 10≤≤R 时,可选定相关系数的显著性水平α，按2-=Φn 的值查相关

系数显著性检验表求出临界值αγ.

（4）当 αγ≥R 时,说明i x 的值的变化对i y 的值的变化影响很大,y x ,存在强相关

关系.

（5）当 αγ?R 时,所求相关关系是无效的,即经验公式是无意义的. 3.2标准偏差

)(1∧

∑i i

xy Y y n

其中： xy S -------标准偏差 i y --------实例值

∧

i Y --------预测值 n --------数据点个数

四.预测实例

经验公式a a Y 10+=∧

是平面上统计点的分布呈线性时的表示形式,同时它也是小二乘理论的"形之根本",即无论是线性的还是非线性的最后都是要化为这种形式.下面我们就散点图呈曲线的情况进行预测.

例:对??纺织品销售额的拟合.我们选取销售额为因变量,单位为万元,拟合销售额关于时间x 的趋势曲线.以1991年为基准年,取值 x =1,2001年x =11,1991—2001年的数据如表一.

表一

年份x 1991 1992 1993 1994 1995 1996 1997

1998 1999 2000 2001

19.8 25.6 40.0 49.0 68.0 92.0 112.0 138.0 182.0 238.0 432.0

作出表一所给数据的分布图:

销售额趋势图

50100150200250300350400450

9920

年份

销售额

年份

由散布图可以看出统计点是非线性的,它大致呈指数形分布. 我们就取经验公式

y βα= （1.8）

来拟合这条曲线.

这个经验公式所反映的点的排列是非线性的,我们可以通过取对数将其转化为线性函数

从而运用最小二乘法确定这个线性函数. 即： B Ax z += 其中

αβln ,,ln ===B A y z ,x y βα+=ln ln ,进而计算βα,的值.

取)11...2,1(=i x ;i y 为各年的销售额；i i y z ln =,根据具体数据代入得到如下的表格 .

表二

年份 i x

i y

i x

i i y z ln = i i z x

1991 1 19.8 1 2.986 2.986 1992 2 25.6 4 3.243 6.486 1993 3 40.0 9 3.689 11.067 1994 4 49.0 16 3.892 15.568 1995 5 68.0 25 4.220 21.10 1996 6 92.0 36 4.522 27.132 1997 7 112.0 49 4.718 33.026 1998 8 138.0 64 4.927 39.416 1999 9 182.0 81 5.204 46.836 2000 10 238.0 100 5.472 54.72 2001 11 432.0 121 6.608 66.748 合计

1396.4

506

48.941

325.085

得出：

2=-+=-

+∑∑∑∑∑i i

i i

i z x

x B x A z

nB x A

即：

??=+=+941

.481166085.32566506B A B A

ln 734327.21210

536.3308285809.01210829.345===

===

B A

查对数表得3994.15=α,将αβ,代入（1.8）式中,因此得到了所求的经验公式为： x

y 285809.03994.15?= （1.9）

下面计算相应系数进行显著性检查：

924024

.15)(1110)(1439.311

222

=-==-=∑∑

∑∑∑∑∑z n

z L x n x L z x n xz L zz xx xz

751.0853

.41439.31.==

xx xz L L L R ,那么751.0=R

查看关系表（按)92112,01.0=-=-=n α得到回归临界值735.0=αγ,因为751.0=R >735.0=αγ,说明y x ,间存在强相关关系,可以按公式：

y 285809.03994.15?=

进行外推预测,预测该企业2002和2003年的销售额为：

（万元）

万元）9044.629(3277.4731312==y y

以上是根据散点分布趋势选取曲线来拟合得出的结果,那么如果我们强行用线性关系即

B Ax Y +=∧

来拟合曲线,会得出怎样的结果呢？同样根据数据表

年份时间序号i x 销售额（万元）i y i i y x 2

i x

i y

1991 1 19.8 19.8 1 392.04 1992 2 25.6 51.2 4 655.36 1993 3 40.0 120 9 1600 1994 4 49.0 196 16 2401 1995 5 68.0 340 25 4624 1996 6 92.0 552 36 8464 1997 7 112.0 784 49 12544 1998 8 138.0 1104 64 19044 1999 9 182.0 1638 81

33124

2000 10 238.0 2380 100 56644 2001 11 432.0 4752

121 186644

合计 66

1396.4

11937 506 326116.4

得出：

?=+=+1193711664.139666506B A B A 得出： 1599.67,650909.32-==B A

因而： 1599.67350909.32-=∧

x Y （2.0）相关系数 879.08

.1488491106.3558.=?=

xx xz L L L R

查看关系表（按)92112,01.0=-=-=n α得到回归临界值735.0=αγ.

735.0>∴R ,说明我们可以按公式1599.67350909.32-=∧

x Y 来进行趋势预测,得出：

万元）

(4019.353(0510.3211312==∧

∧

Y Y

我们把两组数据比较一下:

?（万元）万元）9044.629(3277.47313

12==y y ?

万元）

(4019.353(0510.3211312==∧

∧

Y Y

显然第二种方法的结果误差太大,这是由于没有考虑散点图分布发展的趋势,强行采用线性拟合的结果.

由此可见.某产品在一个时期内产量比较稳定，就可用最小二乘法进行趋势预测，但选用曲线来拟合散点时必须依据散点的趋势正确选择曲线,否则有可能出现类似本文的情况即，两条曲线的显著性系数都符合要求都可以用来预测,但其中的一条由于没有分析散点的发展趋势以致于产生的误差太大.所以企业在日常生产管理中预测方法的科学性,将很大程度上决定企业的利润,从而给经营者制定或调整计划提供了理论依据.

参考文献

[1].韩於羹.应用数理统计[M].北京:北京航空航天出版社:157-191.

[2].徐天群,董亚娟等.应用数理统计学习指导[M].武汉:武汉大学出版社:156-170.

[3].方开泰,全辉等.实用回归分析[M].科学出版社:20-94,141-160.

[4].岳苓水,赵宝贵.最小二乘法在商品销售预测中的应用[J].地质技术经济管

理,1997.1:57-60.

[5].杜国毅.最小二乘法在经济预测中的应用[J].内蒙古统计,2001,(06) . 53-54.

[6].陆健.最小二乘法及其应用[J].中国西部科技,2007,(19).

[7].刘瑞芳,梅孝安.最小二乘法数据处理[J].电脑知识与技术(学术交流),2007,(05).

利用Eviews软件进行最小二乘法回归实例

例题中国居民人均消费支出与人均GDP（1978-2000），数据（例题1-2），预测，2001年人均GDP为4033.1元，求点预测、区间预测。（李子奈，p50）解答：一、打开Eviews软件，点击主界面File按钮，从下拉菜单中选择Workfile。在弹出的对话框中，先在工作文件结构类型栏（Workfile structure type）选择固定频率标注日期（Dated – regular frequency），然后在日期标注说明栏中（Date specification）将频率（Frequency）选为年度（Annual），再依次填入起止日期，如果希望给文件命名（可选项），可以在命名栏（Names - optional）的WF项填入自己选择的名称，然后点击确定。此时建立好的工作文件如下图所示：

在主界面点击快捷方式（Quick）按钮，从下拉菜单中选空白数据组（Empty Group）选项。此时空白数据组出现，可以在其中通过键盘输入数据或者将数据粘贴过来。在Excel文件（例题1-2）中选定要粘贴的数据，然后在主界面中点击编辑（Edit）按钮，从下拉菜单中选择粘贴（Paste），数据将被导入Eviews软件。

将右侧的滚动条拖至最上方，可以在最上方的单元格中给变量命名。二、估计参数在主界面中点击快捷方式（Quick）按钮，从下拉菜单中选择估计方程（Estimate Equation）在弹出的对话框中设定回归方程的形式。

在方程表示式栏中（Equation specification ），按照被解释变量（Consp ）、常数项（c ）、解释变量（Gdpp ）的顺序填入变量名，在估计设置（Estimation settings ）栏中选择估计方法（Method ）为最小二乘法（LS – Least Squares ），样本（Sample ）栏中选择全部样本（本例中即为1978－2000），然后点击确定，即可得到回归结果。以上得到的回归结果可以表示为： 201.1190.3862(13.51)(53.47)Consp GDPP =+? 如果你试图关闭回归方程页面（或Eviews 主程序），这时将会弹出一个对话框，询问是否删除未命名的回归方程，如下图所示

最小二乘法及其应用..

最小二乘法及其应用 1．引言最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）

经济预测与决策案例分析

经济预测与决策案例分析 TYYGROUP system office room 【TYYUA16H-TYY-TYYYUA8Q8-

案例分析一（一元线性回归模型）我国城市居民家庭人均消费支出预测一、研究的目的要求居民消费在社会经济的持续发展中有着重要的作用。居民合理的消费模式和居民适度的消费规模有利于经济持续健康的增长，而且这也是人民生活水平的具体体现。改革开放以来随着中国经济的快速发展，人民生活水平不断提高，居民的消费水平也不断增长。但是在看到这个整体趋势的同时，还应看到全国各地区经济发展速度不同，居民消费水平也有明显差异。例如，2002年全国城市居民家庭平均每人每年消费支出为元, 最低的黑龙江省仅为人均元，最高的上海市达人均10464元，上海是黑龙江的倍。为了研究全国居民消费水平及其变动的原因，需要作具体的分析。影响各地区居民消费支出有明显差异的因素可能很多，例如，居民的收入水平、就业状况、零售物价指数、利率、居民财产、购物环境等等都可能对居民消费有影响。为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的计量经济模型去研究。二、模型设定我们研究的对象是各地区居民消费的差异。居民消费可分为城市居民消费和农村居民消费，由于各地区的城市与农村人口比例及经济结构有较大差异，最具有直接对比可比性的是城市居民消费。而且，由于各地区人口和经济总量不同，只能用“城市居民每人每年的平均消费支出”来比较，而这正是可从统计年鉴中获得数据的变量。所以模型的被解释变量Y选定为“城市居民每人每年的平均消费支出”。因为研究的目的是各地区城市居民消费的差异，并不是城市居民消费在不同时间的变动，所以应选择同一时期各地区城市居民的消费支出来建立模型。因此建立的是2002年截面数据模型。影响各地区城市居民人均消费支出有明显差异的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入，其他因素虽然对居民消费也有影响，但有的不易取得数据，如“居民财产”和“购物环境”；有的与居民收入可能高度相关，如“就业状况”、“居民财产”；还有的因素在运用截面数据时在地区间的差异并不大，如“零售物价指数”、“利率”。因此这些其他因素可以不列入模型，即便它们对居民消费有某些影响也可归入随即扰动项中。为了与“城市居民人均消费支出”相对应，选择在统计年鉴中可以获得的“城市居民每人每年可支配收入”作为解释变量X。从2002年《中国统计年鉴》中得到表1-1的数据:

偏最小二乘法

偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用于近红外、红外、拉曼、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法〔1, 2〕。近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外、红外和拉曼中应用的深入开展 , PLS 方法还被用来解决模式识别、定量校正模型适用性判断以及异常样本检测等定性分析问题。由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果〔3 ～ 5〕。本文主要介绍PLS 方法在光谱定性分析方面的原理及应用实例。偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。在PLS 方法中用的是替潜变量，其数学基础是主成分分析。替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。 §§ 6.3.1 基本原理 6.3 偏最小二乘（PLS ）为了叙述上的方便，我们首先引进“因子”的概念。一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。在主成分回归中，第一步，在矩阵X 的本征矢量或因子数测试中，所处理的仅为X 矩阵，而对于矩阵Y 中信息并未考虑。事实上，Y 中亦可能包含非有用的信息。所以很自然的一种想法是，在矩阵X 因子的测试中应同时考虑矩阵Y 的作用。偏最小二乘正是基于这种思想的一种回归方法。偏最小二乘和主成分分析很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，在数学上是以矩阵Y 的列去计算矩阵X 的因子，与此同时，矩阵Y 的因子则由矩阵X 的列去预测。其数学模型为： E P T X +'=F Q U Y +'=

最小二乘法及其应用

最小二乘法及其应用最小二乘法是一个比较古老的方法，早在十八世纪，就由高斯首先创立并成功地应用于天文观测和大地的测量工作中。此后，近三百年来，它已被广泛应用于科学实验与工程技术中。随着现代电子计算机的普及与发展，这个古老的方法更加显示出其强大的生命力。最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可以用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法拟合曲线的基本原理是：成对等精度地测得一组数据x，只(i=l，2，…，n)，试找出一条最佳的拟合曲线，使得这条拟合曲线上的各点的值与测量值的差的平方和在所有拟合曲线中最小。所谓“拟合”，即不要求所作的曲线完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。曲线拟合的几何解释是：求一条曲线，使数据点均在离此曲线的上方或下方不远处。用最小二乘法拟合的曲线较为精确，接近于实际曲线。因而，最小二乘法拟合曲线在实际生活和科学研究中有着重要的意义，并渗透到各个领域，在物理、气象、化学、医学等方面有着广泛的应用。例如，在物理方面，我们通常通过实验测得数据，然后根据这些实验数据拟合曲线，从而总结出某种现象的规律或者变化趋势，进而采取相应的措施避免或加强其变化程度。这对于指导我们了解物理现象，并深刻理解物理知识是非常有帮助的。又如，在气象方面，在温室效应的研究中，科学家们通过对1860年到1980年的11个地球平均温度增加值的分析,利用最小二乘法进行曲线拟合,通过精确计算,建立了地球平均温度增加值与时间之间的函数关系。从而得出在2080年左右,地球的平均温度会比1980年上升约6℃,从而会引起诸如冰川后退、海平面上升等一系列严重的环境问题。到时极地冰盖就会融化,从而引起大量的洪水泛滥和大片的陆地被淹没,这一认识对进行环境质量评价和提出保护地球的措施具有重要的理论意义。

经济预测与决策复习题

经济预测与决策复习题一、选择题 1、预测期限为一年以上、五年以下（含五年）的经济预测称为（ B ） A、长期经济预测 B、中期经济预测 C、近期经济预测 D、短期经济预测 2、相关系数越接近±1，表明变量之间的线性相关程度（ C ） A、越小 B、一般 C、越大 D、不确定 3、采用指数平滑法进行预测时，如果时间序列变化比较平稳，则平滑系数的取值应为（ A ） A、0.1-0.3 B、0.5-0.7 C、0.7-0.9 D、0.4-0.6 4、在进行经济预测时，以下哪一个原则不属于德尔菲法必须遵循的基本原则（ D ） A、匿名性 B、反馈性 C、收敛性 D、权威性 5、使用多项式曲线模型对时间序列进行模拟时，若该时间序列经过m次差分后所得序列趋于某一常数，则通常应采用（ B ） A、m-1次多项式曲线模型 B、m次多项式曲线模型 C、m+1次多项式曲线模型 D、m+2次多项式曲线模型 6、下列哪一种说法正确（ A ） A、状态转移概率矩阵的每一行元素之和必为1 B、状态转移概率矩阵的每一列元素之和必为1 C、状态转移概率矩阵的主对角线元素之和必为1 D、状态转移概率矩阵的副对角线元素之和必为1 7、如果某企业规模小，技术装备相对落后，担负不起较大的经济风险，则该企业应采用（ A ） A、最大最小决策准则 B、最大最大决策准则 C、最小最大后悔值决策准则 D、等概率决策准则 8、运用层次分析法进行多目标决策时，通常采用1～9标度法构造判断矩阵。假设第i个元素与第j个元素相比极端重要，则元素a为（ D ）ij A、1 B、5 C、1/9 D、9 9、某厂生产某种机械产品需要螺丝作为初始投入。如果从外购买，市场单价为0.5元；若自己生产则需要固定成本3000元，单位可变成本为0.3元。则螺丝的盈亏平衡点产量为（ C ）A、6000 B、10000 C、15000 D、20000 10、以下支付矩阵的纳什均衡是（ B ）左中右上（2，0）（2，5）（1，3）下（2，1 ），（03 21（，）） A、 D（下，中）、（下，右）（上，中）（上，左） B、 C、二、填空题、围绕某一问题召开专家会议，通过共同讨论进行信息交流和相互诱发，激发出专家 1从而进行集体判断预测的方法被称为产生许多有创造性的设想，们创造性思维的连锁反

最小二乘法实际应用

---------------------------------------------------------------最新资料推荐------------------------------------------------------ 最小二乘法实际应用最小二乘法实际应用最小二乘法实际应用一、分析问题：利用最小二乘法找出实际测试数据的拟合曲线。设定测量一天内不同时间车流量的曲线。以下是假定不同时间段车流量数据表，按照数据找出任意次曲线拟合方程和它的图像。二、 Matlab 程序代码： x=[1:1:24]; y=[2, 3, 1, 1, 5, 12, 13, 15, 14, 9, 10, 11, 12, 13, 14, 12, 11, 10, 9, 12, 10, 11, 5, 4] ; x1=polyfit(x, y, 3) ; %三次多项式拟合% x2=polyfit(x, y, 9) ; %九次多项式拟合% x3=polyfit(x, y, 15) ; %十五次多项式拟合% y1= polyval(x1, x) ; y2= polyval(x2, x) ; y3= polyval(x3, x) ; z1= sum((y-y1) . ) ; %三次多项式误差平方和% z2= sum((y-y2) . ) ; %九次次多项式误差平方和% z3= sum((y-y3) . ) ; %十五次多项式误差平方和% plot(x, y, ‘ *’ ) ; %用*画出 x, y 图像% hold on; plot(x, y1, ‘ r’ ) ; %用红色线画出 x, y1 图像% hold on; plot(x, y2, ‘ g’ ) ; %用绿色线画出 x, y2 图像% hold on; plot(x, y3, ‘ b:x’ ) ; %用蓝色 x 线画出 x, y3 图像% 三、结果：不同次数多项式拟和误差平方和为： 1 / 6

Matlab最小二乘法曲线拟合的应用实例

MATLAB机械工程最小二乘法曲线拟合的应用实例班级: 姓名: 学号: 指导教师:

一，实验目的通过Matlab上机编程，掌握利用Matlab软件进行数据拟合分析及数据可视化方法二，实验内容 1.有一组风机叶片的耐磨实验数据，如下表所示，其中X为使用时间，单位为小时h，Y为磨失质量，单位为克g。要求：对该数据进行合理的最小二乘法数据拟合得下列数据。 x=[10000 11000 12000 13000 14000 15000 16000 17000 18000 19000 2 0000 21000 22000 23000]; y=[24.0 26.5 29.8 32.4 34.7 37.7 41.1 42.8 44.6 47.3 65.8 87.5 137.8 174. 2] 三，程序如下 X=10000:1000:23000; Y=[24.0,26.5,29.8,32.4,34.7,37.7,41.1,42.8,44.6,47.3,65.8,87.5,137.8,17 4.2] dy=1.5; %拟合数据y的步长for n=1:6 [a,S]=polyfit(x,y,n); A{n}=a;

da=dy*sqrt(diag(inv(S.R′*S.R))); Da{n}=da′; freedom(n)=S.df; [ye,delta]=polyval(a,x,S); YE{n}=ye; D{n}=delta; chi2(n)=sum((y-ye).^2)/dy/dy; end Q=1-chi2cdf(chi2,freedom); %判断拟合良好度 clf,shg subplot(1,2,1),plot(1：6,abs(chi2-freedom),‘b’) xlabel(‘阶次’)，title(‘chi2与自由度’) subplot(1,2,2),plot(1：6,Q,‘r’,1：6,ones(1,6)*0.5) xlabel(‘阶次’),title(‘Q与0.5线’) nod=input(‘根据图形选择适当的阶次（请输入数值）’)； elf,shg, plot(x,y,‘kx’)；xlabel(‘x’),ylabel(‘y’)； axis([8000,23000,20.0,174.2])；hold on errorbar(x,YE{nod},D{nod},‘r’)；hold off title(‘较适当阶次的拟合’) text(10000,150.0,[‘chi2=’num2str(chi2(nod))‘~’int2str(freedom(nod))])

最小二乘法的原理及其应用

最小二乘法的原理及其应用一、研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。二、最小二乘法的原理人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：

经济预测与决策论文

基于马尔科夫链的企业经济预测与决策 2009 级MPM班魏锟2009211053063 摘要：讨论了我国企业的发展现状及趋势，针对企业中常见的经济问题，建立相应的马尔科夫链模型，并运用马尔科夫链的相关理论为企业的经济活动进行了定量的研究，同时也阐述了马尔科夫链在经济预测中的基本思想、应用、模型预测的结果说明。实例表明，马尔科夫链模型及方法在企业经济活动分析中是可行和适用的，可广泛应用于解决企业中常见的预测及决策问题。关键词：马尔科夫链；市场预测；平均利润预测；转移概率矩阵 1 引言马尔科夫链最初由俄国数学家Markov 于1906年的研究而得名,Kolmogorov，Feller 和Doob 等数学家继续发展了这一理论，它是随机过程的重要组成部分，同时它在自然科学、工程技术、金融及经济管理等各领域中都有着广泛的应用[1]。随着我过社会主义市场经济的不断发展，科学技术的进步，经济管理体制改革的深入和企业经营机制的转变，企业不仅要利用经济活动分析这一管理经济的重要方法，分析企业的生产经营活动，而且还要分析企业的经济环境，了解国内外市场情况和社会需求的变化，以便随着其不断变化，及时调整生产经营活动，增强竞争力，从而使企业能够适应商品经济的要求而健康发展。因此，企业的经济活动分析在企业的经营管理中发挥着日益重要的作用，它对事后实事求是地分析、总结企业完成的经济活动和事前科学地预测、判断企业未来的经济活动都是必不可少的[2]。一般情况下，经济预测的定量方法要用到数学模型，而定性方法则不需要。马尔可夫链为经济领域中运用数学模型对定性问题进行预测提供了一种思路，丰富了经济预测方法的内容。企业是一个动态变化的

经济预测与决策技术

第1 页共9 页经济预测与决策考试形式：闭卷考试时量：150分钟总分：100分一．单选题1*15=15分 1.经济预测的第一步是（）A A.确定预测目的，制定计划 B.搜集审核资料 C.建立预测模型 D.评价预测成果 2.对一年以上五年以下的经济发展前景的预测称为（）B A.长期经济预测 B.中期经济预测 C.短期经济预测 D.近期经济预测 3.（）回归模型中，因变量与自变量的关系是呈直线型的。C A.多元 B.非线性 C.线性 D.虚拟变量 4.以下哪种检验方法的零假设为：B1=B2=…=Bm=0？B A.r检验 B.F检验 C.t检验 D.DW检验 5.以数年为周期，涨落相间的波浪式起伏变动称为（）D A.长期趋势 B.季节变动 C.不规则变动 D.循环变动 6.一组数据中出现次数最多的变量值，称为（）A A.众数 B.中位数 C.算术平均数 D.调和平均数 7. 通过一组专家共同开会讨论，进行信息交流和相互启发，从而诱发专家们发挥其创造性思维，促进他们产生“思维共振”，达到相互补充并产生“组合效应”的预测方法为（） A A.头脑风暴法B.德尔菲法C.PERT预测法D.趋势判断预测法 8.（）起源于英国生物学家高尔登对人类身高的研究。B A.定性预测法 B.回归分析法 C.马尔科夫预测法 D.判别分析预测法 9.抽样调查的特点不包括（）D A.经济性 B.时效性 C.适应性 D.全面性 10.下图是哪种多项式增长曲线（）B A.常数多项式 B.一次多项式 C.二次多项式 D.三次多项式 11.根据历年各月的历史资料，逐期计算环比加以平均，求出季节指数进行预测的方法称为（）C A.平均数趋势整理法 B.趋势比率法 C.环比法 D.温特斯法 12.经济决策按照目标的性质和行动时间的不同，分为（）D A.宏观经济决策和微观经济决策 B.高层、中层和基层决策 C.定性决策和定量决策 D.战术决策和战略决策 13.（）是从最好情况出发，带有一定冒险性质，反映了决策者冒进乐观的态度。B A.最大最小决策准则 B.最大最大决策准则 C.最小最小后悔值决策准则 D.等概率决策准则 14.如果某企业规模小，技术装备不良，担负不起较大的经济风险，则该企业应采用（）A A.最大最小决策准则 B.最大最大决策准则 C.最小最小后悔值决策准则 D.等概率决策准则 15. 经济决策的决定程序为（）A ①评价优选方案②搜集资料确定方案③实施验证④发现问题，确定目标 A.④②①③ B.②④①③ C.④①③② D.④②③① 二．多选题1*15=15分 1.经济预测的基本原则（）ABCD A.实事求是 B.用联系和发展的观点看问题C.坚持连贯性和类推性原则D.正确选择和运用预测方法 2.按预测的时态不同，可以分为以下几种：（）CD A.宏观经济预测 B.微观经济预测 C.静态经济预测 D.动态经济预测 3.德尔菲预测法的特点包括（）ABC A.匿名性 B.反馈性 C.集中性 D.真实性

最小二乘法原理及应用【文献综述】

毕业论文文献综述信息与计算科学最小二乘法的原理及应用一、国内外状况国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。二、进展情况数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。

经济预测与决策案例分析

曲线拟合的最小二乘法matlab举例

曲线拟合的最小二乘法学院：光电信息学院姓名：赵海峰学号： 200820501001 一、曲线拟合的最小二乘法原理：由已知的离散数据点选择与实验点误差最小的曲线 S( x) a 0 0 ( x) a 1 1(x) ... a n n ( x) 称为曲线拟合的最小二乘法。若记 m ( j , k ) i (x i ) j (x i ) k (x i ), 0 m (f , k ) i0 (x i )f (x i ) k (x i ) d k n 上式可改写为 ( k , jo j )a j d k ; (k 0,1,..., n) 这个方程成为法方程，可写成距阵形式 Ga d 其中 a (a 0,a 1,...,a n )T ,d (d 0,d 1,...,d n )T , 、数值实例：下面给定的是乌鲁木齐最近 1个月早晨 7:00左右(新疆时间 )的天气预报所得到的温度数据表，按照数据找出任意次曲线拟合方程和它的图像。它的平方误差为： || 2 | 2 ] x ( f

(2008 年 10 月 26~11 月 26) F 面应用Matlab 编程对上述数据进行最小二乘拟合三、Matlab 程序代码: x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7,6,5,3,1]; %三次多项式拟合% %九次多项式拟合% %十五次多项式拟合% %三次多项式误差平方和 % %九次次多项式误差平方和 % %十五次多项式误差平方和 % %用*画出x,y 图像% %用红色线画出x,b1图像% %用绿色线画出x,b2图像% %用蓝色o 线画出x,b3图像% 四、数值结果：不同次数多项式拟和误差平方和为: r1 = 67.6659 r2 = 20.1060 r3 = 3.7952 r1、r2、r3分别表示三次、九次、十五次多项式误差平方和拟和曲线如下图: a 仁polyfit(x,y,3) a2= polyfit(x,y,9) a3= polyfit(x,y,15) b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).A 2) r2= sum((y-b2).A2) r3= sum((y-b3).A2) plot(x,y,'*') hold on plot(x,b1, 'r') hold on plot(x,b2, 'g') hold on plot(x,b3, 'b:o')

经济预测与决策(决策部分)

一、选择题 1、在实际决策中，要取得完全信息（B）。 A．是很容易的 B．是不可能的 C．是没有必要的 D．是能做到的 2、在决策方案选择中以“令人满意”准则代替“最优化”原则（A）。 A．具有实践意义 B．不具有实践意义 C．降低了决策标准 D．是不科学的 3、在个人决策和集体决策两种决策中，具有决策速度快、效率高特点的是（A）。 A．个人决策 B．集体决策 C．个人决策和集体决策 D．不能肯定 4、决策在融合各门相关科学理论与方法的基础上，形成多种不同的作用形式和具体分析方法，体现了经营决策的（D）。 A．指导思想的科学性 B．程序的完整性 C．内容的复杂性 D．方法的多样性 5、在决策中，决策的科学性原则体现在（D）。 A．决策程序上

B．决策方法上 C．决策方案实施上 D．以上都对、 6、决策过程有固定的程式和标准方法的是（ A ）。 A．确定型决策 B．未确定型决策 C．风险型决策 D．个人决策 7、在非确定型决策时，为了充分利用收益函数所提供的全部信息，决策者应该采取的决策准则是（ C）。 A.最小最大原则 B.最大最大原则 C.等概率准则 D. 准则 8、敏感度分析的目的是（B ）。 A、揭示决策方案如何受某些因素的影响 B、找到影响决策方案的因素 C、了解决策者对信息的感应度 D、提高决策的质的分析水平 9、在转折点上，最佳方案损益期望值与非最佳方案损益期望值（A ）。 A. 相等 B. 前者大于后者 C. 后者大于前者 D. 不能确定 10、借助决策树分析法评价、分析、计算某种方法获得信息的价值（B ）。 A、是不可能的 B、是可以做到的 C、是不必要的 D、可操作性差 11、某企业有三种扩大生产方案，产品的市场需求量有三等，其收益情况如下表：如果决策根据悲观准则则应选择方案（ C ）。

最小二乘法应用实例

数值计算方法实际应用（论文）题目最小二乘法原理实际生活应用学院信息工程学院专业软件工程姓名张同班级 13级2班学号1402130235

摘要最小二乘法（又称最小平方法）是一种数学优化技术，是利用最小化误差的平方和寻找数据的最佳函数匹配的一种计算方法[1]，目前在测量学、城市道路规划、物理学、地质勘探学、概率论、统计学等领域有着广泛的应用。本文对最小二乘法进行了深入细致的研究，利用Visual C++编制程序实现最小二乘法的界面化设计，通过实验数据的输入，实现线性和二次拟合曲线的输出，并利用设计的程序实现了一些实际问题的求解和处理。关键词：最小二乘法曲线拟合Visual C++

最小二乘法在实际生活中的应用一．实际问题描述：早在19世纪后期，英国生物学家Galton 在研究父母身高与子女身高关系时，观察了1078个家庭中父亲、母亲身高的平均值x 和其中一个成年儿子身高y,建立了x 与y 之间的线性关系。二．提出问题：通过父母平均身高推算出成年儿子身高三．分析问题：平时我们在实验过程中会遇到两量y x ,如果存在b ax y +=的线性关系时，其中b a ,为线性函数的参数。当实验数据存在这种线性关系时，通常我们运用作图法对其参数进行处理运算、进而求出实验结果。但是作图法很难得到好的结果，而运用最小二乘法可以得到比较好的线性拟合 [19] 。对其两种方法比较可以最小二乘法的数据处理方法是比较理想的办法。四．实验原理: 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法拟合:对给定数据点{(Xi ，Yi)}(i=0,1,…，m)，在取定的函数类Φ 中，求p(x)∈Φ ,使误差的平方和E ^2最小，E^2=∑[p(Xi)-Yi]^2。从几何意义上讲，就是寻求与给定点 {(Xi ，Yi)}(i=0,1,…，m)的距离平方和为最小的曲线y=p(x)。函数p(x)称为拟合函数或最小二乘解，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。五．解决方案：运用数值计算方法中的最小二乘法处理数据，计算出a 与b ，得到y=a+bx 关系式。 1.根据实验数据列以下表格：表1 实验数据收集父母平均身高x （cm ） 155 160 165 170 175 180 成年儿子身高y （cm ） 158 164 168 175 178 188 2.主要程序代码： #include #include

《经济预测与决策》实验报告

实验一一元线性回归预测一、实验目的通过实验掌握一元线性回归预测的数学模型、参数估计方法、误差分析和检验，掌握一元线性回归的点预测和区间预测。二、实验内容 1．对下表所给数据，用Excel直接计算一元线性回归模型的参数估计、可决系数、标准差、t统计量。 2．分析模型的优劣，α=0.05,作他检验。 3．若2011年月人均可支配收入x0=5000元，预测该商品的销售量，并给出置信度为95%的区间预测。

三、实验步骤 1.用excel做回归于测四、实验结果 1.有上图可知，一元线性回归模型的参数估计a为5807.16，b为0.32、可决系数为0.219、标准差为808.64、t统计量为1.98. 2.可决系数越大，回归方程就拟合得越好，相反越差，由题意知，可决系数较小，所以拟合得不好由查表得F α=4.60，tα=2.15，又由上图可知，

F检验： F=3.93< F α=4.60,故回归方程不显著。 T检验： t=1.98

最小二乘法综述及举例

最小二乘法综述及算例一最小二乘法的历史简介 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。二最小二乘法原理最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。其中n a a a ,...,1,0是n +l 个待定参数,记()2 1 ∑=- = m i i i y v s 其中是测量值, 是由己求得的n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值 )(,...,1,0;,...,2,1n il i i a a a x x x f y =。在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a 最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。三曲线拟合曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。（1）一元线性拟合设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。令()2 1 10∑ =--=m i i i x a a y s ，则1,0a a 应满足1,0,0==??i a s i 。即 i v i v

最小二乘法原理及其简单应用_邹乐强

科技信息 SCIENCE &TECHNOLOGY INFORMATION 2010年第23期y (%) 1.000.90.90.810.60.560.35x (%) 3.6 3.7 3.8 3.9 4.0 4.1 4.2 最小二乘法原理及其简单应用邹乐强（河南工程技术学校河南焦作 454000）【摘要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使读者对最小二乘法有更为清晰、系统、全面地认识。【关键词】最小二乘法；回归模型；参数估计；系统辨识最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。本文就最小二乘法的引入、最小二乘法原理的简单证明、最小二乘法在线性参数估计、欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行具体的阐释。本文的一些理论建立在学习过高等代数、数值分析及了解简单的经济计量学的基础上。本文的理论简明易懂，仅对现实中常见的问题用最小二乘法理论结合阐释。 1问题的引入例已知某种材料在生产过程中的废品率y 与某种化学成分x 有关。下列表中记载了某工厂生产中y 与相应的x 的几次数值：我们想找出y 对x 的一个近似公式。解把表中数值划出图来看，发现它的变化趋势近于一条直线。因此我们决定选取x 的一次式ax+b 来表达。当然最好能选到适当的a ，b 使下面的等式 3.6a+b -1.00=03.7a+b -0.9=03.8a+b -0.9=03.9a+b -0.81=0 4.0a+b -0.60=04.1a+b -0.56=04.2a+b -0.35=0 都成立。实际上是不可能的，任何a ，b 代入上面各式都会发生误差。于是想找a ，b 使上面各式的误差的平方和最小，即找到a ，b 使 (3.6a+b -1.00)2+(3.7a+b -0.9)2+(3.8a+b -0.9)2+(3.9a+b -0.81)2+(4.0a+b -0.60)2+(4.1a+b -0.56)2+(4.2a+b -0.35)2 最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现在转向为一般的最小二乘法问题：实系数线性方程组 a 11x 1+a 12x 2+…+a 1n x n - b 1=0 a 21x 1+a 22x 2+…+a 2n x n - b 2=0………… a m 1x 1 +a m 2x 2+…+a mn x n -b m = 1.1 可能无解。即任何一组实数x 1,x 2,……,x s 都可能使 m i =1 Σ(a i 1x 1+a i 2x 2+…+a in x n -b i )2 （*）不等于零。我们设法找到实数组x 0 1,x 0 2,…,x 0 s 使最小，这样的x 0 1,x 0 2,…,x 0 s 称为方程组的最小二乘解。这样问题就叫最小二乘法问题。 [1] 2 最小二乘法原理的证明 2.1 最小二乘法原理的初等证明定理：X =(x 1,x 2,……x n )T 是矛盾方程组（1.1）的最小二乘解的充要条件是X 是方程组 (m i =1Σa 2 i 1)x 1+ m i =1Σa i 1a i 211x 2+…+ m i =j Σa i 1a in 11x n =m i =1 Σa i 1b i m i =1Σa i 2a i 1 1 1x 1+ m i =1Σa 2 i 2 11x 2+…+m i =1Σa i 2a in 11x n = m i =1Σa i 2b i m i =1 Σa in a i 11 1x 1+m i =1Σa in a i 211x 2+…+ m i =1 Σa 2 in 11x n = m i =1 Σa in b i 2.2 的解[2] 证明：设Y = m i =1Σ b i -n k =1 Σa ik x k 11 2 2.3 把Y 整理为关于x j (1≦j ≦n)的二次函数得 Y = m i =1 Σa 2ij 1 1x 2 j +2m i =1 Σ(a j (a i 1x 1+…+a i ,j -1x j -1+a i ,j +1x j +1+…+a 1n x n b j ))x j +m i =1 Σ(a i 1x 1+…+a i ,j -1x j -1+a i ,j +1x j +1+…+a in x n -b j )2 j=1,2,3,……,n 必要性：设X =(x 1,x 2,……,x n )T 是方程组⑴的最小二乘解，由定义1知⑴式中Y 有最小值，且X 是最小值点。由二次函数的性质得知二次函数 m i =1 Σa 2ij 〉0（j=1,2,……,n ），故a ij 不全部为零（与A 列满秩的假设一致），且X 满足： X = m i =1 Σ[a ij (a i 1x 1 +…+a i ,j -1x i,j -1 +a i ,j +1x i,j +1+…+a in x n -b n )] m i =1 Σa ij (j=1,2,……,n) 2.4 化简得： m i =1 Σa ij a i 111x 1+m i =1Σa ij a i 211x 2+…+ m i =1Σa ij a i,j-111x j -1+ m i =1 Σa 2 ij 11x j + m i =1Σa ij a i,j+111x j +1+…+m i =1Σa ij a in 1 1x n =m i =1 Σa ij b i (j=1,2,…n) 这就是方程组⑵。不难看出方程组⑵的系数矩阵为A T A （A T 表示A 的转置矩阵），由A 列满秩知|A T A |≠0，故⑵有唯一解。必要性得证。充分性：设X 是方程组（2）2.2的解，由x j (j =1,2,...,n )满足方程组2.2，也就是满足⑷式，再由于A 列满秩，a ij (i =1，2，...，m )不全为零，故⑶中二次项系数 m i =1 Σa 2 ij ＞0，因此，⑷中式Y 有最小值且最小值点为X =(x 1 ， x 2，...，x n )，所以X 是方程组⑴的最小二乘解。 2.2利用欧氏空间证明最小二乘法下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令 A ＝ a 11a 12…a 1n a 21a 22 …a 2n … ……… a m 1 a m 2… a mn ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠B = b 1b 2… b m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ X = x 1x 2… x m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ Y =n j =1Σa 1j x 1n j =1Σa 2j x 2n j =1 Σa mj x m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ ≠ ≠≠≠≠ ≠ ≠≠≠≠≠ ≠≠ ≠ =AX 2.5 ○职校论坛○ 282