回归分析基本原理精讲

回归分析基本原理目录第1节回归分析概述 (2)第2节多元回归分析基本原理 (2)第3节回归分析预测在测绘中的基础应用 (7)3.1回归分析预测步骤 (7)3.2 一元线性回归分析应用 (8)3.3 多元线性回归分析应用 (8)3.4 基于Matlab的回归分析应用 (8)第4节非线性回归分析 (8)4.1 非线性函数形式的确定与线性转换 (8)4.2 多面函数拟合法 (9)4.3 基于正交函数系的拟合法 (9)第1节 回归分析概述在我们现实生活中，处于同一个过程的变量往往是相互依赖和制约的，这二者的关系可以分为两种形式：一种是确定性的关系（譬如可以用一个直线方程来表示），另一种是不确定的，虽然有关系，但是关系的表现形式却是不确定的，依赖于实际的情形，不能用一个精确的函数表达。

举个例子来说：人的血压y 与年龄x 的关系，人的年龄越大血压就会越高，但是相同年龄的人，血压未必相同。

也就是说血压y 与x 是有关系的，但是二者的关系无法用一个确定的函数表示。

血压y 的取值是可观测的，但是却是不确定的，在回归分析中，这种变量称为不可控变量。

在线性方程里自变量与因变量相对应，不可控变量也就是自变量。

由此引入回归分析的概念：研究一个随机变量（不可控变量）与一个或者几个可控变量之间相互关系的统计方法，就是回归分析。

只有一个自变量的回归分析，成为一元回归分析；有多个自变量的回归分析，称为多元回归分析。

回归分析无非是求不可控变量与可控变量之间的关系因子，无论是一元的还是多元目的都是一样的。

回归分析的主要内容有：如何确定因变量与自变量之间的回归模型；如果根据样本观测数据估计并检验回归模型及其未知参数；判别影响因变量的重要自变量；根据已经知道的值来估计和预测因变量的条件平均值并给出预测精度等。

通常在数据挖掘里面或者信息检索里面我们的应用无非是根据一系列训练样本(已观测样本)来预测一个未知的不可控变量的值。

第2节 多元回归分析基本原理多元线性回归分析是利用多元线性回归模型进行分析的一种方法。

多元线性回归模型表示一种地理现象与另外多种地理现象的依存关系，这时另外多种地理现象共同对一种地理现象产生影响，作为影响其分布与发展的重要因素。

设变量y 与变量m x x x ,,,21 具有统计关系，则称y 为影响因变量或因变量，m x x x ,,,21 为自变量或预报变量。

所谓多元线性回归模型是指这些自变量对y 的影响是线性的，即e x x x y m m +++++=ββββ 22110 （1）其中，m ββββ ,,,210是与m x x x ,,,21 无关的未知参数，称y 为对自变量m x x x ,,,21 的线性回归函数。

e 为随机误差，一般包括非重要自变量的省略、人为随机行为、数学模型欠妥、归并误差、测量误差。

采用最小二乘法对上式中的待估计回归系数m ββββ ,,,210进行估计，求得β值后，即可利用多元线性回归模型进行预测了。

1、多元线性回归模型的表示记n 组样本观测值为),,,,(21im i i i x x x y ，n i ,,2,1 =，代入（1）式，则有n i e x x x y i im m i i i ,2,1,22110=+++++=ββββ展开，即得⎪⎪⎩⎪⎪⎨⎧+++++=+++++=+++++=nnm m n n n m m m m e x x x y e x x x y e x x x y ββββββββββββ 2211022222211021112211101 （2） 其中，n e e e ,,,21 相互独立，且),0(~2δN e i ，n i ,,2,1 =，这个模型称为多元线性回归模型。

令⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nm n n m m x x x x x x x x x A 212222*********，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=m ββββ 10，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n e e e e 21 则上述函数模型可用矩阵形式表示为⎭⎬⎫+=),0(~2I N e e A y δβ （3） 可归纳总结为高斯-马尔可夫模型。

2、线性回归模型参数β的估值βˆ计算 线性回归模型中的回归参数可通过变量的样本数据（观测数据）来估计，用最小二乘法可获得回归参数的最优无偏估计值。

记β的估计量T m)ˆ,,ˆ,ˆ,ˆ(ˆ210βββββ =，故y 的估计量 βˆˆA y= 参数估计的关键是求得观测值的改正数e ˆ，而满足方程e A y +=β的eˆ有无限组，其中只有一组改正数的平方和为最小，这组最小改正数正是我们需要的，这种以改正数平方和为最小得到参数唯一解的准则，称为最小二乘准则，其表达式为min ˆˆ=e eT ，下面利用最小二乘准则对高斯-马尔可夫模型进行参数估计。

令估计值yˆ与原观测量y 的差值为e ˆ，则有误差方程 y A y y e-=-=βˆˆˆ 按照最小二乘估计准则，有min )ˆ()ˆ(ˆˆ=--=y y y y e eT T 为了得到参数估计值，构造函数)ˆ()ˆ(ˆˆy A y A e eT T --==ββψ 求ψ对βˆ的偏导数，令其为零，即可满足最小的条件 0)ˆ(ˆ=-=∂∂A y A T ββψ （4） 根据列矩阵对列矩阵求导的性质，若Y Z Z Y F T T ==，则对X 的导数为dXdY Z dX dZ Y dX Y Z d dX Z Y d dX dF T T T T +===)()( 对（4）式求导过程为令)ˆ(,)ˆ(y A Z y A Y T -=-=ββ，则 βββββββψˆ)ˆ()ˆ(ˆ)ˆ()ˆ(ˆ∂-∂-+∂-∂-=∂∂y A y A y A y A T T A y A T )ˆ(2-=β即得0)ˆ(=-A y A T β展开，有0)ˆ(=-A y A T T T β0ˆ=-A y A A T T T β等式两边再次转置，得0ˆ=-y A A A T T βy A A A T T =βˆ，此为法方程 即可求得βˆ的最小二乘估计值 y A A A T T 1)(ˆ-=βy 的最小二乘估计量yˆ为 y A A A A yT T 1)(ˆ-= 多元线性回归模型标准差（中误差）的计算公式为1ˆˆ1)ˆ(ˆ2--=---=∑m n e e m n y y T i i σ[备注]:自由度=样本个数-样本数据受约束条件的个数，即df=n-k （df 自由度，n 样本个数，k 约束条件个数），n-1是通常的计算方法，更准确的讲应该是n-k ，n 表示“处理”的数量，k 表示实际需要计算的参数的数量。

(多余观测数=总观测数-必要观测数)计算了多元线性回归方程之后，为了将它用于解决实际预测问题，还必须进行数学检验。

多元线性回归分析的数学检验，包括回归方程和回归系数的显著性检验。

3、回归模型（即方程）的显著性检验设原假设为0H ：021====m βββ ，备选假设为1H ：i β，m i ,,2,1 =，不全为零。

构建F 统计量)1()ˆ()ˆ(122----=--=∑∑m n yy m y y m n SSE m SSR F i i 式中：∑-2)ˆ(y y i 为回归平方和（regression sum of squares ，SSR ），其自由度为m ；∑-2)ˆ(y y i 为残差平方和（residual sum of squares ，SSE ），其自由度为1--m n 。

利用上式计算出F 值后，再利用F 分布表进行检验。

给定显著性水平α，在F 分布表中查出自由度为m 和1--m n 的值αF ，如果F ≥αF ，则说明y 与m x x x ,,,21 的线性相关密切；反之，则说明两者线性关系不密切。

备注： 把y 的n 个观测值之间的差异，用观测值i y 与其平均值y 的偏差平方和来表示，称为总离差平方和（total deviation sum of squares ，SST ）。

21)(∑=-=ni i y y SST4、回归系数的显著性检验设原假设为0H ：0=i β，备选假设为1H ：0≠i β，m i ,,2,1 =。

构建统计量i i S t i ββˆ= 其中σβˆ)ˆ(ii i i c Var S ==是回归系数iβˆ的标准差，ii c 是1)(-A A T 中第1+i 个对角线元素。

t 值应该有m 个，对每一个m i ,,2,1 =可以计算一个t 值。

给定显著性水平α，确定临界值)1(--m n t α。

若i t β≥)1(2--m n t α，则拒绝原假设0H ，接受备选假设，即总体回归系数0≠i β。

5、多元线性回归模型的精度多元线性回归模型精度可以利用残差（剩余）标准差来衡量。

1ˆˆ1)ˆ(ˆ2--=---=∑m n e e m n y y T i i σ σˆ越小，则用回归方程预测y 越精确；反之亦然。

6、回归模型的预报方程线性回归模型的预报方程为mm x x x y ββββˆˆˆˆˆ22110++++= 预报就是给自变量某一特定值pm p p x x x ,,,21 ，对因变量值p y 进行估计，求得的p yˆ作为p y 的预报值。

即 pmm p p p x x x y ββββˆˆˆˆˆ22110++++= 用p yˆ预报p y ，其预报误差为p e ，显然p y 与p y ˆ互相独立，且有 0)ˆ()ˆ(=-=p p p y y E eE ))(11()ˆ()()ˆ(12T ps s T s ps p p p A A A A ny D y D e D -++=+=σ 此即为预报精度计算公式。

构造t 分布统计量)(ˆˆp p p e y y t σ-= 式中，)(ˆp e σ为)ˆ(p e D 的均方根值，给定显著性水平α，预报值p y 的置信区间为)(ˆˆ)(ˆˆ22p p p p p e t y y e t yσσαα+<<-第3节回归分析预测在测绘中的基础应用3.1回归分析预测步骤回归分析预测法，是在分析自变量和因变量之间相关关系的基础上，建立变量之间的回归方程，并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量关系大多表现为相关关系。

回归分析预测法有多种类型。

依据相关关系中自变量的个数不同分类，可分为一元回归分析预测法和多元回归分析预测法。

在一元回归分析预测法中，自变量只有一个，而在多元回归分析预测法中，自变量有两个以上。

依据自变量和因变量之间的相关关系不同，可分为线性回归预测和非线性回归预测。

回归分析预测法的步骤1、根据预测目标，确定自变量和因变量明确预测的具体目标，也就确定了因变量。