回归分析相关定义

回归分析是一类数学模型，特别当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，这叫一元线性回归，即模型为Y＝a＋bX＋ε，这里X 是自变量，Y是因变量，ε是随机误差，一般的情形，有k个自变量和一个因变量，因变量的值可以分解为两部分：一部分是由自变量的影响，即表示为自变量的函数，其中函数形式已知，但含一些未知参数；另一部分是由于其他未被考虑的因素和随机性的影响，即随机误差。当函数形式为未知参数的线性函数时，称线性回归分析模型；当函数形式为未知参数的非线性函数时，称为非线性回归分析模型。

相关分析研究的是现象之间是否相关、相关的方向和密切程度，一般不区别自变量或因变量。而回归分析则要分析现象之间相关的具体形式，确定其因果关系，并用数学模型来表现其具体关系。两个变量之间到底是哪个变量受哪个变量的影响，影响程度如何，则需要通过回归分析方法来确定。一般来说，回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

R2又称为方程的确定性系数（coefficient of determination），表示方程中变量X对Y的解释程度。R2取值在0到1之间，越接近1，表明方程中X对Y的解释能力越强。通常将R2乘以100％来表示回归方程解释Y 变化的百分比。F检验是通过方差分析表输出的，通过显著性水平（significant level）检验回归方程的线性关系是否显著。一般来说，显著性水平在0.05以下，均有意义。

回归分析的步骤

根据预测目标，确定自变量和因变量

明确预测的具体目标，也就确定了因变量。如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。通过市场调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

建立回归预测模型

依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

进行相关分析

回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。只有当变量与因变量确实存在某种关系时，建立的回归方程才有意义。因此，作为自变量的因素与作为因变量的

预测对象是否有关，相关程度如何，以及判断这种相关程度的把握性多大，就成为进行回归分析必须要解决的问题。进行相关分析，一般要求出相关关系，以相关系数的大小来判断自变量和因变量的相关的程度。

检验回归预测模型，计算预测误差

回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

计算并确定预测值

利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后

的预测值。

三、一元线性回归模型

对于具有线性因果关系的两个变量，由于有随机因素的干扰，两变量的线性

关系中应包括随机误差项μ，即有：

u bx a y ++= （9—3）

对于x 某一确定的值，其对应的y 值虽有波动，但在大量观察中随机误差的

期望值为零，即()E μ=0，因而从平均意义上说，总体线性回归方程为：

()Y E Y a bX ==+ （9—4）

上式中，a 是回归直线的截距项，即X 为0时Y 的值，从数学意义上理解，它表示在没有自变量X 的影响时，其它各种因素对因变量Y 的平均影响；b 是回归系数（直线的斜率），表示自变量x 每变动一个单位时，因变量Y 平均变动b 个单位。

我们可通过样本观察值计算参数a 、b 的估计值，求得参数的估计值后，即

求得样本回归方程，用它对总体线性回归方程进行估计。样本回归直线方程又称一元线性回归方程，其表达形式为：

x b a y ???+= (9－5)

式中：?y 表示因变量的估计值（回归理论值）；?a

和?b 是待定参数a 和b 的估计值。一元线性回归方程中的待定参数是根据样本数据资料估计确定的。确定回归方程就是要找出a 与b 的估计值?a 及?b ，使直线???y a b =+总体看来与所有的散点最接近，即确定最优的?a

与?b ，统计学上常采用最小二乘法（Ordinary least squares estimation,亦称最小平方法）。

设样本回归模型为：

??i i y a bx e =++ 1, 2, , i n =L （9－6）

于是有：???i i i i i e y a

bx y y =--=- 从式（9－6）可以看出，?a

和?b 取不同值就有不同的样本回归直线，从而有不同的残差i e 。为了保证残差最小，希望i e 接近于0，但由于有n 个i e ，还必须考虑总体残差最小，又因为i e 可能存在正负相互抵消，i e ∑最小不能真正表达总体残差最小的思想。故此又想到使i e ∑最小，但使i e ∑达到最小，确定参数

估计值的计算较为复杂，最终选择普通最小二乘法确定?a

和?b ，就是估计使得所有Y 的估计值与观察值的残差平方和2

i e ∑达到最小的参数?a

、?b 即： 22)??(min ∑∑--==i i i x b a y e Q

这就是最小二乘法的基本原理。

由于本书旨在介绍该种方法在统计中的应用，故数学推导过程省略,根据最小二乘法原理，利用微积分中求极值的方法，求得a 、b 的估计值， ?????-=∑-∑∑∑-∑=x b y a x x n y x xy n b ?)(?22 （9－7）

当?a 、?b 求出后，一元线性回归方程???y a b =+便确定了。

单次测量值x1与测定平均值之差的平方的总和，以Q 表示，Q 值越大，表示测定值之间的差异越大，用偏差平方和表征差异的优点是能充分利用测度数据所提供的信息，缺点是Q 随着测定值数目的增多而增大，为了克服这一缺点，用方差S2=Q/f 来表征差异的大小，其中f 为自由度。如一个测定结果受多个因素影响，则总偏差平方和等于实验误差与各因素（包括固定因素与随机因素）所形成的偏差平方和之总和。

为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异称残差，把每个残差的平方后加起来 称为残差平方和，它表示随机误差的效应

意义：

每一点的y 值的估计值和实际值的平方差之和称为残差平方和,而y 的实际值和平均值的平方差之和称为总平方和。

残差平方和：为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异 称残差，把每个残差的平方后加起来 称为残差平方和，它表示随机误差的效应。

回归平方和

总偏差平方和=回归平方和 + 残差平方和。

残差平方和与总平方和的比值越小，判定系数 r2 的值就越大。

残差图的评价

“残差图”以回归方程的自变量为横坐标，以残差为纵坐标，将每一个自变量的残差描在该平面坐标上所形成的图形。当描绘的点围绕残差等于0的直线上下随机散布，说明回归直线对原观测值的拟合情况良好。否则，说明回归直线对原观测值的拟合不理想。

从“残差图”可以直观地看出残差的绝对数值都比较小，所描绘的点都在以0为横轴的直线上下随机散布，回归直线对各个观测值的拟合情况是良好的。说明变量X与y之间有显著的线性相关关系。

Welcome !!! 欢迎您的下载，资料仅供参考！