第八章相关与回归分析

第八章相关与回归分析

客观现象总是普遍联系和相互依存的，分析认识变量之间的依存关系是统计学研究的重要内容之一。在方差分析中我们讨论了分类型变量与数值型变量的关系，本章将讨论数值型变量之间的关系，主要内容是：测度数值型变量之间关系紧密程度的相关系数及其检验、揭示变量间依存关系的回归方程的建立及其显著性检验。

第一节相关分析与回归分析概述

一、变量间的关系

客观现象总是相互联系和相互依存的，客观现象之间的数量联系大致分为两种：函数关系和相关关系。

当一个变量或几个变量取一定的值时，另一个变量有确定的值与之对应，我们称这种关系为函数关系。例如，在价格P一定的情况下，某种商品的销售收入Y与该商品的销售量X 之间的关系可用Y=PX表示，当销售量取一定的值时，销售收入有确定的值与之对应，这就是函数关系。一般把作为影响因素的变量称为自变量，把发生对应变化的变量称为因变量。

当一个变量或几个变量取一定的值时，与之对应的另一个变量的取值不确定，但它仍然按照某种规律在一定的范围内变化，这种变量之间非严格的依存关系我们称为相关关系，记

为()ε+

y，其中x为自变量，y为因变量。例如：人们的收入和消费、劳动生产率与=x

f

工资水平、商品流通规模与流通费用、企业的产值与投入的原材料、劳动力、资金等之间都存在着相互依存关系，但却不是绝对的唯一确定关系，它们都属于相关关系。

函数关系与相关关系之间并无严格的界限。由于有测量误差及各种随机因素的干扰，有函数关系的变量间可能表现为相关关系；在对变量之间的联系有深刻了解之后，相关关系可用函数关系来描述。

本章要讨论的是现象之间的相关关系。

二、相关关系的种类

从不同的角度出发，相关关系可做如下的分类。

（一）根据自变量的多少可以分为单相关、复相关和偏相关

两个变量之间的相关关系，称为单相关；两个以上变量的相关关系称为复相关。例如，企业的产值与投入的原材料、劳动力、资金等变量之间的关系就是一种复相关。在复相关关系讨论中，若我们仅讨论结果变量与某一个因素变量之间的关系而假定其它变量不变时，称关于这两个因素之间的相关关系为偏相关。在本章，我们只讨论单相关的有关问题。

（二）根据相关关系的形态不同分为线性相关和非线性相关

当一个变量X发生变动，另一个变量Y随之发生大致均等的变动，从图像上近似地表现为直线形式，这种相关称为线性相关或直线相关。例如，在一定的范围内，人均消费水平与人均收入水平之间通常表现为直线相关关系。若变量之间的相关关系呈曲线形式则称为非线性（或曲线）相关。例如：从人的生命全过程看，年龄与医疗费支出呈非线性相关关系。在本章我们只讨论线性相关的问题。

（三）根据根据变量间变化方向的不同可分为正相关和负相关

若变量之间的变化方向一致，即一个变量的值增加（或减少），另一个变量的值也随之

增加（或减少），这样的关系称为正相关。例如工业总产值和利税额、家庭消费支出和收入等即为正相关。若变量之间变化方向相反，即一个变量的数值增大（或减小），另一个变量的数值却减小（或增大），这样的关系称为负相关。例如劳动生产率提高则产品成本降低、产品成本降低则企业利润增加等。

三、相关分析与回归分析的内容

相关分析和回归分析是研究相关关系的两种基本方法。所谓相关分析，就是用一个指标来表明现象间相互依存关系的密切程度。所谓回归分析，就是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。

相关分析和回归分析有密切的联系，它们不仅具有共同的研究对象，而且在具体应用时，常常必须相互补充。相关分析需要回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只能当变量之间存在高度相关时，进行回归分析寻求其相关的具体形式才有意义。

（一）相关分析与回归分析的内容

相关分析和回归分析是研究相关关系的两种基本方法。

相关分析要讨论的内容是：判断现象之间是否存在相关关系；如果存在相关关系，则要进一步判断相关关系的种类和关系的紧密程度；关系的紧密程度是用相关系数来刻划，但往往我们是用样本数据计算相关系数，这种相关系数是否能真实地反映总体的相关程度，还必须进行显著性检验。

回归分析要研究的内容是：在相关分析的基础上，建立反映变量间依存关系的数学模型即回归方程；对回归方程进行显著性检验。由于我们是在定性判断的基础上选择的回归模型，并且是根据样本资料建立的回归方程，可能定性判断不恰当，可能样本数据的随机性影响回归方程的真实性和可靠性，因此必须对回归方程进行显著性检验。

（二）相关分析与回归分析的区别与联系

回归分析和相关分析相互联系又存在明显的区别，其区别主要表现在：

1.分析的内容不同。相关分析的主要研究内容是现象之间有无相关关系及关系的密切程度，而回归分析主要研究现象之间数量关系的依存形式，即建立回归方程，并用方程对现象进行预测。

2.变量的地位不同。进行相关分析时，两个变量的地位是平等的，不必区分自变量和因变量，而回归分析则一定要明确哪个是自变量，哪个是因变量。

3.变量的性质不同。相关分析中所有变量均为随机变量，而回归分析中因变量为随机变量，自变量可以为确定性变量，也可以是随机变量。

相关分析和回归分析之间的联系表现为，它们的研究对象相同，都是对具有相关关系的现象进行分析研究，而且在应用时常常相互补充。相关分析需要回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象间数量变化的相关程度，只有在变量间存在较高的相关关系时，进行回归分析才有意义。由于以上原因，一些统计学书籍将相关分析和回归分析称为相关关系分析或相关分析。

以下我们将逐一讨论简单的线性相关和一元线性回归分析的基本理论和方法。

第二节相关分析

一、相关关系的描述

相关分析是确定变量之间是否存在相关关系以及何如描述这种关系的强度。

相关分析是根据已有的数据确定变量之间是否存在相关关系以及何如描述这种关系的强度。相关分析的方法主要分为定性判断和定量分析两类。定性判断就是从定性角度分析和

判断现象之间是否具有相关关系以及相关关系的类型。这种分析和判断所依据的是对现象的了解和对有关的理论知识、专业知识的掌握，以及一定的社会实践经验。定量分析就是在定性分析的基础上，通过编制相关表、绘制相关图、计算相关系数与判定系数等方法，来判断现象之间相关的方向、形态及密切程度。

（一）相关表

相关表是一种反映变量相关关系的统计表。将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。

【例8-1】根据表8-1的现金收入与现金支出数据，我们选择10个省份的人均现金支出和现金收入资料，编制的相关表如表8-2：

表8-2 10个省现金支出和现金收入的相关表亿元

现金收入和支出的依存关系，我们可以绘制相关图。

（二）相关图

以变量X为横轴，Y为纵轴建立的直角坐标系，将相关表上每一对应的具体数值)

,

x

(y 用散点标出来而形成的图称为相关图称或散点图。利用散点图，可以直观、形象地表现变量之间的相互关系。图8-1是表明现象间不同关系的散点图。

图8-1 不同关系形态的散点图

【例8-2】根据表8-1的资料绘制散点图。

解：用Excel 绘制的散点图如下（具体操作步骤参见第三章统计数据的整理）。

图8-2 2006年1季度现金支出与现金收入散点图

从散点图可以看出，现金收入和现金支出之间存在正的线性相关关系。 二、相关系数

从散点图可以直观地判断两个变量之间有无相关关系，并对变量间的关系类型有大致的了解。但散点图不能准确反映变量之间的关系密切程度。当变量之间呈线性关系时，其相关关系的密切程度可用相关系数来刻划。

（一）相关系数的计算

相关系数是一个相对指标，若相关系数是根据总体全部数据计算得出，称为总体相关系数，记做ρ；若是根据样本数据计算得到的，则称为样本相关系数，记做r 。样本相关系数的计算公式为：

∑∑∑-⋅---==22)()()

)(()()()

,(y y x x y y x x y D x D y x Cov r (8.1)

公式中的),(y x Cov 为x 和y 的协方差，)(x D 为x 的方差，)(y D 为y

的方差。公式（A ）正的线性相关 （B ）负的线性相关

（C ）曲线相关 （D ）不相关

（8.1）可以变形为以下计算公式： ()()2222∑∑∑∑∑∑∑-⋅--=y y n x x n y

x xy n r (8.2)

【例8-3】根据表8-1的资料计算相关系数。

解：相关系数r 的计算复杂，一般用Excel 计算，其具体步骤如下：

第1步：顺次点击【工具】、【数据分析】、【相关系数】、【确定】；

第

2步：填写相关系数对话框。在【输入区域】引用输入的数据，本例为B1：C32；勾选【标志位于第一行】；在【输出区域】中引用一个单元格，本例为D1。见图8-5。

图8-3 填写相关系数对话框

第3步：点击【确定】，得到相关系数的结果，见表8-3。

表8-3 2006年1季度现金收入和现金支出相关系数表

支出 收入 支出

1 0.963744 收入 0.963744 1

（二）相关系数r 的性质：

为了充分认识和运用相关系数r ，对其性质做如下总结。

1.相关系数r 的取值范围在-1和+1之间，即：–1≤r ≤1。

2.若r 为正，则两变量呈正线性相关；若r 为负，则两变量呈负线性相关。

3.如果1=||r ，则表示两个变量完全线性相关，即为函数关系。如果0=r ，则表示两个变量没有线性关系。应该注意：0=r 只能说明两个变量没有线性关系，而不能说明两个变量没有关系，因为有可能它们之间存在曲线相关关系。

4.相关系数r 的绝对值越接近于1，表示相关程度越强；越接近于0，表示相关程度越弱。用相关系数判断两变量线性相关关系密切程度的具体标准为：

300.||<≤r ，称为微弱相关；

5030.||.<≤r ，称为低度相关；

8050.||.<≤r ，称为显著相关；

180<≤||.r ，称为高度相关。

必须指出，以上关于相关系数的性质和判断变量关系密切程度的标准必须建立在对相关系数的显著性检验基础之上。

三、相关系数的显著性检验

一般情况下，总体相关系数ρ是未知的，通常根据样本相关系数r 来近似估计ρ。由于r 是根据样本计算得到的，它受到抽样误差的影响，因此对于不同的样本，计算出的r 也不同，因此r 是一个随机变量。能否根据样本的相关系数说明总体的相关程度？这就需要考察r 的可靠程度，也就是要对r 进行显著性检验。为此，我们必须认识r 的抽样分布。

（一）r 的抽样分布

为了对样本相关系数r 的显著性进行检验，需要参考r 的抽样分布。当样本数据来自正态总体，且样本容量n 很大时，r 的抽样分布近似服从正态分布。当总体相关系数ρ的绝对值很小甚至等于0时，这种趋势是明显的，而当ρ值远离0且样本容量不够大时，r 的抽样分布会呈现出一定的偏态。因为r 的取值是围绕在ρ周围的，当ρ的绝对值很大时，例如99.0=ρ，r 的值应以0.99为中心分布。从r 的性质知r 的取值范围在+1到-1之间，所以一边的变化以+1为限，离中心的变化距离为0.01，而另一边的变化是以-1为限，距离为1.99，两边的变化距离不等，自然r 的抽样分布就不对称。但当ρ值接近0时，两边的变化距离大致相等，此时r 的抽样分布就接近对称。可见，r 的抽样分布是随着总体相关系数ρ和样本容量n 的大小而变化的。

当ρ为较大的正数时，r 呈现左偏分布；当ρ为较大的负数时，r 呈现右偏分布。只有当ρ接近0时，才近似对称。若样本容量n 充分大后，r 是近似服从正态分布的随机变量。 而我们讨论的往往是关系较强的，总体相关系数ρ的绝对值都较大，而且样本容量往往都不够大，用样本相关系数r 去估计ρ时，假定r 服从正态分布是不合适的。此时r 的分布服从费歇尔提出的t 分布假设，且该检验既适用于小样本也适用于大样本。

应当注意，当r 的绝对值很小而样本容量n 又很大时，总是能通过检验的。这时并不能说明两变量之间具有线性关系。所以在相关程度很低时，检验没有多大意义。

（二）r 的显著性检验

r 显著性检验的具体步骤如下：

第一步：提出假设：假设样本是从一个不相关的总体中抽样的，即：

0010≠=ρρ：；：H H

第二步：计算检验的统计量：

)2n (t ~||---=212

r n r t （8.3）

第三步：进行统计决策。根据给定的显著性水平α和自由度2-=n df ，查t 分布表，得到临界值)2(2-n t α。若2

||αt t >，则拒绝原假设0H ，表明总体的两个变量之间存在显

著的线性关系。

【例8-4】以5%的显著性水平，检验全国各省区2006年1季度现金收入与现金支出之间的相关系数是否显著。

第一步：提出假设：假设样本是从一个不相关的总体中抽样的，

0010≠=ρρ：；：H H

第二步：计算检验的统计量。将表8-3的数据代入t 检验统计量公式，得：

5920967440123196744012

22..|.|||=--=--=r n r t

第三步：进行决策。根据给定的显著性水平α=0.05和自由度29231=-=df ，查t 分布表，得到0452********.)(.=-t 。由于0452259202

050...=>=t t ，所以拒绝原假设0H ，

表明现金支出和现金收入之间存在显著的正线性相关关系。

第三节 一元线性回归分析

在变量之间的相关程度很高的基础上，应进行回归分析，以考察变量之间的因果关系，并通过建立数学模型——回归方程来更深入的反映自变量变化对因变量的影响。

回归分析将讨论以下几个方面的具体问题：

1.利用已知的样本数据，确定变量之间的数学模型——回归方程；

2.对模型中的参数以及模型的可靠程度进行检验。

一、一元线性回归模型

在回归分析中，我们把作为结果的变量称为因变量，也就是在模型中被预测或被解释的变量，用y 表示；把作为原因的变量称为自变量，用x 表示。例如，在分析现金支出与现金收入的关系中，我们需要了解的是在将来一定现金收入的条件下，现金支出将达到的水平。因此，现金支出是被预测的变量即因变量y ，而用来预测现金支出的现金收入就是自变量x 。这里我们只讨论一元线性回归，即只有一个自变量，且因变量与自变量之间为线性相关关系。

对于具有线性关系的变量y x ,，可以用一个线性方程即一元线性模型来刻划它们之间的关系。一元线性模型为：

εββ++=x y 10 （8.4）

在这个模型中，线性主部)(x 10ββ+反映由x 变化而引起的y 的线性变化；而随机项ε反映了除此之外由随机因素造成的对y 的影响，是不能由线性主部所能解释的变异因素。

（一）回归的经典假设

1．自变量x 是确定性变量，不是随机变量；如果不满足这一假定，可能会产生随机解释变量。

2．随机误差项ε服从０均值和等方差的正态分布：

n i V a r E i i ,,,)()( 210

2===σεε （8.5） ),(~20σεN （8.6）

3．随机误差项在不同样本点之间是独立的，不存在序列相关：

n j i j i C o v j i ,,,,),( 210=≠=εε （8.7）

以上这些基本假定是德国数学家高斯最早提出的，也称为高斯经典假设。满足以上标准假定的一元线性回归模型称为标准的一元线性回归模型。

（二）总体回归方程模型

根据回归模型的经典假设，ε的期望值等于零，因此y 的期望值

x y E 10)(ββ+= （8.8）

也就是说总体回归模型是描述的x 取一定值，所对应的y 的期望。

总体回归模型的图形是一条唯一确定的直线。0β是该直线的截距，

也就是当x 取0时y 的期望值；1β是直线的斜率，它表示当x 每变动一个单位，y 的平均变化量，通常1β称为回归系数。

（三）样本回归方程

总体回归模型是我们需要求取的，而我们仅有样本信息。所以我们首先用样本信息估计出样本回归模型，然后用统计方法推断出总体回归模型。样本回归模型又称为估计的回归方程，样本回归模型如下：

x y 1

0ββˆˆˆ+= （8.9） 公式中的0

βˆ和1βˆ是样本的统计量，用以推断总体回归方程的参数0β和1β。 二、参数的最小二乘估计

若能算出统计量0βˆ和1βˆ，样本回归方程就确定了。如何求取0

βˆ和1βˆ呢，常用的是最小二乘法。在给定的一组样本观测值n i y x i i ...2,1),(=之下，要求样本回归方程尽可能好

的拟合这组值，就是要求代表真实值的散点到样本回归直线的距离之和最小，即因变量的真

值i y 与回归直线上的估计值i y

ˆ之差的平方和最小： )ˆ,ˆ()ˆˆ()ˆ1

02102ββββQ x y y y i i i i =--=-∑∑（ （8.10） 当样本观测值n i y x i i ...,),(21=已知时，上式是关于0

βˆ和1βˆ的二元函数。对于多元函数最小值的求取，运用多元微积分中的极值定理，容易得到：

⎪⎪⎩⎪⎪⎨

⎧-=--=∑∑∑∑∑x

y x x n y x xy n 10221βββˆˆ)())((ˆ （8.11） 在一组已知的样本观测值之下，运用最小二乘法即可求得参数0

βˆ和1βˆ，于是可得到最优拟合直线——样本的回归方程。参数1βˆ称为回归系数，表示自变量每变动一个单位因

变量平均的变动值。

【例8-5】根据表8-1全国各省2006年1季度现金收入与现金支出数据，求现金支出对现金收入的估计回归方程。

根据公式（8.11）得：

⎪⎩⎪⎨⎧==353.2757

ˆ559621.0ˆ01ββ 于是得到估计回归方程：

x y

559621.02757.353ˆ+=

回归系数559621.0ˆ1

=β，表示现金收入每增加一亿元，现金支出平均增加0.559621亿元。 回归分析的计算量大，用手工计算很麻烦，在实际工作中，可以运用统计软件来处理。下面我们结合上述例子，说明Excel 操作的具体步骤。

我们将2006年1季度各区期内现金支出和期内现金收入输入到Excel 工作表中的B2：C32单元格，然后按以下步骤进行操作：

第1步：顺次点击【工具】、【数据分析】、【回归】、【确定】。

第2步：填写“回归”对话框。在【Y 值输入区域】中引用B1：B32；在【X 值输入区域】中引用C1：C32；勾选【标志】；在【置信度】中给出所需的数值（默认值为95%）；在【输出区域】中引用一个单元格，比如D1。见图8-4。

图8-4 填写回归对话框

第3步：点击【确定】，得到输出的结果，见表8-6。

表8-4 Excel 输出的回归分析结果

Excel 输出的回归分析结果包括以下三部分内容：

第一部分是“回归统计”。该部分给出了回归分析中的一些常用统计量，包括相关系数（Multiple R ）、判定系数2R （R Square ）、调整后的判定系数2R （Adjusted ）、标准误差、观察值的个数等。

第二部分是“方差分析”，该部分给出了自由度（df ），回归平方和、残差平方和、总平方和、回归和残差的均方、检验统计量、F 检验的显著性水平。“方差分析”部分的主要作用是对整个方程拟合程度做显著性检验，后面我们会详细介绍。

第三部分列出了模型中参数的估计值以及对这些估计值进行检验的数值，包括回归方程的截距0β、斜率1β以及截距和斜率的标准误差、用于检验回归系数的t 统计量，P 值，以及截距和斜率的置信区间。

我们要讨论的内容其计算结果在这里都有体现。

三、回归直线的拟合优度

回归直线i

i x y 10ˆˆˆββ+=在一定程度上描述了变量y 和x 之间的数量关系，由此可根据自变量x 的取值来估计或预测因变量y 的取值。但估计或预测的精度将取决于回归直线对观测数据的拟合程度。如果各观测数据的散点围绕回归直线越紧密，说明回归直线对观测数据的拟合程度越好，反之越差。我们把回归直线和各观测点的接近程度称为回归直线对数据的拟合优度。为了量化拟合优度，需要计算判定系数。为了说明判定系数的含义，我们需要对因变量的变差进行分解。

（一）因变量变差的分解

因变量y 的取值是有差异的，y 取值的这种不同称为变差。变差的产生来源于两个方面：一是由于自变量x 的不同取值造成；二是除x 以外的其它因素（例如测量误差等）的影响。对一个具体的观测值来说，变差的大小可以用实际观测值y 与因变量的均值y 之差（y y -）来表示。

图8-5 变差分解图

从图8-7可以看出，每个观测点的变差都可以分解为两部分，即：

)ˆ()ˆ(y y y y y y -+-=- （8.12） 将等式两边平方，并对所有点求和，有

∑

∑∑∑--+-+-=

-)y ˆ)(ˆ(2)ˆ()ˆ()(i 2

2

2

y y y y y y y y y i i i

i i i 可以证明，0)ˆ)(ˆ(=--∑y y y

y i i i ，因此有 ∑∑∑-+-=

-2

22

)ˆ()ˆ()(y y

y

y

y y

i

i i

i

（8.13）

式子的左边的∑-2

)(y y 称为总平方和SST ，它可分解为两部分，其中2ˆ()i y

y -∑是回归值ˆi y 与均值y 的离差平方和，根据样本回归方程，估计值i i x y 10ˆˆˆββ+=，因此可以把)ˆ(y y i -看做由于自变量x 的变化引起的y 的变化，而其平方和∑

-2

)ˆy y i （反映了y 的总离差中由于x 与y 线性关系引起的y 的变化部分，它是可以由回归直线来解释的i y 离差部分，称为回归平方和，记做SSR 。另一部分∑-2)ˆ(i i y

y 是各观测值与回归值的剩余误差的平方和，它是除了x 对y 的线性影响之外的其它因素对y 离差的作用，称为残差平方和，记为SSE 。这三个平方和的关系为：

总平方和=回归平方和+残差平方和，即

SSE SSR SST += （8.14） 这是总变差的绝对数表达关系，其相对数表达为： S S T

S S E S S T

S S R +=

1 （8.15）

（二）判定系数

回归直线拟合的好坏取决于回归平方和SSR 和残差平方和SSE 的大小，或SSR 和SSE 在总平方和SST 中所占比重的大小。对于确定的样本，总平方和SST 是常数，则回归平方和SSR 和残差平方和SSE 是此消彼涨的关系。我们以回归平方和SSR 在总平方和SST 中所占比重这个相对指标作为判定回归直线拟合好坏的指标，并将这一指标定义为判定系数，记做2

R

SST

SSE SST

SSR R

-

==

12

（8.16）

若所有观测点都落在回归线上，残差平方和SSE =0，则2R =1，即是完全拟合；若y

的变化与x 无关，x 与y 的离差完全没有关系，那么此时y y

i =ˆ，且2R =0。可见2R 的取值范围是[0,1]。2R 越接近1，表明回归平方和占总平方和的比重越大，回归直线与各观测值越接近，用x 的变化解释y 值离差的部分就越多，回归直线的拟合效果就越好；反之，2R 越接近0，回归直线的拟合程度就越差。

可以证明：在一元线性回归时，判定系数2R 就是相关系数r 的平方（多元线性回归不具有这一规律）。这一结论不仅可以使我们能从相关系数直接计算判定系数，也可以使我们进一步理解相关系数的意义。相关系数r 与回归系数1ˆβ具有相同的正负号，实际上，相关系数r 也从另一个角度说明了回归直线的拟合优度。

【例8-6】计算全国各省区2006年1季度现金收入与现金支出回归方程的判定系数，并解释其意义。

利用表8-4Excel 输出的回归分析结果可知，总平方和SST =6946600，回归平方和

SSR =6452023，残差平方和SSE =494576.8。根据公式（8.16）得到：

%88.92928803.06946600

64520232

====SST

SSR R

也可以根据相关系数求得：

()()9288.0963744

.02

22

===r R

判定系数的实际意义是：在现金支出中，有92.88%可以由现金收入与现金支出之间

的线性关系来解释。或者说，在现金支出的变动中，有92.88%是由现金收入的变动引起的，说明现金支出和现金收入的回归方程的拟合优度很高。

（三）估计标准误差

回归直线的拟合优度是由SSR 在总平方和SST 中的比重（判定系数）来度量的。而残

差平方和SSE 可以说明样本观察值i y 与回归估计值ˆi y

之间的差异程度，从另一个角度说明回归直线的拟合优度。

将残差平方和SSE 除以其自由度n-2，可以得到残差均方，记为MSE ，MSE 的平方根称为估计标准误差，记为y S 。

M S E n SSE S y =-=

2

（8.17)

由于回归方程中用了两个统计量0

βˆ和1βˆ，故SSE 的自由度为2-n 。 估计标准误差是对误差项ε的标准差σ的估计，即在排除了x 的影响后y 的随机波动

的一个估计量。在对因变量y 进行预测估计时，它反映了用样本回归方程预测y 值的误差

大小。若样本观察值与回归直线距离越近，则y S 越小，回归直线的代表性越好，运用回归方程做预测就越准确。可见它可以从另一个角度来说明回归直线的拟合优度。

四、回归模型的显著性检验

在根据样本数据建立一元线性回归模型的过程中，我们是在一系列假设条件下进行的。比如：两变量间存在线性关系、随机误差项ε是一个服从0均值、等方差的正态分布随机变量等。这些假设是否成立，需要通过检验才能证实。回归模型显著性检验主要检验两个方面的内容，一是线性关系的检验，二是回归系数的检验。显著性检验不仅说明我们建立的回归模型是否真实反映了两个变量之间的关系，也关系到对因变量做预测的准确程度。

（一）线性关系的检验

线性关系的检验就是要检验两个变量之间用线性模型εββ++=x y 10表示是否合适。为检验两个变量之间的线性关系是否显著，我们需要构造用于检验的统计量。两个变量的线性关系是否显著，其实质就是讨论因变量y 的总变差是不是主要由两个变量的这种线性关系引起的，即总变差平方和中回归平方和与残差平方和的比值大小。

该统计量的构造是以回归平方和（SSR ）以及残差平方和（SSE ）为基础的。将SSR 除以其自由度（自变量的个数p ，一元线性回归中自由度为1）的结果称为回归均方，记为

MSR ；将SSE 除以其自由度（1--p n ，一元线性回归中自由度为2-n ）的结果称为残

差均方，记为MSE 。如果原假设成立（010=β：H ，两个变量之间的线性关系不显著，即回归方程设定不成立），则MSR /MSE 的抽样分布服从分子自由度为1、分母自由度为2-n 的F 分布，即

)2n ,1(F ~)

2/(1/-=-=

MSE

MSR n SSE SSR F （8.18）

当原假设010=β：H 成立时，MSR /MSE 的值应接近1，即线性关系不显著。 若原假设010=β：H 不成立，MSR /MSE 的值将变得无穷大。因此，较大的

MSR /MSE 值将导致拒绝原假设0H ，可以断定变量x 和y 之间存在显著的线性关系。

线性关系检验的具体步骤如下：

第一步：提出假设： 010=β：H 两个变量之间的线性关系不显著； 第二步：计算检验统计量F ： )2n ,1(F ~)

2/(1/-=-=

MSE

MSR n SSE SSR F

第三步：做出决策。确定显著性水平α，并根据分子自由度11=df 和分母自由度22-=n df 查F 分布表，得到临界值αF 。若αF F >，拒绝0H ，表明两个变量之间的线性关系是显著的；若αF F <，不拒绝0H ，即没有证据表明两个变量之间的线性关系显著。

【例8-7】检验全国各省区2006年1季度现金支出和现金收入一元线性回归模型线性关系的显著性。（α=0.05） 解：第一步：提出假设

010=β：H 现金支出和现金收入之间的线性关系不显著

第二步：计算检验统计量F 。 3207.37837

.17054645202329

/8.4945761/6452023)

2/(1/==

=

-=

n SSE SSR F

第三步：做出决策。根据显著性水平α=0.05、分子自由度1df =1和分母自由度2922=-=n df ，查F 分布表，得到临界值184.=αF 。由于αF F >，故拒绝0H ，表明

现金支出和现金收入之间的线性关系是显著的。

实际上，在Excel 输出结果的第二部分即方差分析表中，给出了线性关系显著性检验的全部结果。除了给出检验统计量的F 值之外，还给出了Significance F ，它相当于用于检验的P 值。除了可以用F 统计量进行决策外，还可利用Significance F 决策，具体方法是：将“Significance F ”的值与给定的显著性水平α进行比较，如果Significance αF ，不拒绝原假设0H ，即没有证据表明因变量y 与自变量x 之间有显著的线性关系。在表8-4的输出结果中，Significance F=3.48867E-18050.=<α，说明现金支出和现金收入之间存在显著的线性关系，这与用F 检验统计量得到的结论相同。

（二）回归系数的检验

回归系数的显著性检验是要检验自变量对因变量的影响是否显著。在一元线性回归模型

εββ++=x y 10中，如果回归系数01=β，回归直线是一条水平线，表明因变量y 的取

值不依赖自变量x 。但是若01≠β，也不能肯定地得出两个变量之间存在线性关系的结论，这要看这种关系是否具有统计意义上的显著性。回归系数的检验就是检验回归系数1β是否等于零。为检验原假设010=β：H 是否成立，需要构造用于检验的统计量。为此，我们需要讨论回归系数1β的抽样分布。

样本回归方程的1ˆβ是总体回归方程参数1β的统计量，由于先假设随机扰动项ε服从正态分布，可以证明：

))

(,(~ˆ∑-x x

N i

2

1

1σ

ββ （8.19）

其中的2

σ是误差项ε的方差

若2σ已知，根据概率论知识可以对1ˆβ做标准化处理使得生成新的随机变量服从标准正态分布，就可以用z 检验方法对总体回归系数进行假设检验。但是2σ是未知的，通常我们用

2

2-∑n e i

作为2σ的无偏估计量。当样本为小样本时，是服从t 分布的，即

)(~ˆˆ

21

1

1--n t S βββ （8.20）

公式中的1

βˆS 是1ˆβ的估计标准差

∑∑--=

)

()(ˆ22

2

1

n x x

e

S i

i β （8.21）

即该统计量服从自由度为2-n 的t 分布。若回归方程通过检验，两变量间具有线性

性，则01=β，统计量t 为：

1

1ββˆ

ˆS t =

(8.22)

回归系数显著性检验的步骤是：

第一步：提出假设：

010=β：H ， 011≠β：H

第二步：计算检验统计量t ：

1

1ββˆ

ˆS t =

第三步：做出决策。根据显著性水平α和自由度df =2-n 查t 分布表，找到相应的临界值2

αt ，若2

||αt t >，拒绝原假设0H ，表明自变量x 对因变量y 的线性影响是显著的，即

存在线性关系；如果2

||αt t <，则不拒绝0H ，即没有证据表明自变量x 对因变量y 的影响

是显著的。

也可用P 值与设定的显著性水平α比较。若α>P ，则接受原假设，也就是认可自变

量变化对因变量没有任何影响。若α

表8-4的Excel 输出的回归分析结果的第三部分给出了t 检验统计量和P 值。 下面用例子来说明具体的检验过程

【例8-8】检验现金支出和现金收入回归方程中回归系数1β的显著性。（α=0.05） 解：第一步：提出假设

010=β：H ， 011≠β：H

第二步：计算检验统计量t ：

450471902877

055962101

1...ˆˆ

==

=

ββS t

第三步：做出决策。根据显著性水平050.=α和自由度29231=-=df ，查t 分布表，得到临界值045222

.=αt 。由于0452.245047.19025.0=>=t t ，故拒绝原假设0H 。若用P

值来检验，本例中，05.01849.3=<-=αE P ，所以拒绝0H ，表明现金支出的变化很大程度上依赖现金收入。

在进行显著性检验时，有以下两点需要注意：

第一，我们通常只对回归系数1β做检验，对于回归方程中的截距0β没有检验的必要。因为截距0β是否为0只表明回归方程经不经过原点。对整个回归方程的估计以及后面的预测都没有影响。

第二，在一元回归中对整个方程拟合好坏的F 检验与对回归系数1β的t 检验虽用了不同的统计量，但原假设与备择假设都是相同的。原因是一元回归中自变量的个数只有一个。而多元回归当自变量个数多于一个时，这两种检验的意义是不同的，F 检验是检验多元回归方程整体的显著性，而t 检验则是对各个回归系数的检验。整个模型可能不能通过检验，但是其中某些回归系数却可能通过检验。

回归分析的主要目的是根据所建立的估计的回归方程进行预测或控制。在回归分析通过各种检验之后，我们就可以用它来完成这一目的了。所谓预测，就是根据自变量x 的取值来预测因变量y 的取值，比如，根据现金收入与现金支出的回归方程，给出一个具体的现金数值，就可以预测现金支出的具体数值。而控制则恰恰相反，它是根据因变量y 的取值，求得自变量x 的取值。用回归方程预测的方法有点预测方法和区间预测方法，本章不对其进行讨论。