一元线性回归

第六讲 一元线性回归在客观世界中, 普遍存在着变量之间的关系.数学的一个重要作用就是从数量上来揭示、表达和分析这些关系。

而变量之间关系, 一般可分为确定的和非确定的两类. 确定性关系可用函数关系表示, 而非确定性关系则不然.例如, 人的身高和体重的关系、人的血压和年龄的关系、某产品的广告投入与销售额间的关系等, 它们之间是有关联的，但是它们之间的关系又不能用普通函数来表示。

我们称这类非确定性关系为相关关系。

具有相关关系的变量虽然不具有确定的函数关系，但是可以借助函数关系来表示它们之间的统计规律，这种近似地表示它们之间的相关关系的函数被称为回归函数。

回归分析是研究两个或两个以上变量相关关系的一种重要的统计方法。

在实际中最简单的情形是由两个变量组成的关系。

考虑用下列模型表示)(x f Y =. 但是，由于两个变量之间不存在确定的函数关系，因此必须把随机波动考虑进去，故引入模型如下ε+=)(x f Y其中Y 是随机变量，x 是普通变量，ε是随机变量（称为随机误差）。

回归分析就是根据已得的试验结果以及以往的经验来建立统计模型，并研究变量间的相关关系，建立起变量之间关系的近似表达式，即经验公式，并由此对相应的变量进行预测和控制等。

本节主要介绍一元线性回归模型估计、检验以及相应的预测和控制等问题。

一、引例为了研究某一化学反应过程中温度x 对产品得率Y 的影响. 测得数据如下:89857874706661545145%/190180170160150140130120110100/i i y C x 温度温度试研究这些数据所蕴藏的规律性.二、一元线性回归模型一般地,当随机变量Y 与普通变量x 之间有线性关系时, 可设εββ++=x Y 10, （1）),,0(~2σεN 其中10,ββ为待定系数。

设),(,),,(),,(2211n n Y x Y x Y x 是取自总体),(Y x 的一组样本,而),(,),,(),,(2211n n y x y x y x 是该样本的观察值,在样本和它的观察值中的n x x x ,,,21 是取定的不完全相同的数值，而样本中的n Y Y Y ,,,21 在试验前为随机变量，在试验或观测后是具体的数值，一次抽样的结果可以取得n 对数据),(,),,(),,(2211n n y x y x y x ，则有i i i x y εββ++=10, n i ,,2,1 = (2)其中n εεε,,,21 相互独立。

在线性模型中,由假设知),(~210σββ，x N Y + x Y E 10)(ββ+= (3)回归分析就是根据样本观察值寻求10,ββ的估计10ˆ,ˆββ. 对于给定x 值, 取x Y 10ˆˆˆββ+= (4) 作为x Y E 10)(ββ+=的估计，方程(4)称为Y 关于x 的线性回归方程或经验公式，其图像称为回归直线，1ˆβ称为回归系数.三、最小二乘估计对样本的一组观察值),,(11y x ),,(22y x …,),,(n n y x 对每个i x , 由线性回归方程(4)可以确定一回归值 ii x y 10ˆˆˆββ+=, 这个回归值i y ˆ与实际观察值i y 之差 ii i i x y y y 10ˆˆˆββ+-=- 刻画了i y 与回归直线x y 10ˆˆˆββ+=的偏离度. 一个自然的想法就是: 对所有i x ,若i y 与i y ˆ的偏离越小, 则认为直线与所有试验点拟和得越好.令 ∑=--=nI i ix y Q 1210)(),(ββββ上式表示所有观察值i y 与回归直线i yˆ的偏离平方和, 刻划了所有观察值与回归直线的偏离度。

所谓最小二乘法就是寻求10ββ与的估计10ˆˆββ，,使 ).,(m in )ˆ,ˆ(1010ββββQ Q = 利用微分的方法，求Q 关于10ββ，的偏导数, 并令其为零, 得⎪⎪⎩⎪⎪⎨⎧=---=∂∂=---=∂∂∑∑==ni i i i n i i i x x y Qx y Q110111000)(20)(2ββββββ 整理得⎪⎪⎩⎪⎪⎨⎧=⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛+∑∑∑∑∑=====ini i n i i ni i n i i n i i yx x x y x n 1112011110ββββ，称此为正规方程组，解正规方程组得⎪⎪⎩⎪⎪⎨⎧⎪⎪⎭⎫ ⎝-⎪⎪⎭⎫ ⎝⎛-=-=∑∑==n i i ni i i x n x xy n y x x y 1221110ˆˆˆβββ （5）其中∑==ni i x nx 11,∑==ni i y n y 11, 若记y x n y x y y x x L ni i i i ni i defxy ∑∑==-=--=11)()(， ∑∑==-=-=ni i ni i defxx x n x x x L 12212)(,则 ⎪⎩⎪⎨⎧=-=xx xy L L x y 110ˆˆˆˆββ )6()5(或)6(叫做10,ββ的最小二乘估计. 而 x Y 10ˆˆˆββ+= 为Y 关于x 的一元经验回归方程.四、最小二乘估计的性质定理1 若10ˆ,ˆββ为10,ββ的最小二乘估计，则10ˆ,ˆββ分别是10,ββ的无偏估计, 且 ⎪⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛+xx L x n N 22001,~ˆσββ,⎪⎪⎭⎫ ⎝⎛xx L N 211,~ˆσββ )(*五、回归方程的显著性检验前面关于线性回归方程x y 10ˆˆˆββ+=的讨论是在线性假设εββ++=x Y 10, ),0(~2σεN 下进行的. 这个线性回归方程是否有实用价值, 首先要根据有关专业知识和实践来判断，其次还要根据实际观察得到的数据运用假设检验的方法来判断.由线性回归模型εββ++=x Y 10，),0(~2σεN 可知，当01=β时，就认为Y 与x 之间不存在线性回归关系，故需检验如下假设:,0:10=βH 0:11≠βH .为了检验假设0H , 先分析对样本观察值n y y y ,,,21 的差异,它可以用总的偏差平方和来度量, 记为21)(∑=-=ni iy y S 总,由正规方程组, 有21)ˆˆ(∑=-+-=ni i i iy y yyS 总 =21112)ˆ()ˆ)(ˆ(2)ˆ(∑∑∑===-+--+-ni ini i i ini iy yy y yyyy=2121)ˆ()ˆ(∑∑==-+-ni ini i iy yyy.令 21)ˆ(∑=-=ni iy yS 回, 21)ˆ(∑=-=ni i iyyS 剩, 则有 回剩总S S S += 上式称为总偏差平方和分解公式. 回S 称为回归平方和,它由普通变量x 的变化引起的,它的大小(在与误差相比下)反映了普遍变量x 的重要程度; 剩S 称为剩余平方和，它是由试验误差以及其它未加控制因素引起的,它的大小反映了试验误差及其它因素对试验结果的影响.关于回S 和剩S ，有下面的性质：定理2 在线性模型假设下, 当0H 成立时, 1ˆβ与剩S 相互独立, 且),2(~/22-n S χσ剩).1(~/22χσ回S对0H 的检验有三种本质相同的检验方法:T —检验法；F —检验法；相关系数检验法.在介绍这些检验方法之前, 先给出总S ,回S ,剩S 的计算方法.∑∑==-=-=ni ni yy i iL def y n yy yS 11222)(总xy xx L L S 121ˆˆββ==回 xy yy L L S 1ˆβ-=剩1.-T 检验法由定理1, ),1,0(~)//()ˆ(11N L xx σββ- 若令),2/(ˆ2-=n S 剩σ 则由定理2知，σˆ为2σ 的无偏估计, 22ˆ)2(σ-n =),2(~22-n S χ剩且)//()ˆ(11xxL σββ-与22/ˆ)2(σσ-n 相互独立. 故取检验统计量)2(~ˆˆ1-=n t L T xx σβ,由给定的显著性水平α，查表得)2(2-n t α，根据试验数据),(,),,(),,(2211n n y x y x y x 计算T 的值t , 当)2(||2->n t t α时，拒绝0H ,这时回归效应显著; 当)2(||2-≤n t t α时，接受0H ,此时回归效果不显著.2.-F 检验法由定理2, 当0H 为真时, 取统计量)2,1(~)2(--=n F n S S F 剩回由给定显著性水平α, 查表得)2,1(-n F α, 根据试验数据),(,),,(),,(2211n n y x y x y x 计算F 的值, 若)2,1(->n F F α时, 拒绝0H , 表明回归效果显著；若)2,1(-≤n F F α时, 接受0H ,此时回归效果不显著.3. 相关系数检验法 由第四章知，相关系数的大小可以表示两个随机变量线性关系的密切程度. 对于线性回归中的变量x 与Y ，其样本的相关系数为yyxx xy ni i ni i ni iiL L L Y Y x x Y Y x x =----=∑∑∑===12121)()())((ρ,它反映了普通变量x 与随机变量Y 之间的线性相关程度. 故取检验统计量yyxx xy L L L r =对给定的显著性水平α, 查相关系数表得),(n r α 根据试验数据),(,),,(),,(2211n n y x y x y x 计算R 的值, 当)(||n r r α>时, 拒绝0H ,表明回归效果显著; 当)(||n r r α≤时, 接受0H , 表明回归效果不显著.六、预测问题在回归问题中，若回归方程经检验效果显著, 这时回归值与实际值就拟合较好, 因而可以利用它对因变量Y 的新观察值0y 进行点预测或区间预测.对于给定的0x ,由回归方程可得到回归值100ˆˆˆx y ββ+= 称0ˆy为y 在0x 的预测值. y 的测试值0y 与预测值0ˆy 之差称为预测误差. 在实际问题中, 预测的真正意义就是在一定的显著性水平α下, 寻找一个正数)(0x δ,使得实际观察值0y 以α-1的概率落入区间))(ˆ),(ˆ(0000x y x yδδ+-内, 即{}αδ-=<-1)(|ˆ|000x yY P , 由定理1知,⎪⎪⎭⎫⎝⎛⎥⎥⎦⎤⎢⎢⎣⎡-++-22000)(11,0~ˆσxx L x x n N y Y ,又因00ˆyY -与2ˆσ相互独立, 且 ),2(~ˆ)2(222--n n χσσ所以,)2(~)(11ˆ)ˆ(2000-⎥⎥⎦⎤⎢⎢⎣⎡-++-=n t L x x n yY T xx σ, 故对给定的显著性水平α，求得xxa L x x n n t x 202/0)(11ˆ)1()(-++-=σδ故得0y 的置信度为α-1的预测区间为))(ˆ),(ˆ(0000x y x yδδ+-. 易见，0y 的预测区间长度为),(20x δ对给定α,0x 越靠近样本均值)(,0x x δ越小,预测区间长度小,效果越好。