应用回归分析第章课后习题参考复习资料

2.1 一元线性回归模型有哪些基本假定？答：1. 解释变量 1x ,Λ,2x ,p x 是非随机变量，观测值,1i x ,,2Λi x ip x 是常数。

2. 等方差及不相关的假定条件为⎪⎪⎩⎪⎪⎨⎧⎪⎩⎪⎨⎧≠=====j i n j i j i n i E j i i ,0),,2,1,(,),cov(,,2,1,0)(2ΛΛσεεε 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M 条件。

在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2σ估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3. 正态分布的假定条件为⎩⎨⎧=相互独立n i n i N εεεσε,,,,,2,1),,0(~212ΛΛ 在此条件下便可得到关于回归系数的最小二乘估计及2σ估计的进一步结果，如它们分别是回归系数的最及2σ的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4. 通常为了便于数学上的处理，还要求,p n >及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。

一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。

因此，线性回归模型的理论和应用是本书研究的重点。

1. 如何根据样本),,2,1)(;,,,(21n i y x x x i ip i i ΛΛ=求出p ββββ,,,,210Λ及方差2σ的估计;2. 对回归方程及回归系数的种种假设进行检验；3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

2.2 考虑过原点的线性回归模型 n i x y i i i ,,2,1,1Λ=+=εβ误差n εεε,,,21Λ仍满足基本假定。

求1β的最小二乘估计。

答：∑∑==-=-=ni ni i i i x y y E y Q 1121121)())(()(ββ∑∑∑===+-=--=∂∂n i n i ni i i i i i i x y x x x y Q111211122)(2βββ 令,01=∂∂βQ即∑∑===-n i ni i i i x y x 11210β 解得,ˆ1211∑∑===ni ini i i xyx β即1ˆβ的最小二乘估计为.ˆ1211∑∑===ni ini ii xyx β2.3 证明： Q (β，β1)= ∑(y i-β0-β1x i)2因为Q (∧β0,∧β1)=min Q (β0,β1 )而Q (β0,β1) 非负且在R2上可导,当Q 取得最小值时，有 即-2∑(y i -∧β0-∧β1x i )=0 -2∑(y i-∧β0-∧β1x i ) x i=0又∵e i =yi -( ∧β0+∧β1x i )= yi -∧β0-∧β1x i ∴∑e i =0，∑e i x i =0（即残差的期望为0，残差以变量x 的加权平均值为零）2.4 解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0, 2 ) i=1,2，……n 的条件下等价。

证明：因为ni N i ,.....2,1),,0(~2=σε所以),(~2110110σββεββX X Y N i i +++=其最大似然函数为已知使得Ln （L ）最大的0ˆβ，1ˆβ就是β0，β1的最大似然估计值。

即使得下式最小 ：∑∑+-=-=nii i n i X Y Y Y Q 121021))ˆˆ(()ˆ(ββ ①因为①恰好就是最小二乘估计的目标函数相同。

所以，在ni N i ,.....2,1),,0(~2=σε 的条件下， 参数β0，β1的最小二100ˆˆQQββ∂∂==∂∂乘估计与最大似然估计等价。

2.5.证明0β)是0β的无偏估计。

证明：若要证明0β)是0β的无偏估计，则只需证明E(0β))=0β。

因为0β)，1β)的最小二乘估计为⎪⎩⎪⎨⎧-==x y L L xxxy 101/βββ))) 其中∑∑∑∑∑∑∑∑∑-=-=-=-=-=--=22222)(1)(1))((i i i i xx i i i i i i i i xy x nx x n x x x L y x ny x y x n y x y y x x LE(0ˆβ)=E(x y 1ˆβ-)=E(∑∑==--n i i xx i n i i y L x x x y n 111)=E[∑=--ni i xx i y L x x x n 1)1(]=E[∑=++--ni i i xxi x L x x x n 110))(1(εββ]=E(∑=--ni xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--ni i xx i L x x x n 1)1(ε)其中∑=--ni xx i L x x x n 10)1(β=∑=--ni xx i L x x x n 10)1(β=))(1(10∑=--ni ixx x xL x n n β由于∑=-ni i x x 1)(=0，所以∑=--ni xx i L x x x n 10)1(β=0β∑=--ni i xx i x L x x x n 11)1(β=∑=--ni ixx i i x L x x x n x 11)(β=))((11∑=--ni i ixx x x xL x x β=)-)(((11∑=--ni i ixxx x x xL xx β)=)(1x x -β=0又因为一元线性回归模型为⎩⎨⎧++=),0(210σεεββN x y i i i i 独立同分布，其分布为各所以E(iε)=0所以E(∑=--ni xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--ni i xx i L x x x n 1)1(ε=++)0()(0E E β ∑=--ni i xx i E L x x x n 1)()1(ε=0β所以0β)是0β的无偏估计。

2.6 解：因为∑==ni i yn y 11 ①，xy ∧∧-=ββ1②，yLx in i xxix∑=∧-=11β③联立 ①②③式，得到y L x ini xx ix x n ∑=∧--=10)1(β。

])1([)(10y L x i ni xx i x x n Var Var ∑=∧--=β)(1])1[(2y L x x x ni Var ni xx i ∑--==σ2122]2(1[)∑-=--+=ni xxi nLx L x x x nx x xxi因为∑-==ni xxx x Li 12)(，)(1=-∑=n i ix x ，所以σβ21212212])(21[)()()(nLx L x x x nxxni ini ni x x xxi Var ∑∑-∑===∧-++=σ22)(1⎪⎪⎪⎭⎫ ⎝⎛+=L x xxn σ2122)()(1⎪⎪⎪⎪⎭⎫ ⎝⎛+=∑-=ni x x x i n2.7 证明平方和分解公式：SST=SSE+SSR证明：2.8 验证三种检验的关系，即验证：()()∑∑==-+-=-=ni i i n i i y i y yy y y SST 1212]ˆ()ˆ[()()()∑∑∑===-+--+-=ni i i n i i i i n i i y y y y y y y y12112)ˆˆ)(ˆ2ˆ()()SSE SSR y y y y ni i i n i i +=-+-=∑∑==1212)ˆˆ（1）21)2(r r n t --=；（2）2221ˆˆ)2/(1/t L n SSE SSR F xx ==-=σβ证明：（1）因为2-n 22SSESSR L xx =∧∧=σβ和，所以SSTSSE SST SSRn SSESSR n n SSE t LLxxxx）（）（22222-=-=-∧=∧=∧βσβ又因为SST SSR r=2，所以SST SSE SST SSR SST r =-=-21故21)2(r r n t --=得证。

（2）22222011111111ˆˆˆˆˆˆ()()(())(())nnnni i ii xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212ˆ/1ˆ/(2)xx L SSR F t SSE n βσ∴===-g2.9 验证（2.63）式：()σ2xx2i Lx -x e i-n 1-1var ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=）（证明：），（）（）（）（）（∧∧∧+==y y y y y y eiiiiiii cov 2-var var -var var ))x -y cov 2var var x y x y i1ii1i（，（）（）（∧∧∧+-++=βββ ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=--L x x L xx i n )()(22xx 22212i n 1x x σσσ()σ2xx2x -x in 11⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=L其中： ()⎪⎪⎭⎫ ⎝⎛-∧+x y cov x y i1i β，()()⎪⎪⎭⎫⎝⎛∧+=x -cov y cov x y y i 1i i β，，()()⎪⎪⎭⎫⎝⎛+⎪⎭⎫⎝⎛=∑∑==n 1i i xxii i n 1i i i y x y x y y x -cov x -n 1cov L，， ()σσ222n1Lx x xxi-+=()σ22n 1⎪⎪⎪⎭⎫ ⎝⎛+=-Lx x xxi注：各个因变量yy y n (2)1，是独立的随机变量),cov()var()var()var(Y X Y X Y X 2++=+2.10 用第9题证明2-n ie 22∑=∧σ是σ2的无偏估计量证明：()∑-=∧∧=⎪⎪⎭⎫ ⎝⎛n 1i 22y y ii2-n 1E E σ∑=⎪⎭⎫⎝⎛=n 1i 2e i 2-n 1E ()∑==ni i e 12-n 1var()σ2n1i xx2Lx -x i-n1-12-n 1∑=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=()σ222-n 1-=n σ2= 注：[])()()var(X E X E X 22+=2.11验证22-+=n F Fr证明：)2(*)2(-⎪⎭⎫ ⎝⎛=-=n SSE SSR n SSESSR F 所以有F n SSR SSE )2(-=()2)2(11112-+=⎪⎭⎫ ⎝⎛-+=+=+==n F FF n SSR SSESSE SSR SSR SST SSR r以上表达式说明r ²与F 等价，但我们要分别引入这两个统计量，而不是只引入其中一个。