多元线性回归模型
第三章 多元线性回归模型
即
Y Xb U
X 称为数据矩阵或设计矩阵。
6
二、古典假定
假定1：零均值假定 E(ui ) 0 (i 1,2,...,n)
1 E ( 1 ) E ( ) 2 2 E (μ) E 0 n E ( n )
写成矩阵形式：
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n X 31 X k 1 b 1 u1 X 32 X k 2 b 2 u 2 X 3 n X kn b k un
或
ei 1 X 21 X e 1 X 22 2i i X ki ei 1 X 2 n X 31 X k 1 e1 X 32 X k 2 e2 X e 0 X 3 n X kn en
9
当总体观测值难于得到时，回归系数向 量 b 是未知的，这时可以由样本观测值进行 估计，可表示为
ˆ ˆ Xb Y
但实际观测值与计算值有偏差，记为：
ˆ e Y Y
于是
ˆ e Y Xb
称为多元样本回归函数。
10
ˆ b 1 ˆ b2 ˆ b ˆ b k
同理
ˆ x x b ˆ x 2 x3 i yi b 2 2i 3i 3 3i
x2 i yi x x3 i yi x2 i x3 i ˆ b2 2 2 2 x2 x ( x x ) i 3i 2i 3i
2 3i
x3 i yi x x2 i yi x2 i x3 i ˆ b3 2 2 2 x2 x ( x x ) i 3i 2i 3i
多元线性回归模型
Cov( X ji , i ) 0
j 1,2, k
假设4，随机项满足正态分布
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)维矩阵X是非随机的，且X的秩=k+1，
即X满秩。
回忆线性代数中关于满秩、线性无关!
假设2，
E (μ)
E
1
E (1 )
0
n E( n )
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
解该（ k+1）个方程组成的线性代数方程组，即
可得到(k+1) 个待估参数的估计值
$ j
,
j
0,1,2, ,
k
。
□正规方程组的矩阵形式
en
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各X之间互不 相关（无多重共线性）。
假设2，随机误差项具有零均值、同方差及不序列相关 性。
E(i ) 0
i j i, j 1,2,, n
Var
(i
)
E
(
2 i
)
2
Cov(i , j ) E(i j ) 0
假设3，解释变量与随机项不相关
这里利用了假设: E(X’)=0
等于0，因为解释变 量与随机扰动项不相 关。
3、有效性（最小方差性）
ˆ 的方差-协方差矩阵为
Co（v ˆ） E{[ˆ E（ˆ）][ˆ E（ˆ）]}
E[(ˆ )(ˆ )]
E{（[ X X）-1X ]（[ X X）-1X ]}
多元线性回归的计算模型
多元线性回归的计算模型多元线性回归模型的数学表示可以表示为：Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y表示因变量，Xi表示第i个自变量，βi表示第i个自变量的回归系数（即自变量对因变量的影响），ε表示误差项。
1.每个自变量与因变量之间是线性关系。
2.自变量之间相互独立，即不存在多重共线性。
3.误差项ε服从正态分布。
4.误差项ε具有同方差性，即方差相等。
5.误差项ε之间相互独立。
为了估计多元线性回归模型的回归系数，常常使用最小二乘法。
最小二乘法的目标是使得由回归方程预测的值与实际值之间的残差平方和最小化。
具体步骤如下：1.收集数据。
需要收集因变量和多个自变量的数据，并确保数据之间的正确对应关系。
2.建立模型。
根据实际问题和理论知识，确定多元线性回归模型的形式。
3.估计回归系数。
利用最小二乘法估计回归系数，使得预测值与实际值之间的残差平方和最小化。
4.假设检验。
对模型的回归系数进行假设检验，判断自变量对因变量是否显著。
5. 模型评价。
使用统计指标如决定系数（R2）、调整决定系数（adjusted R2）、标准误差（standard error）等对模型进行评价。
6.模型应用与预测。
通过多元线性回归模型，可以对新的自变量值进行预测，并进行决策和提出建议。
多元线性回归模型的计算可以利用统计软件进行，例如R、Python中的statsmodels库、scikit-learn库等。
这些软件包提供了多元线性回归模型的函数和方法，可以方便地进行模型的估计和评价。
在计算过程中，需要注意检验模型的假设前提是否满足，如果不满足可能会影响到模型的可靠性和解释性。
总而言之，多元线性回归模型是一种常用的预测模型，可以分析多个自变量对因变量的影响。
通过最小二乘法估计回归系数，并进行假设检验和模型评价，可以得到一个可靠的模型，并进行预测和决策。
计量经济学-多元线性回归模型
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断
多元线性回归模型的估计与解释
多元线性回归模型的估计与解释多元线性回归是一种广泛应用于统计学和机器学习领域的预测模型。
与简单线性回归模型相比，多元线性回归模型允许我们将多个自变量引入到模型中，以更准确地解释因变量的变化。
一、多元线性回归模型的基本原理多元线性回归模型的基本原理是建立一个包含多个自变量的线性方程，通过对样本数据进行参数估计，求解出各个自变量的系数，从而得到一个可以预测因变量的模型。
其数学表达形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型的系数，ε为误差项。
二、多元线性回归模型的估计方法1. 最小二乘法估计最小二乘法是最常用的多元线性回归模型估计方法。
它通过使残差平方和最小化来确定模型的系数。
残差即观测值与预测值之间的差异，最小二乘法通过找到使残差平方和最小的系数组合来拟合数据。
2. 矩阵求解方法多元线性回归模型也可以通过矩阵求解方法进行参数估计。
将自变量和因变量分别构成矩阵，利用矩阵运算，可以直接求解出模型的系数。
三、多元线性回归模型的解释多元线性回归模型可以通过系数估计来解释自变量与因变量之间的关系。
系数的符号表示了自变量对因变量的影响方向，而系数的大小则表示了自变量对因变量的影响程度。
此外，多元线性回归模型还可以通过假设检验来验证模型的显著性。
假设检验包括对模型整体的显著性检验和对各个自变量的显著性检验。
对于整体的显著性检验，一般采用F检验或R方检验。
F检验通过比较回归平方和和残差平方和的比值来判断模型是否显著。
对于各个自变量的显著性检验，一般采用t检验，通过检验系数的置信区间与预先设定的显著性水平进行比较，来判断自变量的系数是否显著不为零。
通过解释模型的系数和做假设检验，我们可以对多元线性回归模型进行全面的解释和评估。
四、多元线性回归模型的应用多元线性回归模型在实际应用中具有广泛的应用价值。
03多元线性回归模型
03多元线性回归模型多元线性回归模型是一种经济学和统计学中广泛使用的模型，用于描述多个自变量与因变量之间的关系。
它是在线性回归模型的基础上发展而来的。
在多元线性回归模型中，因变量是由多个自变量共同决定的。
Y = β0 + β1X1 + β2X2 + β3X3 + … + βkXk + ε其中，Y表示因变量，X1、X2、X3等表示自变量，β0、β1、β2、β3等表示回归系数，ε表示误差项。
回归系数β0、β1、β2、β3等表示自变量对因变量的影响程度。
回归系数的符号和大小反映着自变量与因变量的正相关或负相关程度以及影响的大小。
误差项ε是对影响因变量的所有其他变量的影响程度的度量，它是按照正态分布随机生成的。
在多元线性回归模型中，回归系数和误差项都是未知的，需要根据样本数据进行估计。
通常采用最小二乘法来估计回归系数和误差项。
最小二乘法是一种常用的方法，它通过最小化误差平方和来估计回归系数与误差项。
最小二乘法假设误差为正态分布，且各自变量与误差无关。
因此，通过最小二乘法求解出的回归系数可以用于预测新数据。
多元线性回归模型还需要检验回归系数的显著性。
通常采用F检验和t检验来进行检验。
F检验是用于检验整个多元线性回归模型的显著性，即检验模型中所有自变量是否与因变量有关系。
F检验的原假设是回归方程中所有回归系数都为0，备择假设是至少有一个回归系数不为0。
如果p-value小于显著性水平，就可以拒绝原假设，认为多元线性回归模型显著。
总之，多元线性回归模型利用多个自变量来解释因变量的变化，是一种实用性强的模型。
它的参数估计和显著性检验方法也相对比较成熟，可以用于多个领域的实际问题分析。
多元线性回归模型原理
多元线性回归模型原理Y=β0+β1*X1+β2*X2+...+βn*Xn+ε其中，Y表示因变量，X1、X2、..、Xn表示自变量，β0、β1、β2、..、βn表示模型的参数，ε表示误差项。
通过对数据进行拟合，即最小化误差平方和，可以估计出模型的参数。
多元线性回归模型的原理是基于最小二乘法，即通过最小化残差平方和来估计参数的值。
残差是指模型预测值与真实值之间的差异，最小二乘法的目标是找到一组参数，使得所有数据点的残差平方和最小。
通过求解最小二乘估计，可以得到模型的参数估计值。
为了评估模型的拟合程度，可以使用各种统计指标，例如R方值、调整R方值、标准误差等。
R方值表示模型解释因变量方差的比例，取值范围在0到1之间，值越接近1表示模型对数据的拟合程度越好。
调整R方值考虑了模型中自变量的个数和样本量之间的关系，可以更准确地评估模型的拟合程度。
标准误差表示模型预测值与真实值之间的标准差，可以用于评估模型的预测精度。
在建立多元线性回归模型之前，需要进行一些前提条件的检查，例如线性关系、多重共线性、异方差性和自变量的独立性。
线性关系假设要求自变量与因变量之间存在线性关系，可以通过散点图、相关系数等方法来检验。
多重共线性指的是自变量之间存在高度相关性，会导致参数估计的不稳定性，可以使用方差膨胀因子等指标来检测。
异方差性指的是残差的方差不恒定，可以通过残差图、方差齐性检验等方法来检验。
自变量的独立性要求自变量之间不存在严重的相关性，可以使用相关系数矩阵等方法来检验。
当满足前提条件之后，可以使用最小二乘法来估计模型的参数。
最小二乘法可以通过不同的方法来求解，例如解析解和数值优化方法。
解析解通过最小化误差平方和的一阶导数为零来求解参数的闭式解。
数值优化方法通过迭代来求解参数的数值估计。
除了最小二乘法，还有其他方法可以用于估计多元线性回归模型的参数，例如岭回归和lasso回归等。
岭回归和lasso回归是一种正则化方法，可以对模型进行约束，可以有效地避免过拟合问题。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
引子：中国汽车的保有量会超过1.4亿辆吗？中国经济的快速发展，居民收入不断增加，数以百万计的中国人开始得以实现拥有汽车的梦想，中国也成为世界上成长最快的汽车市场。
中国交通部副部长在“中国交通可持续发展论坛”上作出预测：“2020年，中国的民用汽车保有量将比2003年的数字增长6倍，达到1.4亿辆左右”。
（资料来源：人民网、新华网、中新网）是什么因素导致了中国汽车数量的快速增长？影响中国汽车行业发展的因素并不单一，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境、相关政策……，都会使中国汽车行业面临机遇和挑战。
怎样分析多种因素对汽车市场的影响？分析中国汽车业行业未来的趋势，应当具体分析这样一些问题：中国汽车市场发展的状况如何（用销售量观测）影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、政策、环境等）各种因素对汽车销量影响的性质怎样？（正、负）各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？很明显，只用一个解释变量已经很难分析汽车产业的实际发展，而简单线性回归模型又不能解决多变量问题的分析，还需要寻求有多个解释变量的回归分析方法。
第三章 多元线性回归模型本章讨论：如何将简单线性回归的研究方式推广到多元的情况：● 多元线性回归模型● 多元线性回归参数的估计及区间估计 ● 多元线性回归方程的拟合优度 ● 多元线性回归的显著性检验 ● 多元线性回归预测第一节 多元线性回归模型及古典假定一、多元线性回归模型的定义一般形式：对于有1k -个解释变量的线性回归模型，可表示为与简单线性回归模型不同，模型中的(1,2,,)j j k β=是偏回归系数，样本容量为n 。
偏回归系数：控制其他解释量不变的条件下，第j 个解释变量的单位变动对被(1,2,,)k ki iX u i n β+++=解释变量平均值的影响。
对偏回归系数的理解例如2β和2α都是2i X 对i Y如果323222i i i X b b X u =++，则可证明 22332ˆb αββ=++误差项 22332ˆˆ()E b αββ=+ （证明将古加拉蒂《计量经济学》附录7A.5）结论：只要320b ≠，2β与2α是有区别的。
多元线性回归的“线性”指对各个回归系数而言是“线性”的，对变量则可以是线性的，也可以是非线性的。
例如：生产函数 Y AL K u αβ=取对数ln ln ln ln ln Y A L K u αβ=+++这也是多元线性回归模型，只是这时变量为ln Y 、ln L 、ln K 。
多元总体回归函数：条件均值表现形式：将i Y 的总体条件均值表示为多个解释变量的函数：如2312233(|,,,)(1,2,,)i i i ki i i k kiE Y X X X X X X i n ββββ=++++=注意：这时Y 总体条件均值的轨迹是k 维空间的一条线。
个别值表现形式： 引入随机扰动项：23(|,,,)i i i i i ki u Y E Y X X X =-12233i i i i Y X X u βββ=+++1i i u +或表示为12233(1,2,,)i i i k ki iY X X X u i n ββββ=+++++=多元样本回归函数Y 的样本条件均值表示为多个解释变量的函数12233ˆˆˆˆˆ(1,2,,)i i ik kiY X X X i n ββββ=++++=或12233ˆˆˆˆ(1,2,,)i i ik ki iY X X X e i n ββββ=+++++=回归剩余（残差）：ˆi i ie Y Y =- 多元线性回归模型有多个解释变量，参数的估计式及各种统计量用代数式法表述较为困难，需要借助矩阵形式去表达。
二、多元线性回归模型的矩阵表示k 个解释变量的多元线性回归模型的n 个观测样本，可表示为：1122133111212223322212233k k k k n n n k kn nY X X X u Y X X X u Y X X X u ββββββββββββ=+++++=+++++=+++++用矩阵表示：2111112222222111111k k n k n nkn n n kk n X X Y u Y X X u Y u X X βββ⨯⨯⨯⨯⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦YXu β矩阵表示方式总体回归函数 ()E =Y X β 或 =+Y X u β样本回归函数 ˆˆ=YX β 或 ˆ=+Y X e β 其中： ˆY,Y,u,e 都是有n 个元素的列向量ˆβ,β是有k 个元素的列向量X 是第一列为1的n k ⨯阶解释变量数据矩阵（截距项可视为解释变量取值为1）三、多元线性回归中的基本假定假定1：零均值假定：()0(1,2,,)i E u i n ==或 ()E =0u假定2和假定3：同方差和无自相关假定：2()(,)[(())(())]()0()i j i i j j i j i j Cov u u E u E u u E u E u u i j σ==--==≠ 假定4：随机扰动项与解释变量不相关(,)02,3,,ki i Cov X u k k ==假定5：无多重共线性假定（多元中增加的）假定各个解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关，或解释变量观测值矩阵X 列满秩（k 列）。
()()Rank X k Rank X X k '=→=→即()X X '可逆假定6：正态性假定2~(0,)i u N σ第二节 多元线性回归模型的估计一、普通最小二乘法（OLS ）原则：寻求剩余平方和最小的参数估计式22ˆmin :()i i ie Y Y =-∑∑ 2212233ˆˆˆˆmin :[()]i i i ik kie Y X X X ββββ=-++++∑∑ 求偏导，令其为02()0ˆi je β∂=∂∑ 即122332122332312233312233ˆˆˆˆ2[]00ˆˆˆˆ2[]00ˆˆˆˆ2[]00ˆˆˆˆ2[i i ik kii i i i i k ki i i i i i i k ki i i ki i i ik ki Y X X X e X Y X X X X e X Y X X X X e X Y X X X ββββββββββββββββ--++++=→=--++++=→=--++++=→=--++++∑∑∑∑∑∑]00ki i X e =→=∑∑偏导数1212222212111000i n i i k k kn n ki i e e X X X e X e X X X e X e ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥'===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦'∑∑∑0X e X e因为样本回归函数为ˆ=+Y X e β两边左乘'Xˆ'''=+X Y X X X e β根据最小二乘原则 '=0X e则OLS 的正规方程为 ˆ''=X X X Y βOLS 估计式： 由正规方程ˆ''=X X X Y β()k k *'X X 是满秩矩阵，其逆矩阵存在，因此多元回归中参数估计式 ˆ''-1=()X X X Y β当只有两个解释变量时：注意：x 和y 为X 、Y 的离差OLS 回归线的性质（与简单线性回归相同）● 回归线通过样本均值，即12233ˆˆˆˆk kY X X X ββββ=++++ ● 估计值ˆi Y 的均值等于实际值i Y 的均值Y ，即ˆY Y n=∑ ● 剩余项i e 的均值为0，即0ii e e n==∑● 估计值ˆi Y 与剩余项i e 不相关，即ˆ(,)0i i Cov Y e = 或 ˆ(,)0iie Y =∑● 解释变量i X 与剩余项i e 不相关，即(,)0(1,2,,)ji i Cov X e j k ==二、OLS 估计式的性质1、线性特征1ˆ)-''=(X X X Y β因1()-''X X X 是非随机或取固定值的矩阵，ˆβ是Y 的线性函数 2、无偏特性ˆ()E =ββ 证明：ˆ()ˆ()()=E E ''''=''''=''''∴=-1-1-1-1-1-1()()()()()()β=X X X Y X X X X β+u X X X X β+X X X u =β+X X X uββ+X X Xu β 3、最小方差特性2ˆˆ()ˆˆˆˆ((())(()))ˆˆ(()())()()E E E E E E E σ''='∴'=''''=''''='=-1-1-1-1-1-1()()()()()()=+X X X u,----X X X u u X X X X X X uu X X X X X ββββββββββββ则2ˆ()i ii Var βσ'=-1()X X ，记(),,1,2,,ij C i j k '==-1()X X有22ˆ()ˆˆ(,)i iii j ijVar c Cov c βσββσ⎧=⎪⎨=⎪⎩ 下面证明最小方差性：设*β为β的另一个关于Y 的线性无偏估计式，可知*=AY β（A 为常数矩阵）由无偏性可得*()()())()()()E E E E E E ===+==(+AY A X u AX A u AX βββββ 所以必须有=AX I要证明最小二乘法估计式的方差ˆ()Var β小于其他线性无偏估计式的方差*()Var β，只要证明协方差矩阵之差ˆˆ[()()][()()]E E ''-**----ββββββββ为半正定矩阵，则称最小二乘估计ˆβ是β的最小方差线性无偏估计式。
因为*-=-=(+)-=+-=-=βββββββββAY A X u AX Au Au Au+所以2[()()](()())()()E E E E σ''=''=''='=**--Au Au Auu A A uu A AA ββββ所以21212ˆˆ[()()][()()]()[()]E E σσσ--''''-=-''=-**----AA X X AA X X ββββββββ由于111111111[()][()][()][()]()()()()()---------'''''''''--=--''''''''=--+''=-A X X X A X X X A X X X A X X X AA X X X A AX X X X X X X X X AA X X 且1()-''-AA X X 是对称的实矩阵，如果令1[()]-''-=A X X X C ，则111[()][()]()---''''''''=--=-CC A X X X A X X X AA X X由线性代数知，对任一实矩阵C ，'CC 为半正定矩阵，即1()-''-AA X X 为半正定矩阵，由于半正定矩阵对角线元素非负，因此有1(())-''-≥0diag AA X X 即*ˆ(()())0(1,2,,)j j j j E E j k ββββ---≥=diag这证明了j β的最小二乘估计ˆjβ在j β的所有无偏估计中是方差最小的估计式。