多元回归分析总结

1. 对于多元共线性问题产生的根源，可以从两 个方面考虑: 1、由

变量性质引起 2、由数据问题引起

（情况一:样本含量过小 情况二: 出现强影响观测值 情况三: 时序变量）

1、 由变量性质引起 在进行多元统计分析时，作为自变量的某

些变量高度相关，比如身高、体重和胸 围，变量之间的相关

性是由变量自身的性 质决定的，此时不论数据以什么形式取

得，样本含量是大是小，都会出现自变量 的共线性问题。因

此，变量间自身的性质 是导致多元共线性的重要原因。

2、 情况一:样本含量过小 假设只有两个自变量X1与X2当n2时两

点 总能连成一条直线即使性质上原本并不存在 线性关系的

变量X1与X2由于样本含量问题产 生了共线性。样本含量较小

时，自变量容易 呈现线性关系。 如果研究的自变量个数大

于2设为X1X2，...，XP，虽然各自变量之间没有线性关系，

但如果样本含量n小于模型中自变量的个数，就可能导致多元

共线性问题。

情况二: 出现强影响观测值 进入20世纪80年代后期人们开始关注单个或几个样本点对多重共线性的影 响。研究表明存在两类这样的数据点 或点群:1导致或加剧多重共线性 2 掩盖存在着的多重共线性。a中因异常观测值的出现而掩盖了共线性b中因异常观测

值的出现而产生了共线性。这样的异常观测值称为多元共线性强

影响观测值。显然这种观测值会对设计矩阵的性态产生很大影响

从而影响参数估计。

情况三:时序变量 若建模所用的自变量是时序变量并且 是高阶单整时序变量这种时序变量之 间高度相关必然导致多重共线性。2.多元共线性的表现

(1)模型拟合效果很好，但偏回归系数几乎都 无统计学意义;

(2)偏回归系数估计值的方差很大;

(3)偏回归系数估计值不稳定，随着样本含量 的增减各偏回归系数发生较大变化或当一个自 变量被引入或剔除时其余变量偏回归系数有很 大变化;

(4)偏回归系数估计值的大小与符号可 能与事先期望的不一致或与经验相悖，结 果难以解释。

3.多元共线性的诊断 常用的共线性诊断指标有以下几个:

(1)方差膨胀因子

(2)特征根系统(system of eigenvalues) 主要包括条件指数和方差比。

此外，还有几种方法可以进行共线性诊断: 1、自变量的相关系数诊断法 2、多元决定系数值诊断法 3、行列式判别法 4、回归系数方差分解法(RCVD法。

4.如果按研究方法分类，线性回归分哪几种？

一元线性回归，多元线性回归，多个因变量与多个自变量的回归

5.回归分析模型中，自相关现象对数据分析影响

1) 回归系数的最小二乘估计是无偏的，但是不再有最小方差。

2) 和回归系数的标准差会被严重低估，也就是说，由数据估得的标

准差会比它的实际值大大缩小，从而给出一个假想的精确估计

3) 置信区间和通常采用的各种显著性检验的结论，严格说来不是可

信的

6.岭回归中k选择一般原则

1) 各回归系数的岭估计基本稳定

2) 用最小二乘法估计时符号不合理的回归系数，其岭估计的符号变

得合理

3) 回归系数没有不合乎经济意义的绝对值

4) 残差平方和增大不太多

7.古典线性回归模型中满足的4个基本条件

a) 解释变量是非随机变量，观测值是常数

b) 等方差及不相关的假定条件 ,

c) 正态分布假定

d) 通常为了便于数学上的处理，要求,即样本容量的个数要多于

解释变量个数

8 异方差中spearman步骤

1) 做y关于x的普通最小二乘回归，求出的估计量，即

2) 取绝对值，把x i和按递增或递减次序排列后分成等级，按下式计

算等级相关系数

3) 做等级相关系数显著性检验，t检验，若，则异方差不存在

9.数据中心化标准化意义

在多元线性回归分析中，因为涉及多个变量，自变量的单位往往不同，利用回归方程进行结构分析带来一定困难。再因为多元回归涉及的数据量较大，就可能由于舍入误差而使计算结果不理想。

10多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？

有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精

11.变量选择方法

前向选择，后向剔除，逐步回归12解决多元共线性方法

1) 剔除一些不重要的解释变量

2) 增大样本容量

3) 岭回归法

4) 主成分法

5) 偏最小二乘法