岭回归分析

岭回归分析

一、普通最小二乘估计带来的问题

当设计矩阵X 呈病态时,X 的列向量之间有较强的线性相关性，即解释变量间出现严重的多重共线性,在这种情况下,用普通最小二乘法估计模型参数，往往参

数估计的方差太大,即jj jj j L C 2)?var(σβ=很大，j

β?就很不稳定,在具体取值上与真值有较大的偏差,有时会出现与实际经济意义不符的正负号。下面看一个例子,可以说明这一点。

假设已知1x ,2x 与y 的关系服从线性回归模型:ε+++=213210x x y ,给定1x ,2x 的10个值,如下表1，2行所示：

表7.1

然后用模拟的方法产生10个正态随机数,作为误差项ε,见表第3行。然后再由回归模型i i i i x x y ε+++=213210计算出10个i y 值,见表第4行。现在假设回归系数与误差项是未知的,用普通最小二乘法求回归系数的估计得：0

?β=11.292,1?β=11.307,2

?β=-6.591,而原模型的参数0β=10,1β=2,2β=3看来相差太大。计算1x ，2x 的样本相关系数得12r =0.986,表明1x 与2x 之间高度相关。通过这个例子可以看到解释变量之间高度相关时，普通最小二乘估计明显变坏。

二、岭回归的定义

当自变量间存在多重共线性,|X X '|≈0时，设想给X X '加上一个正常数矩阵kI (k>0)那么X X '+kI 接近奇异的程度就会比X X '接近奇异的程度小得多。考虑到变量的量纲问题，先要对数据标准化，标准化后的设计矩阵仍用X 表示，定义y X kI X X k '+'=-1)()(?β称为β的岭回归估计，其中，k 称为岭参数。由于假设X 已经标准化，所以X X '就是自变量样本相关阵。y 可以标准化也可以未标准化，

如果y 也经过标准化，那么计算的实际是标准化岭回归估计。)(?k β

作为β的估计应比最小二乘估计β

?稳定，当k=0时的岭回归估计)0(?β就是普通的最小二乘估计。因为岭参数k 不是唯一确定的，所以得到的岭回归估计)(?k β

实际是回归参数β的一个估计族。

三、岭回归估计的性质

性质1，)(?k β

是回归参数β的有偏估计。 证明：ββX X kI X X y E X kI X X y X kI X X E k E '+'='+'='+'=---111)()()())(()](?[显然

只有当k=0时，ββ

?)]0(?[=E ；当k ≠0时，)(?k β是β的有偏估计。 性质2，在认为岭参数k 是与y 无关的常数时，)(?k β

=y X kI X X '+'-1)(是最小二乘估计β

?的一个线性变换。也是y ?的线性函数。 证明：β

β?)()()()()(?1111X X kI X X y X X X X X kI X X y X kI X X k '+'='''+'='+'=---- 性质3，对任意k>0，0?≠β，总有ββ?)(?

看看成由β?进行某种向原点的压缩。从)(?k β的表达式可以看到，当k →∞时，)(?k β→0，即)(?k β

化为零向量。

性质4，以MSE 表示估计向量的均方误差，则存在k>0，使得)?()](?[ββMSE k MSE <。

四、岭迹分析

当岭参数k 在（0，∞）内变化时，)(?k β

是k 的函数，在平面坐标系上把函数)(?k β

描画出来，画出的曲线称为岭迹。

在图a 中，)0(?j β=j

β?>0，且比较大。从古典回归分析的观点看，应将j x 看作是对y 有重要影响的因素。但)(?k j

β的图形显示出相当的不稳定，当k 从零开始略增加时， )(?k j

β显著地下降，而且迅速趋于零，因而失去预测能力。从岭回归的观点看，j x 对y 不起重要作用，甚至可以去掉这个变量。

在图b 中，j β?=)0(?j

β>0，但很接近0。从古典回归分析看，j x 对y 的作用不大。但随着k 略增加，)0(?j

β骤然变为负值，从岭回归观点看，j x 对y 有显著影响。 在图c 中，j β?=)0(?j

β>0，说明j x 还比较显著，但当k 增加时，迅速下降，且稳定为负值，从古典回归分析看j x 对y 有正影响的显著因素，而从岭回归分析角

度看，j x 要被看作是对y 有负影响的因素。

在图d 中，)(?1k β和)(?2

k β都很不稳定，但其和却大体上稳定。这种情况往往发生在自变量1x 和2x 的相关性很大的场合，即1x 和2x 之间存在多重共线性的情形。因此，从变量选择的观点看，两者只要保存一个就够了。这种情况可用来解释某些回归系数估计的符号不合理的情形，从实际观点看，1β和2β不应该有相反符号。岭回归分析的结果对这一点提供了解释。

从全局考虑，岭迹分析可用来估计在某一具体实例中最小二乘估计是否适用，把所有回归系数的岭迹都描在一张图上，如果这些岭迹线“不稳定度”很大，整个系统呈现比较“乱”的局面，往往就会怀疑最小二乘估计是否很好地反映了真实情况。如图e 那样。如果情况如图f 那样，则对最小二乘估计可以有更大的信心。

五、岭参数k 的选择

岭参数选择的目的是要选择使MSE （)(?k β

）达到最小的k ，最优k 值依赖于未知参数β和2σ。

1、岭迹法

岭迹法的直观考虑是，如果最小二乘估计看来有不合理之外，如估计值以及

正负号不符合经济意义，希望能通过采用适当的岭估计)(?k β

来加以一定程度的改善，岭参数k 值的选择就是尤为重要。选择k 值的一般原则是：

（1）各回归系数的岭估计基本稳定；

（2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理。

（3）回归系数没有不合乎经济意义的绝对值；

（4）残差平方和增大不太多。

岭迹法与传统的基于残差方法相比，在概念上来说是完全不同的，岭迹法对于分析各变量之间的作用和关系是有帮助的。

2、方差扩大因子法

应用方差扩大因子法选择k 的经验做法是：选择k 使所有方差扩大因子

10≤jj c ，当10≤jj c 时，所对应的k 值的岭估计)(?k β

就会相对稳定。 3、由残差平方和来确定k 值

岭估计)(?k β在减小均方误差的同时增大了残差平方和，我们希望岭回归的残

差平方和)(k SSE 的增加幅度控制在一定的限度以内，从而可以给定一个大于1的c 值，要求cSSE k SSE <)(,寻找使该式成立的最大的k 值。

六、用岭回归选择变量

岭回归选择变量的原则：

1、在岭回归的计算中，假定设计矩阵X 已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。

2、当k 值较小时，标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k 的增加迅速趋于零，像这样岭回归系数不稳定，震动趋于零的自变量可以予以剔除。

3.去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。

七、实例分析——用岭回归选择变量

例1：空气污染问题，研究死亡率与空气污染、气候以及社会经济状况等因素的关系。考虑了15个解释变量，收集了60组样本数据。

x1— 平均年降雨量；x2—1月份平均气温；x3—7月份平均气温

x4— 年龄65岁以上的人口占总人口的百分比；x5—每家人口数

x6— 年龄在22岁以上的人受教育年限的中位数

x7—住房符合标准的家庭比例数；x8—每平方公里人口数

x9—非白种人占总人口的比例；x10—白领阶层人口比例

x11— 收入在3000美元以下的家庭比例；x12—碳氢化合物的相对污染势 x13—氮氧化合物的相对污染势；x14—二氧化硫的相对污染势

x15—年平均相对湿度；y —每十万人中的死亡人数

这个问题收集了60组样本数据。根据样本数据，计算X X '的15个特征根为：

4.5272，2.7547，2.0545，1.3487，1.2227

0.9605，0.6124, 0.4729，0.3708，0.2163

0.1665，0.1275，0.1142，0.0460，0.0049 后面两个特征根很快接近零，由条件数可知：151λλλλ==j m j k =30.396，说明设计矩阵X 含较严重的多重共线性。

进行岭迹分析，把15个回归系数的岭迹绘成下图，从图中看到，当k=0.2

时，岭迹大体上达到稳定。按照岭迹法，应取k=0.2。若用方差扩大因子法，当k 在0.02~0.08时，方差扩大因子小于10，故应在此范围选取k ，由此可以看到不同的方法选取的k 值是不同的。

在用岭回归进行变量选择时，因为从岭迹看到自变量x4,x7,x10,x11和x15有较稳定且绝对值较小的岭回归系数，根据变量选择的第一条原则，这些自变量可以去掉。又因为，自变量x12和x13的岭回归系数很不稳定，且随着k 的增加很快趋于零，根据上面的第二条原则这些自变量也应该去掉。还可根据第三条原则去掉变量x3,x5。这个问题最后剩的变量是x1,x2,x6,x8,x9,x14即可用这些自变量去建立一个回归方程。

例2.本例共有10个自变量，X 已经中心化和标准化了，X X '的特征根为：

3.692，1.542，1.293，1.046，0.972，

0.659，0.357，0.220，0.152，0.068

最后一个特征根10λ=0.068,较接近于零==101λλk 7.368,条件数k=7.368<10从条件数的角度看，似乎设计矩阵X 没有多重共线性。但下面的研究表明，作岭回归还是必要的。关于条件数，这里附带说明它的一个缺陷，就是当X X '所有特征根都较小时，虽然条件数不大，但多重共线性却存在。 下面作岭回归分析。对15个k 值算出)(?k β

，画出岭迹，如下图所示，从图中可以看到，最小二乘估计的稳定性很差，这反映在当k 与0略有偏离时，)(?k β

与β?=)0(?β就有较大的差距，特别是|5?β|和|6

?β|下降最多。当k 从0上升到0.1

时，2)(?k β下降到2

)0(?β的59%，而在正交设计的情形只下降17%。这些现象在直观上就使人怀疑最小二乘估计β?是否反映了β的真实情况。

另外，因素x5的回归系数的最小二乘估计5

?β为负回归系数中绝对值最大的，但当k 增加时，)(?5k β迅速上升且变为正的，与此相反，对因素x6，6

?β为正的，且绝对值最大，但当k 增加时，)(?6

k β迅速下降。再考虑到x5，x6样本相关系数达到0.84，因此这两个因素可近似地合并为一个因素。

再看x7，它的回归系数估计7?β绝对值偏高，当k 增加时，)(?7

k β很快接近于0，这意味着x7实际上对y 无多大影响。至于x1，其回归系数的最小二乘估计

绝对值看来有点偏低，当k 增加时，|)(?1

k β|首先迅速上升，成为对因变量有负影响的最重要的自变量。当k 较大时，|)(?1

k β|稳定地缓慢趋于零。这意味着，通常的最小二乘估计对x1的重要性估计过低了。

从整体上看，当k 达到0.2～0.3的范围时，各个)(?k j

β已大体上趋于稳定，因此，在这区间上取一个k 值作岭回归可能得到较好的效果。本例中)(?5

k β和)(?7

k β当k 从0略增加时，很快趋于0，于是它们很自然是应该剔除的。去掉它们之后，重作岭回归分析，岭迹基本稳定。因此去掉x5和x7是合理的。

八、实例分析——用岭回归处理多重共线性问题

（注！如果希望回归方程中保留一些自变量，那么岭回归方法是很有用的方法。） 例：用岭回归方法处理民航客运数据的多重共线性问题。