稳健主成分分析方法研究及其在经济管理中的应用

王斌会 :稳健主成分分析方法研究及其在经济管理中的应用
·7 3·
效率和准确性 , P. J . Rousseeuw , et al (1999) [3] 和 M. Hubert , et al (2001) [4] 提出改良过的快速 MCD 算法 (FAST2MCD) , 大大改进了 MCD 方法的运行速率 。 Pison , G. , et al (2003) [5] 提出了稳健因子分析的思 想 。Hubert . M. , et al (2004) [6] 将稳健方法应用于判 别分析 。M. Hubert , et al (2005) [7] 也提出了一种新 的主成分分析方法 。这些方法极大的推动了多变量 统计分析方法的发展 。
二 、方法的计算及其不稳健性
从传统主成分方法的计算过程可知 ,进行主成 分方法的计算关键是算出变量的协方差矩阵或者相 关矩阵 ,而相关矩阵可以从协方差矩阵得到 ,可以把 问题都归并到协方差矩阵的计算中 。但协方差矩阵 是一个不稳健的估计量 ,对离群值非常敏感 ,所以导 致所计算的相关矩阵 、特征值和特征向量也受其影 响 ,容易产生不合理的结果 。其实协方差矩阵对离 群值敏感主要因为它的计算中要使用到均值向量 , 而均值向量实际上只是对多维数据的简单求平均 , 这种计算方法必定会很容易受到离群值的影响从而 使得协方差矩阵不是稳健的估计量 。
关键词 :异常值 ; FAST2MCD 算法 ; 主成分分析 ; 稳健主成分分析 中图分类号 :C812 文献标识码 :A 文章编号 :1002 - 4565 (2007) 08 - 0072 - 05
Robust Principal Component Analysis Method and its Application
变量 ,几十万样本的数据 。但是 FAST2MCD 方法的 一大缺点就是不能处理变量数量比样本数量要多的 数据 ,这时就要用到投影寻踪 ( Projection Pursuit) 这 种稳健估计方法 。不过这种情况多发生在生物化学 的样本数据中 ,在经济管理类数据中样本数量比变 量数 量 多 的 情 况 还 是 占 绝 大 多 数 , 所 以 把 FAST2 MCD 估计的主成分分析应用在经济管理分析中还 是很有意义的 。
为生物化学的许多数据是变量数比样本数要多 ,计 算协方差矩阵的时候必然会产生多重共线性 ,而投 影寻踪的方法能很好地解决这个问题 。另一种是构 造一个稳健协方差矩阵的办法 ,比如由 Rousseeuw[2] 于 1984 年提出的 MVE(Minimum Volume Ellipsoid) 和 MCD(Minimum Covariance Estimator) 方法 。这类方法 都有一个潜在的限制条件 ,就是分析的数据必须是 样本数比变量数要多 ,一般数据大都满足该条件 ,用 MVE 和 MCD 方法研究它们的稳健协方差矩阵比较 合适 。在研究领域 ,不断有人对一些基础的稳健多 变量估计量在算法方面做出改进 ,务求提高其运算
(二) FAST2MCD 的改进方法 11 FAST2MCD 的改进思想 。 从 FAST2MCD 的算法中 ,可以看到算法中 h 值 的确定是一个关键部分 ,如果 h 值过大 ,那么就会 把离群值都纳入计算中 ,得不到需要的稳健结果 。 如果 h 值太小 ,又会把正常的样本值归入离群值的 范围 ,这样算出来的结果由于没有包含一些正常的 样本值 ,也是不科学的 。从这点出发 ,如果能够把 h 值从算法改进中确定下来 ,那么必定会给程序带来 更高的准确性 ,针对 h 值是由抽取比率 a 确定这一 特点 ,可以不断地改变 a 的值来得到相应的特征值 和特征向量 ,然后再根据它们的变化把 a 给确定下 来 ,从而得到更准确的结果 。 21 FAST2MCD 的改进方法2动态 a 值确定法 。 根据上面的改进思想 ,本文以 1 %的变化把 a 从小到大的增加 ,然后用方向偏差和方差偏差这两
在实际的数据中 ,离群值会经常的出现 。一个 或多个的离群值有时便可以把整个结果改变 ,使得 整个样本数据所反映的数据特征大大受到了影响 , 甚至会得出相反的结果 。
三 、方法的建立及其改进
稳健主成分分析方法的目的是构造一个稳健的 协方差矩阵 ,归根到底就是要降低离群值对协方差 矩阵的影响 ,并把离群值的遮蔽效应去掉 ,把离群值 高效地检测出来 。通常所说的 M 估计 ,MVE 估计和 MCD 估计方法都是以此为出发点 ,但是它们的算法 由于时间复杂度太高 ,在实际中很难应用 。因此本 文主要研究 MCD 方法的改良方法 ,FAST2MCD 方法 , 并在 FAST2MCD 方法的基础再提出改良的方法 。
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved.
·7 4·
统计研究
2001) 方向偏差 (Direction Bias) 。 方向 偏 差 ( Zamar , 1989) [9] 的 定 义 为 : Bi = 1 -
| a′i ( F) ×ai | ,其中 F = (1 - e) F0 + eH , F0 是原分 布 , H 是污染分布 ,也是离群值的来源 。e 是污染分 布比率 , e 越大表明数据中的离群值越多。 a′i ( F) 和 ai 分别是 F 和 F0 的协方差矩阵的第 i 个特征向 量 。可见 ,当特征向量完全没偏差时 , Bi = 0 ;当特征 向量正交时 , Bi = 1 。因此可以定义以下式子 : B^ ij = 1 - | ^aij ( F) ·ai | ,其中 j 代表模拟中的第 j 次结果 , 如果用 m 来表示模拟的次数 ,那么最终把方向偏差 定义为 :
估计方法主要利用迭代和马氏距离的思想构造 一个稳健的协方差矩阵估计量 ,然后在此稳健协方 差矩阵上计算出稳健相关矩阵 ,从而进行主成分分 析。
考虑一个 n 行 p 列的矩阵 Xn ×p ,从中随机抽取 h 个样本数据 ,并计算这 h 个样本数据的均值 T1 和 协方差矩阵 S1 。然后通过 :
d1 ( i ) = ( xi - T1 ) ′S1- 1 ( xi - T1 ) 计算这 n 个样本 数据到中心 T1 的马氏距离 ,选出这 n 个距离中最小 的 h 个 ,再通过这个 h 个样本计算均值 T2 和协方 差矩阵 S2 。Rousseeuw ,Van Driessen (1999) 已证明 det ( S2 ) ≤det ( S1 ) ,仅当 T1 = T2 , S1 = S2 的时候等号成 立 。这样不断迭代下去 ,当 det ( Sm ) = det ( Sm - 1 ) 时 停止迭代 。再通过 Sm 进行加权计算就能求出稳健 的协方差矩阵估计量 。反映在图形上就是不断寻找 包含 h 个样本点的到样本中心距离最短的超椭球 体 ,而把其余的 n - h 个样本点排除在超椭球体外 。
过去 ,制约稳健多变量分析方法应用主要是计 算问题 ,随着计算机技术的迅猛发展 ,很多以前只有 思想而不能实现的方法都可在计算机上得到实现 。 在方法的构造方面主要存在两种类型的估计方法 。 一种以 Huber (1985) [1] 年提出的投影寻踪 ( Projection Pursuit) 为代表 。主要应用在生物化学的数据中 ,因
(一) FAST2MCD 估计方法的原理 MCD 方法最早由 Rousseeuw (1984) 提出[2] ,虽然 其方法具有很高的稳健性 ,但是由于其算法的复杂 性加上当时计算机性能的落后 ,不能得到很好的运 用 。直 到 近 几 年 计 算 机 技 术 的 不 断 发 展 和 Rousseeuw ,Van Driessen (1999) [3] 提出改良过的快速 MCD 算法 ( FAST2MCD) ,才使得 MCD 方法真正地应 用在各种稳健估计中 ,其高效性可以处理超过 30 个
Wang Binhui
Abstract :Traditional multivariable analysis method , for example , principal component analysis ( PCA) method and factor analysis method , are common in calculating the mean vector , the covariance matrix of sample and other variables. When there are no outliers in the sample , these methods can get good results. But when there are outliers in the sample , these methods are easily affected by them. This paper focuses on the study of the most popular FAST2MCD method which is improved to overcome its shortcoming , constructs robust mean vector and robust covariance matrix which is applied in PCA method. From the result of simulation and empirical study , the improved method and the new robust estimator are good for resisting outliers and decrease their influence greatly.
3 本文获广东省科技计划项目 (2004B10101010) 资助 。
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved.