范建青论文

本文处理解决有条件的稀疏结构的高维协方差和快速发散特征值的估计。通过假设在近似因子模型中存在稀少的错误协方差矩阵,我们允许一些即使去除相关因素后的横截面相关但不可见的因素的存在。我们介绍主要的正交补阈值(POET)方法探索这样一个稀少的近似因子结构。POET估计量包括样本协方差矩阵,那些基于因子的协方差矩阵,阈值估计量(Bickel Levina,2008)和自适应阈值估计量(Cai和刘,2011)作为具体的例子。当因子分析大约和主成分分析在高维数据一样时我们提供数学见解。稀疏的残差的协方差矩阵的收敛率和有条件的稀疏的协方差矩阵的收敛率在各种规范下进行了研究。结果表明,估计未知因素的影响随着维数的增加而消失。未被观察到的因素及其因素载荷统一的收敛率是衍生的。渐近结果也通过大量的仿真研究验证。最后,提出一个真正的数据应用到证券投资组合分配中。

关键词：高维,近似因子模型,未知因素,主成分,稀疏矩阵,低秩矩阵,阈值,横截面相关，发散的特征值。

1 引言

信息技术使大数据集被广泛用于科学探究。这些高维数据的统计分析涉及协方差矩阵的评估及其逆矩阵(精度)。例子包括投资组合管理和风险评估,高维分类，比如Fisher判别(黑斯蒂,Tibshirani弗里德曼,2009),(Meinshausen)图形模型,统计推断比如在多重检验中控制错误的发现，发现基于纵向数据的数量性状,和评估主要资产定价模型(Sentana,2009),等等。第五节是对于其中的一些应用。然而,维数往往跟样本量一样或更大。在这种情况下,样本协方差是表现不佳(约翰斯通,2001),一些正则化（调整）是必要的。

意识到估计协方差矩阵的重要性和高维度带来的挑战,近年来研究者提出不同的正则化技术来估计Σ一致。一个关键的假设是,协方差矩阵是稀疏的,即许多条目为零或接近于零。然而,在许多应用中,直接在Σ上作的稀疏假设是不合适的。比如，,财务回报取决于股票市场的风险,房价取决于经济健康,基因表达式可以被细胞因子刺激,等等。由于共同因素的存在, 假设许多不相关的结果是不现实的。另一种方法是假设一个因素模型结构,就像Fan,Fan和Lv(2008)所提到的。然而,他们用已知因素严格限制的因子模型。

一个自然的延伸是把条件缩减。考虑到常见的因子,结果是弱相关的。为了这样做,我们考虑一个经济和金融研究中经常使用的近似因子模型：

y it = b 0 i f t + u it .（1.1）

这里y是观察到的响应的第i个(i= 1,…,p)个人在时间t = 1,……T, bi是一个向量的因子载荷;f t 是一个K×1矢量的常见因素,uit是一个误差项。,通常被称为特殊组件,与f t无关。p和T都是无穷大,而K在本文中假定固定,p可能比T是更大的。

我们强调,在模型(1.1),只有yit是可观测的。它直观地表明，当有足够多的样本的情况下，也就是说,p→∞时，未知的共同因素才能被可靠地推断,。在数据丰富的环境中,p可以比T分散速度更快。因子模型(1.1)可以变成一个矩阵形式：

y t = Bf t + u t.（1.2）

where y t = (y 1t ,...,y pt ) ‘ , B = (b 1 ,...,b p ) ‘ and u t = (u 1t ,...,u pt ) ‘。我们感兴趣的是Σ,它是yt的一个p×p的协方差矩阵,它的逆,假定为定常。模型(1.1)下,Σ这样给出：

Σ= Bcov(f t )B 0 + Σ u ,（1.3）

Σu =(σu,ij)p×p是ut的协方差矩阵。相关的因子模型的文献通常假定Bcov的第一个K特征值的发散率是O(p),而Σu的所有特征值是有界的p→∞。这种假设是容易掌握，当因子是随处可见的在某种意义上,因子载荷应该是不小的一部分非零的因素。然后分解(1.3)，当p→∞渐近确定。除了它,在本文中,我们假设Σu是近似稀疏的，正如Bickel和Levina罗斯曼(2008)和et al .(2009)，对于一些q ∈[0,1)，

当p→∞时不会增长太快,。特别是,这包括确切的稀疏的假设

，在每一行

的非零元素的数量最大。

(1.2)的条件稀疏结构是由Fan,liao和Mincheva2011)估计协方差矩阵,当{ f t }是可见的因

素时探讨。这就允许他们用回归分析去估计，本文处理的情况是因子是不可见的,必须推断。我们的方法很简单,不用最优化而且它使用的数据仅仅通过样本协方差矩阵去

估计。在yt的样本协方差矩阵运行异常值得分解，确保协方差矩阵是由K个主成分形成的，,并把阈值转换法过程应用到剩下的协方差矩阵中。这一结果在POET估计量中。当K个共同因素的数量是未知时,它可以从数据中估计出来。见第二部分额外的细节。在假设数据是连续依赖的情况下，我们将探讨POET的各种特性，,其中包括独立的观察值作为一个特殊的例子。估计Σ和Σu在各种规范下的收敛速度和它们的精确度(逆)矩阵将派生。我们表明, 当plogp>>T时估计未知的影响因素在收敛消失时的速率,特别是当Σu达到最优的收敛速度率时。

本文关注的是高维静态因素模型(1.2),这是本质上就与主成分分析(PCA)有关的,在第二节阐明。这个特性使得它不同于拥有固定维度的古典因素模型(如。,域名和麦克斯韦1971)。在过去的十年当中,太多静态因素模型的理论估计和推断已经发展起来,（例如,股票和沃森(1998、2002),白和Ng(2002)、白(2003),一打,Giannone和Reichlin(2011),）等等。我们的贡献是在大的因子模型中估计协方差矩阵及其逆模型。

本文中的静态模型和（Forni, Hallin, Lippi and Reichlin (2000)）的动态因子模型是有区别的；后者允许在滞后的时间下yt也依赖于ft。他们的方法是基于谱密度矩阵的特征值和主成分,而且还基于频域分析。此外,如（弗尼和里皮(2001)）所展示的,动态因子模型并没有真正在数据生成过程实施限制,而且特征值(在他们的术语中,如果其谱密度矩阵的所有特征值仍有界,p→∞，一个p维的方法是特征值,)的假设渐近识别yit分解成共同因子和特征值的误差。相关文献包括Forni et al. (2000, 2004),Forni and Lippi (2001), Hallin and Liˇ ska (2007, 2011),和许多其他的引用。最重要的是,这两个模型的静态和动态因素得到越来越多的关注，

在许多通常是分散在大量信息相关的时间序列应用领域。

近年来有广泛的文献处理稀疏主成分、,已广泛用于提高在高维空间主成分的收敛。d’Aspremont, Bach and El Ghaoui (2008), Shen and Huang(2008), Witten, Tibshirani, and Hastie (2009) and Ma (2011)提出并研究了各种计算的算法，更多关于稀疏主成分分析的文献是在JohnstoneandLu (2009), Amini and Wainwright (2009), Zhang and El Ghaoui (2011), Birnbaum et al.(2012),等人的文章中发现的。除此之外,也有越来越多的文献,从理论上研究了恢复从一个低秩和稀疏矩阵的估计问题。比如Wright et al. (2009), Lin et al. (2009), Cand` es et al. (2011), Luo (2011), Agarwal,Nagahban, Wainwright (2012), Pati et al. (2012)它跟我们的疑问中的可识别性的问题相一致。

我们的模型跟前面提到的这些经过深思熟虑的文献有很大别。在当前文章中,Σ的前K 个特征值是标准的而且以O(p)的增长速度上升，而矩阵的特征值,研究了现有文献中协方差

估计通常认为是有界或缓慢增长。由于这种独特的特性,共同的成分和特征值成分可以被识别,此外,PCA（主成分分析）在样本协方差矩阵可以通过Σ的特征向量持续估计跨越的空间。现有的直接阈值转换方法或解决一个约束的最优化方法可以在非常标准的主要特征值面前舍去。然而,这里是要付出代价的:作为第一个K特征值是非常标准的，在一个绝对项中估算Σ很难获得令人满意的收敛速度,但它可以精确地估计相关名词(有关详细信息,请参阅第3.3节)。此外, Σ 的逆可以准确估计。

我们愿进一步注意到我们模型中的低秩和稀疏表示法是在人口协方差矩阵上，然而Cand` es et al. (2011), Wright et al. (2009),Lin et al. (2009) 1考虑这样一个表示法是在数据矩阵上。由于没有Σ去估计,他们的目标是限制数据矩阵产生的低秩和稀疏矩阵分解,这对应于我们的研究的可识别性问题,不涉及估计和推断。相比之下,我们的终极目标是估计人口协方差矩阵以及精度矩阵。为了这个目的,我们需要特征值的成分和共同因素不相关而且数据生成过程是严格固定。本文的协方差视随着时间的推移是不变的常数,尽管随时间变动很慢的协方差矩阵通过时间定位(时域平滑)可适用。我们在Σu上的一致性结果表明分解(1.3)是可识别的,因此我们的研究结果也摆脱了Cand` es et al 的“令人惊讶的现象”的光辉。只有当这两个成分的和是有效的时候，我们才能把一个稀疏矩阵从低秩矩阵中完全分离。

文章中剩下的部分安排如下：第二节给出了我们的评估程序,构建主成分分析和因子分析之间在高维空间中的关系。第三节提供了各种估计量的渐近理论。第四部分说明了如何使用交叉验证选择阈值以及保证在任何有限的样本中确保正定性。正规化的协方差矩阵的特定应用在第五节给出。数值结果在第六节报道。最后,第七节提供了一个真实的数据在投资组合配置中的应用。所有的样本都在附录中给出。在整个论文中，我们用

表示一个矩阵A的最小和最大特征值.我们也用

来表示Frobenius范数，谱范数（也称为算子范数），L-1范数和矩阵A的元素智能范数，分别由

定义。解释为当A是一个向量时，对于欧几里得范数相等。最后，对于两个序列，我们这样表示：

2 通过主成分分析正则化的协方差矩阵

这篇文章主要有三个目的：（i）理解主成分分析和高维空间下因子分析的关系（ii）估计协方差矩阵Σ和特殊矩阵Σu及其在有共同因素存在的条件下的精度矩阵。（iii）调查估计未知因素在协方差估计上的影响。下面2.1节中的命题表明thespace spanned by the principal components in the population level Σ is close to the spacespanned by the columns of the factor loading matrix B.（翻译的不对，但是不知道该怎么说）空间跨越主成分在人口水平的Σ接近空间横跨因子载荷矩阵B的列。

2.1 高维主成分分析和因子模型

考虑一个因子模型：

共同因子的数量K=ft的维度，比起p和T它是非常小的，因此在整篇文章中被假定为固定的。在模型中仅有的可观察的变量是yit。因素模型的的一个显著特征是,Σ的主要特征值不再是有界的,而是随着维数快速增长。我们在下面的例子中说明这一点。

例子2.1考虑一个单因素模型y it = b i f t + u it，b i∈R。假设因素是普遍的,它对

非零的结果的比例有可观的影响。然后合理的假设

因此，假设是(1.3)的收益率的应用。

对所有比较大的p，假定var(f t ) > 0.

我们现在阐明为什么PCA（主成分分析）在标准特征值下用于因素分析。我们写成如下形式，B作为一个载荷矩阵。注意到由的前K个主成分组成的线性跨越与当是非退化的时候B的列向量是一样的。因此我们假设，不是一般性的B的列是正交的而且单位矩阵。此规范形式对应(1.3)的分解的可识别性条件。让作为B的列，是一个非递增的顺序。是

矩阵的特征向量并且特征值是，其他都是0.我们将普遍假设所有K*K阶矩阵的特征值是偏离0的有界量，即认为因子载荷是从非退化的人口中的独立的实现形式。由于非零的矩阵的特征值是跟是一样的，从普遍性假设中出现了如下结果都是以的增长速度增长。让作为在一个降序中的特征值，是它们相应的特征向量。然后是Weyl’s特征值定理的应用领域。

命题2.1假设的特征值对于所有的比较大的p是趋向于0的有界量，对于因子模型（1.3）有规范的条件：

是对角阵

我们有

另外，对于

用命题2.1和Davis and Kahn的sinθ定理（见附录），我们得到如下结果：

命题 2.2在命题 2.1的假设下，如果是不同的，那么

命题2.1和2.2表明主成分分析和因子分析是大体相同的在的条件下。这是通过在一个稀疏条件而确定的，这个条件经常通过

来测量。

直觉是,采取共同的因素之后,许多双横截面单位变的相关性很弱。这种广义稀疏的概念用于

Bickel和Levina(2008)和Cai和刘(2011)。在这个广义的稀疏测度下，如果噪声方差是有界的。我们有

因此当m p = o(p)，命题2.1意味着在主成分和剩余的成分之间有一个显著的特征根。，而且命题2.2确保前K个主成分与因子载荷的列大体相似。

上述稀疏的假设在实证应用上似乎是合理的。Boivin and Ng (2006)进行了一次实证研究,表明在弱相关的成分之间实施零相关可以改善预测。最近,Phan (2012)使用英国市场数据实证估计了特殊协方差的稀疏的水平。

最近在随机矩阵上的发展，如Johnstone and Lu (2009)and Paul (2007)表明,当p / T不可以忽略不计时, Σ的特征值和特征向量可能不会从样本协方差矩阵中被一致估计的。在本文中，协方差有一个明显的特征是有一些加入标准的特征值。由命题2.1和2.2,在因子模型中,普遍性的条件

意味着前K个特征值以速率p增长。另外，当p跟大且m p = o(p)时，主成分接近

于归一化向量。这就为前K个特征值通过因子载荷矩阵B的列代替空间跨越提供了数学理论。另外，根据（2.3），Jung and Marron (2009) and Birnbaum et al等人认为前K个特征值的标志比加入标准的协方差模型更强一些。因此,我们在人口水平上的主成分一致性条件远低于加入标准的协方差文献。另一方面，这也显示了，在我们的设置中，主成分分析只有p→∞时是一种有效的近似因子分析。在这样的事实下主成分分析上是不一致的当p有界也是以前在文献中证明的。

在2.3的假设下，在近似因子模型上的规范文献表明样本协方差矩阵上的主成分分析可以通过因子载荷一致性估计空间跨越。（比如Stock and Watson (1998), Bai (2003)）。我们在命题2.1和2.2的贡献是我们把高维因子模型和主成分联系起来，在人口水平上获得

光谱的一致性，Σ代替样本水平。在Chamberlain and Rothschild (1983)文献中，光谱一致性的结果也得到加强，这为因子模型文献中的一致性结果提供了背后的基本原理。

2.2 POET

由于共同因素的存在，直接在Σ上的假设在很多应用中是不合适的。因此我们提出一个Σ基于主成分分析的非参数统计量。令是样本统计量的有序特征值，而且是它们相应的特征向量，然后样本协方差有如下普分解

其中是主要的正交补，K是Σ的不同特征值的数量，我们首先假设K是已知的。现在我们运用在上的阈值，定义

其中s ij (·)是Antoniadis and Fan (2001)文章中一个通用的收缩函数，被Rothman et al. (2009) and Cai and Liu (2011)等人引用，而且是一个entry-dependent阈值。尤其是算法

规则和常数阈值参数是可以的。实际上，令τij设为一个entry-adaptive是更合适的。一个自适应阈值的例子是

是的第i个对角线元素。这就相当于把含有参数的阈值应用到的相关矩阵上。这些Σ的估计量有如下定义：

我们称这些估计量为正交补阈值（POET）估计量。他是在移走前K个主成分之后，通过阈值转换样本协方差矩阵的剩余成分得到的。POET的一个好处是他不用最优化，因此在计算上很有利。

在（2.6）的选择和算法准则中，我们的许多包括普遍估计量作为他的特例。当

时，估计量是协方差矩阵，当时估计量成为了基于严格因素的模型(Fan, Fan, and Lv ,

2008)。当时，我们的估计量与Bickel and Levina (2008)和（与一个更一般的阈值

函数）Rothman et al. (2009)或者Cai and Liu (2011)有一个合适的τ ij的自适应阈值估计量的阈值估计量是一样的。

在实际中，不同特征根的数目（或者共同因子）可以根据样本协方差矩阵估计出来。在数据驱动方法中，决定系数K是非常重要的课题而且也很好理解。我们将会在2.4节用一个数据驱动K来描述POET。

2.3最小二乘的观点

POET(2.7)用约束最小二乘法有一个等价的表示方法。最小二乘法使得

并且

服从标准化（2.9）

限制条件（2.9）对应于标准化的（2.1），这里我们假设每个变量的均值已经被移除，也就是对于所有的

，，

。把它放在一个矩阵的形式中，标准化问题可以写成

（2.10）是

，

一个对角阵。其中，。使用约束因素2.9，对于每个给定的F，B的最小二乘估计量是。如果用约束条件（2.10）

来代替的话，目标函数就变成了

现在，最小元就很清楚了：的列是对应于维矩阵的K个

最大特征值的特征向量，而且。

在一些轻微的正则性条件下，当p和T→∞时，我们将要展示一致性估计真

实的并且在统一的i≤p和t ≤T条件下。因为Σ u被假设成稀疏的，我们可以用自适应阈值方法构建一个Σ u的统计量（就如下面Cai and Liu (2011)所述）。令

而且，

。对于一些预先确定的递减序列ω T > 0，和足

够大的C>0，定义自适应阈值系数为。估计的特殊协方差估计量由下式给出：

这里对于所有的z ∈R（见例子Antoniadis and Fan, 2001）

很容易验证包括许多有趣的阈值函数，比如硬阈值函数

，软阈值函数

，和SCAD，和自适应套索（See Rothman et al. (2009)）。

类似于分解（1.3），我们得到如下替换估计量

而且由Sherman-Morrison-Woodbury准则，并指出，