典型相关分析

即有
aΣ12b aΣ11a bΣ21a bΣ22b 因为 (bΣ21a) aΣ12b ，所以 aΣ12b ，知 为线 性组合 U ， V 的相关系数。用 代替方程组中的 ， 则
（ 9.4）方程组写为：
Σ12b Σ11a 0 Σ 21a Σ 22b 0
6
二、典型相关分析原理及方法
设有两组随机向量， X 代表第一组的 p 个变量， X 个变量，假设 p≤q。令
(1) (2)
代表第二组的 q
Cov( X (1) ) Σ11 , Cov( X (2) ) Σ22 , Cov( X (1) , X (2) ) Σ12 Σ 21
X 1(1) (1) X2 (1) (1) X Xp X ( p q )1 (2) (2) X X1 (2) X2 (2) Xq
（ 9.9）
即
1 1 2 ( Σ Σ Σ Σ I p )a 0 11 12 22 21 （ 9.10） 1 1 2 ( Σ22 Σ 21Σ11 Σ12 I q )b 0 1 1 1 1 Σ Σ Σ Σ Σ Σ Σ 由此可见， 和 11 12 22 21 22 21 11 Σ12 具有相同的特征根 2 ， a ， b 则是其相应的特征向量。为了表示方便，令 1 1 A Σ11 Σ12 Σ22 Σ21
（ 9.7） （ 9.8）

同理，由方程组（ 9.4）式可得
1 Σ21Σ11 Σ12b 2 Σ22b 0
12
1 1 用 Σ11 和 Σ 分别左乘（ 9.7）和（ 9.8）式，得 22
1 1 2 Σ Σ Σ Σ a a0 11 12 22 21 1 1 2 Σ Σ Σ Σ b b0 22 21 11 12
Cov(U1 ,U 2 ) Cov(a X , a X ) a Σ11a
(1) (1) (1) (2) (2) (2) (1)
(1)
(2)
(1)
(2) (2)
0
Cov(V1 ,V2 ) Cov(b X , b X ) b Σ22b
0
（ 9.12）
16
在（9.11）和（9.12）式的约束条件下，可求得其相关系数
(1) (2) (1) (2) V1 b(1) X(2) b1(1) X1(2) b2 X2 bq Xq
我们称其为第一对典型变量， 最大特征根的平方根 1 即为两 典型变量的相关系数，我们称其为第一典型相关系数。
15
如果第一典型变量不足以代表两组原始变量的信息，则需要求
14
由于我们所求的是最大特征根及其对应的特征向量，因此，
(1) (1) 最大特征根 12 对应的特征向量 a(1) (a1 , a2 ,, a(1) p ) 和 (1) (1) b(1) (b1(1) , b2 ,, bq ) 就是所求的典型变量的系数向量，
即可得
(1) (1) (1) (1) (1) U1 a(1) X(1) a1 X1(1) a2 X2 aP XP
达到最大的系数向量 a 与 b 。 根据条件极值的求法引入 Lagrange 乘数，将问题转化为求
(a, b) a Σ12b

(a Σ11a 1) (bΣ 22b 1) 2 2

（9.3）
的极大值，其中 λ，ν 是 Lagrange 乘数。
根据求极值的必要条件得
（ 9.5）
11
假定各随机变量协差阵的逆矩阵存在，则由方程组（9.5）式中
的第二式，可得：
b 1
1

1 Σ 22 Σ 21a
（ 9.6）
将（ 9.6）式代入方程组（ 9.5）式的第一式，得

即有
1 Σ12 Σ 22 Σ 21a Σ11a 0
1 2 Σ12 Σ Σ a Σ11a 0 22 21
(1) (1) U aX (1) a1 X1(1) a2 X 2 a p X p (2) (2) V bX (2) b1 X1(2) b2 X 2 bq X q
8
易见
D(U ) D(aX (1) ) aCov( X (1) , X (1) )a aΣ11a D(V ) D(bX (2) ) bCov( X (2) , X (2) )b bΣ22b Cov(U ,V ) aCov( X (1) , X (2) )b aΣ12b aΣ12b Cov(U ,V ) Corr(U ,V ) D(U ) D(V ) aΣ11a bΣ22b 我们希望寻找使相关系数达到最大的向量 a 与 b ，由于随机向
2
1936年霍特林（Hotelling）最早就“大学表现”和“入学前
成绩”的关系、政府政策变量与经济目标变量的关系等问题 进行了研究，提出了典型相关分析技术。之后，Cooley和 Hohnes(1971)，Tatsuoka(1971)及Mardia，Kent和 Bibby(1979)等人对典型相关分析的应用进行了讨论， Kshirsagar(1972)则从理论上给出了最好的分析。 典型相关分析的目的是识别并量化两组变量之间的联系，将 两组变量相关关系的分析，转化为一组变量的线性组合与另 一组变量线性组合之间的相关关系分析。 目前，典型相关分析已被应用于心理学、市场营销等领域。 如用于研究个人性格与职业兴趣的关系，市场促销活动与消 费者响应之间的关系等问题的分析研究。
得第二对典型变量，即
U 2 a (2) X(1) V2 b (2) X(2)
显然，要求第二对典型变量也要满足如下约束条件：
D (U 2 ) a (2) Σ11a (2) 1 D (V2 ) b
(2)
Σ 22b
(2)
1
（ 9.11）
பைடு நூலகம்
除此之外，为了有效测度两组变量的相关信息，第二对典型变 量应不再包含第一对典型变量已包含的信息，因而，需增加约 束条件：
b(1) X (2) 是 X (1) 、 X (2) 的第一对典型相关变量。求出第一对典型相
关变量之后，可以类似的求出各对之间互不相关的第二对、第三对 (1) (2) 等典型相关变量。这些典型相关变量就反映了 X ， X 之间的 线性相关情况。这里值得注意的是，我们可以通过检验各对典型相 关变量相关系数的显著性，来反映每一对综合变量的代表性，如果 某一对的相关程度不显著，那么这对变量就不具有代表性，不具有 代表性的变量就可以忽略。这样就可以通过对少数典型相关变量的 研究，代替原来两组变量之间的相关关系的研究，从而容易抓住问 题的本质。
Σ12 b Σ11a 0 a （9.4） Σ a Σ b 0 21 22 b
10
将（ 9.4）方程组的二式分别左乘 a 与 b 则得
aΣ12b aΣ11a 0 bΣ21a bΣ22b 0
7
Σ ( p11 p) Cov( X , X ) Σ ( q21 p)
Σ22 ( q q )
Σ12
( p q )
根据典型相关分析的基本思想，要进行两组随机向量间的相
关分析，首先要计算出各组变量的线性组合——典型变量， 并使其相关系数达到最大。因此，我们设两组变量的线性组 合分别为：
12 22 r2 ，
r rank ( A) rank (B) ， a(1) , a(2) ,, a( r ) 为 A 对应于 12 , 22 ,, r2 的特征向量， b(1) , b(2) ,, b( r ) 为 B 对应于
12 , 22 ,, r2 的特征向量。
3
第二节 典型相关的基本理论
一 典型相关分析的基本思想
二 典型相关分析原理及方法
4
一、典型相关分析的基本思想
典型相关分析由Hotelling提出，其基本思想和主成分分析非
常相似。首先在每组变量中找出变量的线性组合，使得两组 的线性组合之间具有最大的相关系数。然后选取和最初挑选 的这对线性组合不相关的线性组合，使其配对，并选取相关 系数最大的一对，如此继续下去，直到两组变量之间的相关 性被提取完毕为此。被选出的线性组合配对称为典型变量， 它们的相关系数称为典型相关系数。典型相关系数度量了这 两组变量之间联系的强度。 (1) (1) (2) (2) ,, X p ) 、 X (2) ( X1(2) , X 2 ,, X q ) 一般情况，设 X (1) ( X1(1) , X 2 是两个相互关联的随机向量，分别在两组变量中选取若干有 代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的 线性组合，即 U a(i ) X (1) a(i ) X (1) a(i ) X (1) a(i ) X(1)
i 1 1 2 2 P P
(i ) (2) (i ) (2) Vi b1(i ) X1(2) b2 X2 bq Xq b(i) X(2)
5
我们只考虑方差为 1 的 X (1) 、X (2) 的 为了确保典型变量的唯一性， 线性函数 a (i ) X (1) 与 b(i ) X (2) ，求使得它们相关系数达到最大的这 一组。若存在常向量 a (1) ， b(1) ，在 D(a (1) X (1) ) D(b(1) X (2) ) 1 的条件下，使得 (a (1) X (1) , b(1) X (2) ) 达到最大，则称 a(1) X (1) 、
第九章 典型相关分析
第一节 第二节 引言 典型相关的基本理论
第三节
第四节
样本典型相关分析
典型相关分析应用中的几 个问题 实例分析与计算实现
第五节
第一节 引言
典型相关分析（Canonical Correlation）是研究两组变量之