ICA独立成份分析独立成分分析

• 优点：计算和理论简单 • 缺点：对outliers敏感，不具有鲁棒性
Negentropy
基于信息论中熵的概念 定理：在所有随机变量，高斯分布的变量有最大熵。 定义Negentropy J为：
yGauss是和y有相同协方差矩阵的高斯随机变量。 y为高斯分布时， Negentropy为零，其它分布时不为 零。 计算起来太复杂，需要引入其近似值。
• 定义二：找到事物的一种合理表示，使得各分量最大 化地独立。 • 20世纪八十年代才被提出。
cocktail-party problem
• 例子：cocktail-party problem
Mixing matrix A
s1 Sources x1
Observations
x2
s2
n sources, m=n observations
non-Gaussianity的度量
• 为了在ICA估计中使用non-Gaussianity，我们必须有 一个对它的定性度量。 • 常用的有三种： Kurtosis Negentropy Approximations of negentropy
Kurtosis
• 定义：y为随机变量，则
• •
对于高斯分布， Kurtosis为零，大部分非高斯分布 Kurtosis不为零。 性质：
Negentropy的近似
经典近似：
J ( y)
2 1 1 2 E y 3 kurt y 12 48
和Kurtosis有同样的缺点：不鲁棒。 另一种近似：
J ( y) c E G( y ) E G(v)
2
V是均值为零，方差为1的高斯随机变量，G是非二次函数 常取为：
• 统计意义下说明
x As
x Ao s
S各分量相互独立
x各分量不相互独立
判断方法：能否从一个分量估计出另一分量的值。边的方向即A0列向量。
Illustration of ICA
• 通过x的统计性质，作一些假设的条 件下,可以估计出A和s
统计概念
• 独立：两个随机变量y1和y2是相互独立的，如果y1的值 不能为y2提供任何信息，反之亦成立。 用概率密度函数描述： p( y1, y2 ) p1 ( y1 ) p2 ( y2 )
• 根据中心极限定理，独立随机变量的和在一定条件下趋 近于高斯分布。即独立随机变量的和比原独立随机变量 更接近高斯分布。
• 可以认为越具有高斯性，其独立性越 差 反之， non-Gaussianity越强，独立 性越强
ICA估计的原理：non-Gaussianity
• ICA 模型：x = As s=A-1x • 令y=wTx.z=ATw, 则 y=wTx=wT As=zTs • 这样的话y 是s的线性组合，y应该比s更具有高斯性， 除非wT接近A-1。此时，y=wTx=A-1x=s。 • 也就是说y=s时，y具有最大非高斯性。 • 问题转化为求解w，它最大化wTx的non-Gaussianity 性。 • ICA 数值优化问题。
计算简单快速，而且具有鲁棒性。后面介绍的算法即采用此种近似。
1 G1 (u ) log cos a1u a1
u 2 G2 (u ) exp 2
预处理－Centering
• 为了使算法更简单，一般会在采用具体算法前进行预处 理。 • Centering：使x变为均值为零的随机变量，减去m=E {x}即可。 • 纯粹为了简化计算，估计完A后，可以将s的均值补偿回 去。s的均值向量为A－1 s。
E{h1 ( y1 )h2 ( y2 )} E{h1 ( y1 )}E{h2 ( y2 )} 性质：给定两函数h1和h2有：
• 不相关：两随机变量是不相关的，如果 E{y1 y2} E{y1}E{y2} • 独立的肯定不相关，不相关的未必独立，即独立是比不 相关更强的约束。
不可以是Gaussian分布
混合矩阵A为方阵且可逆（这个限制可以放松）
• 结论：估计出A之后，我们就可以得到s（s= A-1x）
Ambiguities of ICA
s和A均是未知的，s乘一个标量k，总可以用A乘以 1/k所抵消，即不能唯一确定s和A。
作如下约束：
E{si } 1
2
S中各个分量的次序不Biblioteka Baidu定
Illustration of ICA
x = As
cocktail-party problem
Two Independent Sources
Mixture at two Mics
x1 (t ) a11s1 a12 s2 x2 (t ) a21s1 a22 s2
ICA 模型(经典)
• xj = aj1s1 + aj2s2 + .. + ajnsn, 对于每一个 j x = As • 条件：s和A均是未知的，只有x已知 • 目标: 通过x估计出A和s 每一个si成分统计独立 • 限制： 每一个成分都不是Gaussian分布（实际上未知）
预处理－whitening
• 对x进行线性变化，使变换后的x’是white的，即各分量不相关且 E x ' x 'T I ，I为单位矩阵。 方法：特征值分解（EVD）
•
E x ' x 'T EDE T
• 变换后A为正交矩阵A‘：
x ' ED1/ 2 ET x
E x ' x 'T A ' E ssT A 'T A ' A 'T 1
• 在假设条件中，各分量不允许是Gaussian分布 • X1和x2都是标准Gaussian分布，联合概率密度 函数： x12 x2 2 1
p( x1 , x2 ) exp 2 2
没有边缘信息，即不包含A的 列向量的信息。
ICA估计的原理：non-Gaussianity
独立成分分析 Independent Component Analysis （ICA）
齐娟 2007-5-29
主要内容
• • • • • • ICA定义 ICA模型 ICA原理 ICA算法 ICA应用 PCA&ICA
ICA定义
• 定义一：利用很少的先验知识将混合信息分离成独立 分量的一种重要方法。