独立成分分析

原始的声音信号，两个原始信号，y为振幅也就 是说强度，x为时间，就是公式中的s（t）
两个信号的混合结果，就是结果中得x（t）
ICA分离后的结果

盲处理的大部分方法是依据一定的理论结 构造目标函数的无监督学习方法。盲处理 采用的目标函数主要有负熵（非高斯性最 大时就完成独立分量分离）、高阶累积量 （非高斯性度量参数，常用四阶累积量）、 互信息量（互信息量最大可获得最大独立 性）、KL散度、最大似然估计等。确定了 目标函数后，就需要用一定的算法寻优处 理，实现算法主要是各种自适应优化算法。
ICA是20世纪90年代提出的，起初是神经 网络的研究中有一个重要的问题，独立成 分分析是一个解决问题的新方法。在许多 应用方面，包括特征识别、信号分离。这 种方法是用一种解线性方程组的方式的估 计方式求解信号源。 BSS的目的是估计原始源信号，即便他们不 完全相互统计独立；而ICA的目的是确定 出某种变换，以保证输出信号各分量尽可 能的相互独立。
相关性
定义量 E{[ X E ( X )][Y E (Y )]} 称为随机变量 X 不 Y 的协方差，记为
Cov( X , Y ) ，即 Cov( X , Y ) E{[ X E( X )][Y E (Y )]}，而 XY
Cov( X , Y ) 称 D( X ) D( y )
xi (t )(i 1,..., m) 都可以看成是一个随机信号，其每个观测值 xi (t ) 是在 t 时刻对随
机信号 xi 的一次抽样。由上式看出，t 时刻的各观测数据 xi (t ) 是由 t 时刻各独立 源信号 s j (t ) 的值经过丌同 hij 线性加权得到的。
我们的目的是反解出 s，也就是利用 s Ax ，A 为 H 的逆矩阵。为了在混合矩阵 H 和源信号 s 均未知的情况下，仅利用传感器检测到的信号 x（简称传感器信号 戒混合信号）和 ICA 各个假设条件，尽可能的分离出源信号 s，可构建一个分离 矩阵（戒称解混矩阵） W ( wij )nn ，那么 x 经过分离矩阵 W 变换后，得到的 n
为了避免尺度的丌确定性， 可对独立源信号迚行能量归一化处理， 则归一化后的
各分量的自相关函数满足 E{si2 } 1 ，当前面两式同时成立时，等价于源信号 s (t )
的自协方差矩阵 cov( s ) I 。当源信号为零均值时，此协方差矩阵等于自相关函
数矩阵 Rss E{ssT } 。
独立性
要定义独立性， 首先让我们定义两个标量的随机变量 y1 , y2 。f ( y1 , y2 ) 是 y1 , y2 的联合概率密度分布（pdf） ，我们可以通过对一个变量的积分求出单独的概率 分布 f1 ( y1 ) f ( y1 , y2 )dy2 ，当两个变量相互独立的时候 f ( y1 , y2 ) f1 ( y 1 ) f 2 ( y2 ) ， 这个可以扩展到 n 维变量。
维输出列向量 y [ y1 , y2 ,..., yn ]T 。这样，ICA 问题的求解（戒解混模型）就可以
表示成 y (t ) Wx (t ) WHs (t ) Gs (t ) ，式中的 G 为全局传输矩阵（戒全局系统矩
阵） 。若通过学习使得 G=I(I 为 n n 阶单位矩阵)，则 y (t ) s (t ) ，从而达到了分
白化后的混合信号 x ，分离输出 y 满足 E{ yyT } I （消除尺度丌确定性）时，有
T E{ yyT } E{W xx W T } WW T I 表明，数据白化后的盲分离，其分离矩阵 W 必
然为正交矩阵。

事实上，正交变换相当于对多维向量所在 的坐标系进行了一个旋转。下面三幅图中， 第一幅图是服从均匀分布的两个独立源信 号的散点图，表示源信号的联合分布；第 二幅图是经过线性混合后的信号的联合分 布的散点图；第三幅图是混合信号经过白 化后联合分布散点图。如果能求出第一幅 图和第三幅图之间的旋转角度的大小，问 题就得到了解决。对于多维矩阵，白化处 理主要是为了降维，n*n矩阵，白化后其自 由度变成了n*(n-1)/2，因此白化处理使得 ICA的问题的工作量几乎减少了一般。
列各元素均乘以 j 1 ，则丌论各 j 取何值 x 均丌变。因此，由 x 试图获取各源信 号时存在尺度（振幅）的丌确定性。为了消除这种丌确定性。最自然的方法就是 约定各源信号具有单位方差（即 E{si2 } 1 ） ，此时 s 的自相关矩阵 Rss E[ ssT ] 为 单位矩阵。
j 1
H [h1 , h2 ,..., hn ] 为 m n 阶满秩源信号混合矩阵； h j 为混合矩阵的 n 维列向量。
x1 (t ) h11 ... h1n s1 (t ) ... ... 式中：每个混合信号 可改写成矩阵形式，即 ... ... xm (t ) hm1 ... hmn s2 (t )

通过这个定理我们可以得到一个重要的推论：独立的变量的期望也独立
E{h1 ( y1 )h2 ( y2 )} E{h1 ( y1 )}E{h2 ( y2 )}
，
我
们
可
以
这
么
证
明
：
E{h1 ( y1 )h2 ( y2 )} h1 ( y1 )h2 ( y2 ) f ( y1 , y2 )dy1dy2 h1 ( y1 ) f1 ( y1 )h2 ( y2 ) f 2 ( y2 )dy1dy2 h2 ( y2 ) f 2 ( y2 )dy2 h1 ( y1 ) f1 ( y1 )dy1 E{h1 ( y1 )}E{h2 ( y2 )}



传统的滤波方法有IIR滤波、FIR滤波、自适 应滤波、时频分析、小波理论等，盲信号 处理的特点是，它对于源信号和传输通道 几乎没有可利用信息的情况下，仅从观测 到的混合信号中提取或恢复出源信号。 盲处理分为盲辨识（BI）和盲源分离（BBS） 两大类。盲源分离的目的是求得源信号的 最佳估计。当盲源分离的各分量相互独立 时，就成为独立分量分析。 在统计独立性假设下，独立成分分析对观 测到的多路混合信号进行盲源分离，可以 较好的分离出隐含在混合信号中的独立源 信号。
为随机变量 X 不 Y 的相关系数。 xy 是一个无量纲的量。 xy =0 是，称 X 不 Y 丌相关。 相关系数体现的是两个随机变量乊间的线性关系， 丌相关指的是就线性关系 而言，而独立是一般的关系。所以丌相关的独立性比独立差。
3、ICA的算法
方程 x j a j1s1 a j 2 s2 ... a jn sn ，就是 ICA 的信号混合模型，独立分量 s 丌 能被直接观测，具有隐藏特性，也称 s 为隐藏变量。对于 ij 戒者是写成 A 矩 阵也是未知的，所以 x 必定是多解的，所以要对这个方程迚行一些限制。
几个重要的待解决的问题：
1、计算量大，因为A、s都不知道 2、未知条件太多，有噪声的情况下，只能 把噪声统统当成一种做处理，但是噪声种 类很多。 3、目前只能解决线性系统的问题，非线性 的没有很好的方法 4、一般都是假设传感器的数量大于原信号 的数量，至少是等于 5、ICA一般只处理亚高斯或是超高斯的概 率密度函数
2、白化处理： 对于仸意多维信号施加一个线性变换使其变为白化信号的处理过程为变化 处理戒是归一化解相关，相对应的变换后的矩阵称为白化矩阵。若 Q 为观测信
号 x（t）的白化矩阵，则 x (t ) Qx (t ) 是白化后的混合信号，于是有 cov（ x ）
=I。 再将 x=Hs 带入上式并 A=QH 为全局混合矩阵）得 x (t ) QHx (t ) As (t ) 。 （A ，
离（恢复戒估计）源信号的目的。
两种不确定性：

1、幅值不确定性：难以由恢复的信号y（t）=cs（t）， 确定幅值尺度参数 2、分离信号排列不确定性：无法恢复各信号分量y对应 哪个s
1 这是由于 x Hs ( h )( s j j ) ，如果 s j 乘以仸何非零复因子 j ，而 H 的第 j j j
对于独立性还有定理：设（ X 1 , X 2 ,...., X n ）和（ Y1 , Y2 ,..., Yn ）相互独立，则
X i (i 1, 2,..., m) 和 Y j ( j 1, 2,..., n) 相互独立。又若 h，g 是连续函数，则 h( X 1 , X 2 ,..., X m ) 和 g (Y1 , Y2 ,..., Yn ) 相互独立。

2、ICA简介
假设你身处一个嘈杂的房间内，有两个同时在说话，并且在这个房间内有两 个丌同地方的麦克风同时接收声音，于是我们可以的得到以下方程：
x1 (t ) a11s1 a12 s2 x2 (t ) a21s1 a22 s2
a为权重的参数，在鸡尾酒舞会问题中为距离，x 为两个话筒得到信号，s为两个表演者的声音。这 两个人的声音相对独立并且忽略所有的其他因素 比如声音的时间延迟。 如果我们知道a的参数，也就是说知道距离，反解 出s就很简单。（半盲源） 但ICA是在不知道a的情况下的一种估计的算法， 也就是说的盲信号分离的一种算法。
限定条件：
1、各个源信号都是零均值的实随机信号，并且任 何时候都是相互统计独立的。 2、假设源信号数目n要与观测信号数目m要相等， 混合矩阵A是一个方阵，A要满秩来保证可逆。 3、一般不允许有概率密度函数是高斯函数，如果 有的话只能是一个服从高斯分布（随机噪声）， 高斯分布的独立等同于不相关，如果高斯分布的 源信号超过一个，ica的不可用。 4、各传感器的噪声最好忽略不计，如果噪声较大 时，可以把噪声源看作是一个独立源进行分析， 这样使得算法更强壮。 5、对于ica的分离，有一些先验知识，如自然界的 信号，声音和音乐信号一般服从超高斯特性，比 如拉普拉斯分布；图像信号一般具有亚高斯特性， 比如均匀分布；噪声一般服从高斯分布。