独立分量分析

（三）ICA最简单框图说明
S
X=AS
A
B
Y=BX
混合矩阵
解混矩阵
ICA任务：S，A均未知，求B，使Y=BX是S的最优逼迫。
分解基本原则：
（1）非线性去相关。求B，使任意两输出yi, yj(i≠j)不相
关；且经非线性变换g(yi), h(yj)也不相关（高阶统计 量）。
（2） 使输出尽可能非高斯化,Y方差恒定，y bixi。
分解出的分量按能量大小排序 12...M0。如果原始数据的
秩小于M，则某些奇异值，特征值将等于0。
SVD，PCA分解, 保证分解出来的各分量不相关，不能保证分量 相互独立。 ICA最早是针对“鸡尾酒会问题”，从酒会嘈杂人声中提取所关 心 对象的语音，针对CDMA把各用户码分解开来。
独立分量分析概述
是独立的。
测量
盲信号处理导论
（2）声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。
s1 (t )
s2 (t)
a 11
a12 a 21 a 22a 13
a 23
a 31 a 32
麦克风1 x1 (t)
麦克风2 x2 (t)
xx21((tt))aa1211ss11((tt))aa1222ss22((tt))aa123s3s33((tt)) x3(t)a31s1(t)a32s2(t)a33s3(t)
http://www.brain.riken.jp/lab/mns/amari
独立分量分析概述
（3）芬兰赫尔辛基工业大学神经网络研究中心 www.cis.hut.fi/~oja www.cs.helsinki.fi/aapo.hyvarinen 高阶统计量引入PCA，提出了立足于逐次提取独立分 量的固定点算 法（fixed point algorithm) 。fast ICA :使提取信号 非高斯性极大化。 计算量小，收敛速度快。
基本概念（与ICA相关）
（三）联合矩，联合累计量 性质：（1）当x各分量相互独立，互累计量必为0。
（2）比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4)
联合矩：
(s)
0
sn1n11!sn2n22!...sn ..M n3M .!Mn1n2..n.M
各分量信息熵的总和—联合熵
（3）反映了每个分量携带另一分量信息的含量。
基本概念（与ICA相关）
（七）负熵：任意pdf p(x)和具有相同协方差阵的高斯分布pG(x)的KL散 度，作为该pdf 非高斯程度的度量。 负熵（negentropy)
单变量： J[p(x) ]H K G[(p xL ()x )H p ,G ((xx )) ]p(x)lop p G g ((x x ))[]d x
ICA的简单思路 ICA的任务明确为：在S，A均未知的情况下，求B，使Y=BX是 S的最优逼迫。
S
X=AS
Y=BX
AB混合矩阵解矩阵基本原则: (1)非线性去相关。求B，使任意两输出yi, yj(i≠j)不相 关; 且经非线性变换g(yi), h(yi)也不相关（高阶统计量）。 (2) 使输出尽可能非高斯化。Y的非高斯性的每个局部极
Mn1,n2..n.Ms1n1,sn2n2(,s.).s.M nMs1s2...sM0
基本概念（与ICA相关）
k
（四）熵：H pi logpi反映平均信息量。 i1
Hp(x)lopg (x)dx
（1）当随机变量取值一定范围时，其取值作均匀分布将具有最大熵值。
（2）当随机变量的功率一定时，高斯分布具有最大熵值
（4）法国学者：J.F.Cardoso http://tsi.enst.fr/~cardoso. JADE 算法 批数据处理算法 近年来引人注意的稀疏分量分析。
优化判据 优化算法 应用
基本概念（与ICA相关）
（一）n阶矩：mn E(xn) 一阶均值 三阶偏斜度 特征函数
（moment）
d n (s) ds n
v1N
.
.
2 0
0
.
.
.
.
xM 1 xM2 . . . xMN uM 1 uM2 . . . uMM
m ...0vN1 vN 2 ...
vNN
u11 uM1
u12 uM2
... u1M1v11
... uMM mvm1
1v12 mvm2
... 1v1N
...
mvM
N
1 v1u 1 1 12v2u 1 1 2. ..m vm 1 u 1M ...1v1N u 1 12v2N u 1 2. ..m vM u 1M N
Y的非高斯性的每一个局部极大值给出了一个i独立分量。
独立分量分析概述
主要研究结构: (1)美国加州大学生物系，计算神经生物实验室，提出 信息极大化( infomax )。 . (2)日本Riken的数量神经科学实验室，互信息极小化 （minimization of mutual information MMI)采用人 工神经网络优化。
反映了p(x),q(x) 在某种意义下的距离。KL[p,q] ≠KL[q,p] 与距离对
称性不同，不宜称为距离。 重要应用：用来度量任意多变量概率密度函数中各分量相互独立程度。
基本概念（与ICA相关）
（六）互信息：定义当p(X)为多变量[x1,x2,…xN]的联合 pdf，p(xi)为各分 量边际pdf.
N
I(x)K[L p(x),
def
p(xi)]
p(x) p(x)log N
dx
i1
p(xi)
i1
称为互信息I（mutual information).
性质：（1）I(x) ≥0，I(x)=0，x 中各分量相互独立。
N
p(X) p(xi)可作为独立程度度量。 i1 N
（2）与信息熵的关系：I(x) H(xi)H(x) i1
据阵X
XUV
MN MMMNNN
其中 U ，V是正交归一阵，UTUUTU IM, VTVVVTIN
是准对角阵，MN
1
2
M
M
不失一般性；通常设 12.N..M0, i 为奇异值。
独立分量分析概述
x11 x12 . . . x1N u11 u12 . . . u1M1 0 0 ... 0 v11 v12 ...
第二特征函数
(s)log (s)
k1 m1 均值
k2m2m12 方差
k3m33m2m12m13 k 4 m 4 3 m 2 2 4 m 3 m 1 1m 2 m 2 1 2 6 m 1 4
基本概念（与ICA相关）
说明： (1)对单变量高斯型信号，二阶以上的矩和累计量或为 0，或可由一，二阶推导，是冗余的，因此，高斯型随 机变量可由一，二阶统计特征来完整描述。 (2)当pdf关于原点偶对称，m3=k3=0。 (3) k4>0 超高斯, k4<0 亚高斯, k4 常用于对非高斯，但 对称的pdf分类。 用︱k4︱大小作为衡量信号距离高斯型程度的度量。
盲信号处理导论
（二）处理方法和思路（四个） （1）HOS：高阶统计量衡量信号的独立性和高斯性， 或稀疏性（ICA）。 （2）SOS：有时序结构用二阶统计量（SOS）即可， 不能分离具有相同功率谱形状或独立同分布信号。 （3）NS+SOS：利用非平稳信息和SOS结合，能够分 开功率谱形状相同的源信号。但若非平稳性也相 同就不可以分离。 （4）STF多样：运用信号不同多样性：时域多样性， 频域多样性，空域多样性。 TDMA， FDMA， SDMA
独立分量分析
• 1 盲信号处理导论 • 2 独立分量分析概述 • 3 基本概念 • 4 ICA的优化判据 • 5 ICA的优化算法
盲信号处理导论
（一）盲信号处理（BSP，Blind Signal Processing）
问题：当传输信道特性未知时，从一个传感器或转换器 的输出信号分离或估计原信号的波形。
1v1uM 112v2uM 12. ..m vm 1 uMM ...1v1N uM 12v2N uM 2. ..m vM uM N M
独立分量分析概述
列向量u反应在不同通道的分量，空间模式； 列向量v反应在不同时刻的贡献，时间模式。 在均值为0时，其协方差阵可表示为：
C x X T U X V T V U T U U T
s0
二阶均方 四阶峰度
xnp(x)d xE[xn]
(s) p(x)esxdx
E[esx]
统计估计时，偏斜度，峰度是对标准化了的数据x (均值
为0，方差为1）进行的。
（二）n阶累计量：kn （cumulant）
dndsn(s) s0
(1s)mn
Taylor展开(s)n 0snn!kn log(s)
y(t)
W
U
系统简图
ICA的优化判据
独立分量分析的实质是优化，即在某一衡量独立性判据 最有意义下寻求近似解。解是近似解，且排列次序 上， 幅度上允许不同 步骤：两步法解混 （1）球化：
确定线性变换W使z(t)的各分量zi(t)的方差为1，且不
相关（未必相互独立）
ICA的优化判据
（2）正交变换：
注：不确定性是指被估计信号任意比例伸缩，排序和 时滞。依然保留了原信号的波形，是可以被BSP 接收的，对于BSP不是最关键的。
盲信号处理导论
三个主要方向： ＊盲信号分离与提取（BSS：Blind Signal Separation）
确定一个或几个具有特殊统计或性质的子分量，舍弃不 感兴趣的信号或噪声。 用二阶统计量可以完成。 ＊独立分量分析（ICA：Independent Component Analysis) 得到相互独立的输出分量。在实际应用中应作一定的处 理。 用高阶统计量来进行分析。 ＊多通道盲解卷积和均衡（MBD）