中科大_盲信号处理_第3章1

( f Px ) ( f x ) ；
2. ( f x ) 的值与随机向量 x 各个分量的绝对幅度无关， 即对任意的满秩对角矩阵 D 有
( f Dx ) ( f x ) ；
3. 若随机向量 x 的各个分量统计独立，则对于任意的可逆矩阵 A 有： ( f x ) ( f Ax ) ； 4. 若随机向量 x 的各个分量统计独立，当且仅当矩阵 A 存在分解 A PD 时（ P 为排 列矩阵， D 为满秩对角矩阵），有： ( f Ax ) ( f x ) 。 可见， 只要找到一个合适的对照函数并对其进行最小化就可以实现随机向量的独立分 量分析，同时也就实行了信号源的分离。 由于随机向量的概率密度函数是未知的，只能通过一定的方法进行估计。因此，除了 满足上述的四个条件外，实际的对照函数还应该便于估计、近似，以及易于进行优化处 理。 二、基于互信息极小化（MMI）代价函数 解混系统 W 的输出为 y Wx ，寻找一个合适的 W 使 y 的各个分量相互独立，就实现 了混合信号的分离。
号“排列顺序不确定性（模糊性）”。 所以，可接受的 M 要满足 M PD ，此时
ˆ PDs 0 s ˆ 的每个分量信号与 s 0 中的某个分量信号的波形相同！ 即s
令 S 是“辨识空间 S ”中的一个特定子空间，即
(3-5)
S {H 0 D1P 1 , PDs 0 }
其中 P 为任意的置换矩阵， D 是任意的非奇异的对角矩阵。
(3-2)
H 是 M N 的 常 数 矩 阵 ， 其 元 素 为 hij ； s(t ) [ s1 (t ), s2 (t ),, sN (t )]T ，
x(t ) [ x1 (t ), x2 (t ),, xM (t )]T ， n(t ) [n1 (t ), n2 (t ),, nM (t )]T 都是零均值的随机向量。
第二节
一些典型的度量独立性的对照函数（代价函数）
一、对照函数（代价函数）的选取原则 记 F { f x , x R M } 为所有的 M 维随机向量的概率密度函数的集合， 则 ICA 问题中的 对照函数 () 为一个 F R 的映射，并且满足下列条件： 1. ( f x ) 的值与随机向量 x 各个分量的排列顺序无关，即对任意的排列矩阵 P 有
只要解混后的向量 y 的各个分量信号相互统计独立，就能实现源信号的盲分离。 关于 ICA 问题的模糊性、存在性等详细分析和描述，请阅读下列的文献:
[1] Cao X. R., Liu R.W., General Approach to Blind source Separation, IEEE Trans. on Signal Processing, 1996, 44(3): 562~571 [2] Comon P., Independent Component Analysis, A New Concept ? Signal Processing, 1994, 36: 287~314 [3] Comon P., Blind Separation of Sources, Part II: Problems Statement. Signal Processing, 1991, 24:11~20 [4] Lang T., Yujiro Inouye, Liu R. W., Waveform-Preserving Blind Estimation of Multiple Independent Sources, IEEE Trans. on Signal Processing, 1993, 41(7): 2461~2470
H 0 s 0 相同输出的 H 和 s 的全体，称为(3-3)式信号模型的“辨识空间”，即 S {(H, s); Hs H 0s 0 }
1
(3-4)
如果 ( H 0 , s 0 ) S ， 则对于任意的非奇异矩阵 M ， 都有 ( H 0M , Ms 0 ) S 。 这表明， 在只给定 x 的情况下，(3-3)式的解是不唯一的！ 2. 解的不确定性 在辨识空间中，什么样的解是 H 0 和 s 0 的“好”的估计呢？或者说，什么样的 M 是 可以接受的？ 从实际应用的角度来考虑：
(3-6)
ˆ ,s ˆ 是真实 s 0 ˆ) S ， 盲源分离的目标就是在 “辨识空间 S ” 中找到一个解 (H 则认为该 s
的一个“好”的估计；或者等价地说： （1）从混合信号中恢复出了“源信号的波形”； （2）分离出的信号与源信号之间有“波形保持关系”。 注：由于盲源分离问题中存在着固有的 “幅度的不确定性”，因此通常假设 s 0 的每个 分量的方差为 1。 三．ICA 解的存在性 (3-3)式的信号模型中，应该需要什么样的条件才能保证找到的解在子空间 S 中？关 于这个问题，有如下的存在性定理。 定理：对于(3-3)式的信号模型，如果 （1）混合矩阵 H 是列满秩的，即 rank(H ) N （2）s 零均值的平稳随机向量过程，各个分量之间相互统计独立，且其分量信 号中至多有一个服从高斯分布 则存在解混矩阵 W ，使得 y Wx WHs 的各个分量相互独立，且混合-分离复合 矩阵 C WH PD 。 几点说明： 条件（1）意味着 M N ，即观测到的混合分量信号的个数不少于待分离的源信 号的个数，即混合系统是超定系统（ M N ）或正定系统（ M N ）。 通过一些降维处理，总可以将“超定系统”转换为“正定系统”，所以通常在 讨论问题时，都假设 M N ，此时 H 是一个非奇异矩阵。 在条件（2）中，如果 s 中高斯分布的分量个数多于一个时，则只能将非高斯的分 离信号从混合信号中分离出来。
在确定了目标函数之后， 需要考虑采用什么样的算法来优化目标函数， 使其达到极值 （极大或极小）。优化目标函数的算法可以分为两大类，即批处理（Batch Processing） 算法和自适应处理（Adaptive Processing）算法。 “批处理算法”的含义是：已经获得了 K 个观测向量 x(0), x(1), , x(i ), , x( K ) ，同时 利用这 K 个观测向量来求出 W 或 U 。而“自适应处理”的含义是：每次只对一个观测向 量 x(i ) 进行处理，得到 W (i ) 或 U(i ) 的估计，而且随着观测向量的不断输入，以迭代方式 更新 W (i ) 或 U(i ) ， 即 W (i 1) W (i ) W(i ) 或 U(i 1) U(i ) U(i ) ， 直至迭代更新过 程收敛。 本章的后续部分将介绍目标函数的选择以及各种优化实现算法。
H (y ) H (x) log | det( W ) |
故有
(3-8)
I (y ) H ( yi ) H (x) logH (x) 与 W 的选择无关，故 I (y ) 的极小化等价于
N min I (y ) min H ( yi ) log | det( W ) | W W i 1
y 的互信息为：
I (y ) I [ p (y ), p( yi )] H ( yi ) H (y )
i 1 i 1
N
N
(3-7)
I (y ) 0 ，当且仅当 y 中的各个分量互相独立时， I (y ) 0 。据此得到基于“互信息极
小化（Minimization of Mutual Information）”判断独立性的准则及其代价函数。 准则：选择矩阵 W ，使得 I (y ) 最小，即使得式(3-7)所示的代价函数极小。应该注意 到， I (y ) 满足对照函数的四个基本要求。 由于
ˆ， 1）源信号的信息主要是存在于信号的波形中，所以，如果我们得到 s 的一个估计 s
其波形与真实 s 0 的波形相同，对于大多数应用来说，这应该是可以接受的；此时有
ˆ Ds0 ， D 是任意的非奇异的对角矩阵。也就是说，s ˆ 相对于 s 0 存在着“幅度不确定性 s
（模糊性）”。
ˆ 的各个分量的排列顺序与 s 0 的各个分量的排列顺序不同，这也应该是 2）如果只是 s ˆ Ps 0 ， P 是任意的置换矩阵。也就是说， s ˆ 相对于 s 0 存在着分量信 可接受的；此时有 s
z (t )
Q
W UQ
U
y (t )
H
3-2
二步法求解过程示意图
采用二步求解法时，其第一步“球化（空间白化）”是求出球化矩阵 Q ，使得 z (t ) 的各 个分量的方差为 1，而且互不相关（不是相互独立）；第二步“正交变换”是求一个正交矩 阵 U ，使得 y (t ) 的各个分量的方差保持为 1，同时相互独立。注意到，第一步的输出 z (t ) 的各个分量已经满足了独立性对二阶统计特性的要求，所以在第二步求 U 时只要考虑三 阶以上的统计量（通常为三阶和四阶统计量）。 不管是一步求解法还是二步求解法，都需要利用 y (t ) 的各个分量的“相互独立”这一 条件来确定 W 或 U 。因此，在 ICA 求解时，选择合适的度量 y (t ) 的各个分量相互独立程 度的判据（准则）是重要一个环节，这些度量独立性的判据通常称为“对照函数（contrast function）”、“代价函数（cost function）”、或“目标函数（objective function）”。
第三章
独立分量分析（ICA）
第一节 问题描述
一．信号模型 考虑如图 3-1 所示的信号混合系统。
s1
s2

sn

x1
图 3-1
x2
源信号线性瞬时混合示意图
xm
N 个信号源 s1 ， s2 ， , s N 所发出的信号被 M 个传感器（如天线、麦克风等） 接收后输出 M 个混合信号 x1 ， x2 ， ， xM 。假设不同源信号到达各个传感器的时间 差可以忽略不计，并且传感器的输出是各个源信号的线性瞬时混合，即
四．ICA 问题的求解 为什么只考虑求解W而不考虑求解H呢? 按照求解的步骤，ICA 问题的求解可以分为“一步求解法”和“二步求解法”。 “一步求解法”是直接求解解混矩阵（系统） W ，而“二步求解法”是将解混过程分解 为“球化”和“正交变换”两个步骤来完成，如图 3-2 所示。