第3章基于信息论的独立分量分析算法

第3章 基于信息论的独立分量分析算法

3.1 引言

由于没有任何参照目标，学习只能是自组织的。学习过程的第一步：建立一个以W 为变元的目

标函数()W L ,如果某个W

?能使()W L 达到极大（小）值，该W ?即为所需的解。第二步：用一种有效的算法求W

?。按照()W L 定义的不同和求W ?的方法不同可以构成各种ICA 算法。ICA 方法可归结为如下式子：ICA 方法＝目标函数＋优化算法。由ICA 的性质可知ICA 以统计独立为基本原则，统计独立的衡量为ICA 算法的关键。因此需选择一个恰当的目标函数。目标函数给定后，可以采用经典的优化算法最优化目标函数，如梯度法、拟牛顿法等。ICA 方法的特性取决于目标函数和优化算法两项。ICA 方法的统计特性（如一致性、鲁棒性）取决于目标函数的选取；算法特性（收敛速度、内存要求）取决于优化算法的选择。对于同一个目标函数可以有不同的优化算法，同一个优化算法可应用于不同的目标函数。衡量一个优化算法的主要性能指标有收敛速度，占用内存情况，稳定性等。算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA 算法, Infomax 算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。在此我们主要讨论基于信息论的几种独立分量分析算法。

3.2 数据的预处理

一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。

若一零均值的随机向量()T M Z Z Z ,,1 =满足{}I ZZ E T

=，其中：I 为单位矩阵，我们称这个向量为白化向量。白化的本质在于去相关，这同主分量分析的目标是一样的。在ICA 中，对于为零均值的独立源信号()()()[]T N t S t S t S ,...,1=，有：{}{}{}

j i S E S E S S E j i j i ≠==当,0，且协方差矩阵是单位阵()I S =cov ，因此，源信号()t S 是白色的。对观测信号()t X ，我们应该寻找一个线性变换，使()t X 投影到新的子空间后变成白化向量，即：

()()t X W t Z 0= （3.1） 其中，0W 为白化矩阵，Z 为白化向量。

利用主分量分析，我们通过计算样本向量得到一个变换

T U W 2/10-Λ=

其中U 和Λ分别代表协方差矩阵X C 的特征向量矩阵和特征值矩阵。可以证明，线性变换0W 满足白化变换的要求。通过正交变换，可以保证I UU U U T T ==。因此，协方差矩阵：

{}{}{}I U XX E U U XX U E ZZ E T T T T T =ΛΛΛ=ΛΛ=ΛΛ=------2/12/12/12/12/12/1 （3.2）

再将()()t AS t X =式代入()()t X W t Z 0=，且令A A W ~0=,有

()()()t S A t AS W t Z ~0== （3.3） 由于线性变换A ~连接的是两个白色随机矢量()t Z 和()t S ，可以得出A ~

一定是一个正交变换。如果把上式中的()t Z 看作新的观测信号，那么可以说，白化使原来的混合矩阵A 简化成一个新的正交矩阵A ~。证明也是简单的：

{}{}{}I A A A SS E A A SS A E ZZ E T T T T T T ====~~~~~~ （3.4） 其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。

在多维情况下，混合矩阵A 是N N ?的，白化后新的混合矩阵A ~

由于是正交矩阵，其自由度降为()2/1-?N N ，所以说白化使得ICA 问题的工作量几乎减少了一半。

白化这种常规的方法作为ICA 的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA 就可完成。用PCA 对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA 的工作量。此外，PCA 本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。

3.3 基于信息论的独立分量分析算法

3.3.1 FastICA 算法[1][30][31]

FastICA 算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyv?rinen 等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。FastICA 算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA 算法。它以负熵最大作为一个搜寻方向，可以实现顺序地提取独立源，充分体现了投影追踪（Projection Pursuit ）这种传统线性变换的思想。此外，该算法采用了定点迭代的优

化算法，使得收敛更加快速、稳健。

因为FastICA 算法以负熵最大作为一个搜寻方向，因此先讨论一下负熵判决准则。由信息论理论可知：在所有等方差的随机变量中，高斯变量的熵最大，因而我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。根据中心极限定理，若一随机变量X 由许多相互独立的随机变量()N i S i ,...3,2,1=之和组成，只要i S 具有有限的均值和方差，则不论其为何种分布，随机变量X 较i S 更接近高斯分布。换言之，i S 较X 的非高斯性更强。因此，在分离过程中，可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。

负熵的定义：

()()()Y H Y H Y N G auss g -= （3.5） 式中，Gauss Y 是一与Y 具有相同方差的高斯随机变量，()?H 为随机变量的微分熵

()()()ξξξd p p Y H Y Y lg ?

-= （3.6） 根据信息理论，在具有相同方差的随机变量中，高斯分布的随机变量具有最大的微分熵。当Y 具有高斯分布时，()0=Y N g ；Y 的非高斯性越强，其微分熵越小，()Y N g 值越大，所以()Y N g 可以作为随机变量Y 非高斯性的测度。由于根据式（3.6）计算微分熵需要知道Y 的概率密度分布函数，这显然不切实际，于是采用如下近似公式

()()[]()[]{}2Gauss g Y g E Y g E Y N -= （3.7） 其中，[]?E 为均值运算；()?g 为非线性函数，可取())tanh(11y a y g =，或()()2/exp 22y y y g -=或()33y y g =等非线性函数，这里，211≤≤a ，通常我们取11=a 。

快速ICA 学习规则是找一个方向以便()X W Y X W T T =具有最大的非高斯性。这里，非高斯性

用式（3.7）给出的负熵)(X W N T g 的近似值来度量,X W T

的方差约束为1，对于白化数据而言，这等于约束W 的范数为1。FastICA 算法的推导如下。首先，X W T 的负熵的最大近似值能通过对

(

){}X W G E T 进行优化来获得。根据Kuhn-Tucker 条件，在(){}122==W X W E T 的约束下，(){}X W G E T 的最优值能在满足下式的点上获得。

(){}

0=+W X W Xg E T β （3.8）

这里，β是一个恒定值， (){}

X W Xg W E T T 00=β,0W 是优化后的W 值。下面我们利用牛顿迭代法解方程（3.8）。用F 表示式（3.8）左边的函数，可得F 的雅可比矩阵()W JF 如下：

()(){}I X W g XX E W JF T T β-=' （3.9） 为了简化矩阵的求逆，可以近似为（3.9）式的第一项。由于数据被球化，{}

I XX E T =,所以，(){}{}(){}(){}I X W g E X W g E XX E X W g XX E T T T T T '''=?≈。因而雅可比矩阵变成了对角阵，并且能比较容易地求逆。因而可以得到下面的近似牛顿迭代公式：

(){}[](){}[]***=---=W W W X W g E W X W Xg E W W T T /'/ββ （3.10） 这里，*W 是W 的新值，(){}X W Xg W E T T =β，规格化能提高解的稳定性。简化后就可以得到

FastICA 算法的迭代公式：

(){}(){}***=-=W W W W X W g E X W Xg E W T T /' (3.11)

实践中，FastICA 算法中用的期望必须用它们的估计值代替。当然最好的估计是相应的样本平均。理想情况下，所有的有效数据都应该参与计算，但这会降低计算速度。所以通常用一部分样本的平均来估计，样本数目的多少对最后估计的精确度有很大影响。迭代中的样本点应该分别选取，假如收敛不理想的话，可以增加样本的数量。

一元FastICA 算法的基本步骤如下：

1. 对观测数据X 进行中心化，使它的均值为0；

2. 对数据进行白化，Z X →。

3. 选择一个初始权矢量（随机的）W 。

4. 令(){}(){}

W Z W g E Z W Zg E W T T '-=*,非线性函数g 的选取见前文非线性函数的选取。

5. 令**=W W W /。

6. 假如不收敛的话，返回第4步。

收敛意味着W 的新值和老值指向同一方向，即它们的点积为1。没有必要使向量收敛到一点，因为W 和－W 指的是同一方向。

如果要估计多个分量，我们可以按如下步骤计算：

1. 对观测数据X 进行中心化，使它的均值为0；

2. 对数据进行白化，Z X →。

3. 选择需要估计的分量的个数m ，设迭代次数1←p

4. 选择一个初始权矢量（随机的）p W 。

5. 令(){}(){}W Z W g E Z W Zg E W T p T p p '-=,非线性函数g 的选取见前文。

6. ()j p j j T p p p W W W W W ∑-=-=1

1。

7. 令p p p W W W /=。

8. 假如p W 不收敛的话，返回第5步。

9．令1+=p p ，如果m p ≤，返回第4步。

FastICA 算法和其他的ICA 算法相比，有许多我们期望的特性：

1) 收敛速度快。

2) 和梯度算法不同，无须选步长参数，易于使用。

3) 能利用任何的非线性函数g 直接找出任何非高斯分布的独立分量。而对于其他的算法来说，概

率密度函数的估计不得不首先进行，因而必须选择非线性。

4) 它的性能能够通过选择适当的非线性函数g 来最佳化。

5) 独立分量可被逐个估计出来，类似于做投影追踪，这在仅需要估计几个（不是全部）独立分量

的情况下，能减小计算量。

6) FastICA 算法有许多神经算法的优点：它是并行的、分布式的且计算简单，内存要求很少。

3.3.2 Infomax 算法[5][13][32][33]

1988年Linsker 提出了Infomax （Information Maximization ）原则，即信息传输极大原则。可描述为：网络的输入端和输出端的互信息达到最大时，等价于输出端各分量间的冗余信息得到去除。1994年Nadal 和Parga 等人进一步说明：对于一个输出端具有非线性环节的神经网络，当经过该网络的信息传输达到最大时，输出端各分量之间的互信息便达到最小。算法的思路：对每个观测向量()t X 先通过线性变换求一个中间向量()WX t Y =。然后通过非线性变换()i i i Y g Z =求得输出向量()t Z 。根据互信息的性质可知：分量到分量的非线性映射()i i Y g 对互信息不产生任何影响，()Z I 的最小化也意味着()Y I 的最小化。于是针对()t Z 建立一个目标函数，这里我们选择()t Z 的熵作为目标函数，因为熵是一个随机量无序性的度量，如果()t Z 的各分量统计独立性越高则相应()t Z 的熵越大，

所以只需求得使目标函数达到最大的W ?即求得了ICA 的解。此思路是模仿单层前向神经网络，X 和

Z 分别作为网络的输入和输出。

Infomax 算法的目标函数为：

()()(){}Z p E Z H W L Z H ln -== （3.12） 其中，()Z p Z 是Z 的pdf 。参照第2章 2.4节独立分量分析的相关数学知识部分的两个pdf 之间的关系，上式中的()Z p Z 可计算如下：如用'

i Z 表示()i i i i i dY dZ dY Y dg //=，则雅克比阵()G J 的元素ij J 可表示为：N j N i Z J i ij ~1,~1,'

===这样，按照式第2章的式（2.11），()Z p Z 可表示为： ()()

()Y p G J Z p Y Z ?=-1det （3.13） 而()()X p W Y p X Y 1det -=，所以

()()X p Z W

Z p X N i i Z ?=-=∏11'det （3.14） 将式（3.14）代入式（3.12），得到

()(){}(){})ln (ln det ln 1'X p E Z E W W L X N i i H -++

=∑= （3.15） 因为()i i i Y g Z =，所以

()()(){}(){})ln (ln det ln 1'

X p E Y g E W W L X

N

i i i H -++=∑= （3.16） 此式最右侧项等于()X H ~

，与W 无关，可略去，采用随机梯度下降法对目标函数进行优化，等式两边对W 求导： ()()(){}

W Y g E W W W W L N i i i H ??+??=??∑=1'ln det ln （3.17） 对于第一项有：

()()T T W W W W --==??1det ln （3.18）

此外 ()()T N i i i X Y W Y g ?-=??∑=1'

ln （3.19）

其中()Y ?称为评价函数（score function ），并有：

()()()()()T N N N N Y g Y g Y g Y g Y ???

?????--='''1'11''1,, ? （3.20） 重写（3.17）式，并将该式右边第三项中求数学期望运算用瞬时值代替得：

()()T T H X Y W W W L ?-=??- （3.21） 因此：

()()T T X Y W W ?η-=?- （3.22） 在此迭代公式中，需要对W 求逆，很大程度上影响了算法的收敛速度。1996年，Amari 等人提出了自然梯度法或者说相对梯度算法。相对梯度算法就是在随机梯度算法求得的等式右乘一个W W T ,即有：

()()W W X Y W

W T T T ?η-=?- （3.23） 上式中，I W W T T =-，且因为WX Y =，所以T T T Y W X =，这样，上式可化简为

()()

W Y Y I W T ?η-=? （3.24） 当非线性函数选取为双曲正割函数的平方时：即()()i i i Y h Y g 2sec =，对应的评价函数()y ?为：

()()Y Y tanh

2=?。得到Infomax 算法的学习规则： ()()

W Y Y I W T tanh 2-=?η （3.25） 当非线性函数选取为修正的双曲正割函数的平方时：即()()i i i i Y h Y Y g 22sec 2exp 21???

? ??-=π，对应的评价函数()y ?为：()()Y Y Y tanh +=?。得到Infomax 算法的学习规则：

()()

W Y Y YY I W T T tanh --=?η （3.26） 但当源信号中同时包括超高斯和亚高斯信号时，由于非线性函数与源信号的概率密度函数严重不匹配，导致网络无法收敛到一个稳定的值，Infomax 算法将不能完成正确的分离任务。鉴于此，Lee 等人在这个基础上提出了扩展的ICA （extended ICA ）算法[32]，使得该算法能适合于包括具有超高斯和亚高斯在内的绝大多数分布类型信源的盲源分离。其迭代公式为：

()()()

W Y Y k sign I W T ?η4-=? （3.27） 其中4k 是归一化的四阶累积量, 用来估计峭度的正负，对于高斯信号峭度等于0，对于超高斯信号峭度大于0，对于亚高斯信号峭度小于0：

(){}{}(){}()2222443i i i i Y E Y E Y E Y k -=

算法步骤： 1. 给出初始值W W =0（随机的），观测向量X ；

2. 对X 进行白化处理；

3. 计算()Y W X Y ?η,,=；

4. 计算()()W Y Y I W T ?η-=?；

5. 计算W W W ?+=

重复3，4，5步直到收敛，得到W 后，通过WX Y =得到独立

3.3.3 互信息最小算法[1][34]

互信息（MI ）是盲源分离算法里的一个规范的代价函数，因为它表达了独立源的关键性质。不同的ICA 算法中包含不同的代价函数，但是一般都是以输出信号的互信息最小（MMI ）为最终目的。就算法的原理而言，互信息最小算法（或简称MMI 算法）比Infomax 等其他一些算法具有更加严密的理论体系。

互信息最小算法的目标函数：

()()(){}()X H Y g E W W L N i i i MMI ~ln det ln 1'--

-=∑= （3.28） 其中，()X H ~同Infomax 算法中的()X H ~

。

3.3.4 最大似然算法[7] [35]

将最大似然原理应用于ICA 是1996年由Pearlmutter&Parra 提出的。

最大似然算法的目标函数为： ()()()()()()

t wx t Y i T t N

i i MLE t Y p T W W L ===∑∑+=11ln 1det ln （3.29） 将最大似然算法式（3.29）、互信息最小算法式（3.28）、Infomax 算法（3.16）的目标函数相比，可以得到如下关系：

()()()()X H W L W L W L MLE MMI H ~+=-= （3.30） 因为()X H ~

与W 无关，可略去，因此，采用相对梯度下降法对三个目标函数进行优化可得到同样形式的迭代公式。可见，这些看似不同的算法可以在信息论的理论框架下得到统一。

由于实际问题的复杂性,要发展一种通用ICA算法是十分困难的。紧密结合研究的具体问题,发展相应的特殊算法是一个值得努力的方向。

3.4 独立分量分析算法的选择

一般说来，ICA算法的选择基本上是在自适应性算法和批处理算法之间进行的。

在自适应性情况下，一般通过随机梯度方法来获得算法，在此情况下，所有的独立分量都在同

一时间被估计，在这类算法中，用得最多的算法是自然梯度上升法或和目标函数相联系的方法（如informax）。在批处理情况下，有很多有效的算法。基于累积量的方法在低维的情况下有效，但是它

们不能用于高维的情况。基于固定点迭代的FastICA算法是一个很有效的批处理算法，它能用于最

大化一元目标函数和多维目标函数。

3.5 本章小结

在本章，我们主要回顾了ICA基于信息论的四种算法，即FastICA算法，Infomax算法，互信息最小算法，最大似然算法，并侧重叙述及分析了FastICA算法、Infomax算法的原理和性能。ICA算法具有等变性，又称协变性，它们仅利用观测数据，而与未知的混合矩阵无关。这些算法虽然有着各自的理论背景，但是从信息论的角度看它们最终是统一的。可以发现，适当形式的非线性函数在以上算法充当了重要角色，其根本作用是隐含引入信号的高阶统计信息，使输出各分量尽可能的独立。理论上，非线性函数的选取依赖于源信号的概率密度函数，而在实际当中只能假定源信号具有某种分布，因此近似选用一个固定的非线性函数。为了使算法对具有各种分布（主要表现在峭度值的不同）的信号进行分离，也可以在调整网络权值的同时对非线性函数本身进行自适应学习，扩展的Infomax算法便是一个例子。

此外，目标函数的优化有两种不同的方式，即在线学习和批处理学习。在线学习是一种自适应学习，具有实时处理特点，是一种真正意义上的神经网络算法；批处理学习由于要对过去的数据重复利用，因此对存储容量要求相对较大，但是其显著优点就是具有比在线学习快得多的收敛速度。