独立成分分析ICA历史

直Biblioteka Baidu感受
这里需要使用一个隐藏的统计变量模型: x=As 式中的统计模型称为独立成分分析，或者ICA 模型， 它表示被观察到的数据是如何由独立成分混合而产生 的．独立成分是隐藏的变量，意味着它不能直接被观 察到，而且混合矩阵也被假设为未知的．所有能观察 到的仅仅只是随机向量 x，必须估计出 A和s，而且必 须在尽量少的假设条件下完成它。
发展历史：
1992年，Linker提出了基于信息论的 无监督学习算法，使神经网络的输入和 输出之间的互信息量最大化。这种方法 与冗余减少原理有密切联系。
发展历史：
1994年，Comon首次提出ICA概念，证明了 在源信号矢量的各个分量相互统计独立，并 且各个源信号中服从高斯分布的源不多于一 个时，变换矩阵W可以分解成一个满秩对角 矩阵和一个排列矩阵的积。
有意义的事情。
什么是ICA？
Independent Component Analysis，即独立成分分 析法。最初是用来解决“鸡尾酒会”问题。基本的 ICA是指从多个源信号的线性混合信号中分离出源信 号的技术。它是伴随着盲信源问题而发展起来的， 故又称“盲分离”。
由于主成分分析(PCA)和奇异值分解(SVD) 是基于信号 二阶统计特性的分析方法，其目的用于去除图像各分 量之间的相关性，因而它们主要应用于图像数据的压 缩；而ICA 则是基于信号高阶统计特性的分析方法， 经ICA 分解出的各信号分量之间是相互独立的．正是 因为这一特点，使ICA 在信号处理领域受到了广泛的 关注．随着近年来在ICA 方面研究兴趣的增加，使它 在许多领域也有了非常有趣的应用。
的信号来估计
声音充耳不闻时，若在另一处有人提到他的名字，他会立即有所反
出原来的两个
应，或者朝 说话人望去，或者注意说话人下面说的话等。该效应
语音信号，那
实际上是听觉系统的一种适应能力。对熟悉事物的迅速再认被称为
将是一件非常
鸡尾酒会现象。也就是：我们站在一个挤满了人的屋子里，周围可 能有十个，二十个人在说话，可我们却能挑选出我们想听的对话。 换句话说，我们的大脑对其它对话都进行了某种程度的判断，然后 决定堵住不听。
发展历史：
1995年，Bell和Sejnowski年提出了基于信 息论框架的盲分离方法，用于盲分离和混合 源的解卷积。之后，Cardoso和Laheld在此 基础上进一步改进，为避免矩阵求逆，提出 相对梯度算法，这是一种运用神经网络处理 器的自适应方法。
发展历史
但是，上述几种算法的实现都是有条件限制的。例 如，假设信号源无噪声、形成混合信号时无时间延迟、 线性混合、系统的通道数大于或等于源的数目，等等。 1999年，Attias减弱了某些限制条件，以获得分离 源，提出了用最大似然法解含有观测噪声的高斯和亚 高斯源混合问题。
INDEPENDENT COMPONENT ANALYSIS(ICA)
鸡尾酒会 鸡尾酒会 鸡尾酒会 鸡尾酒会
鸡尾酒会效应是指人的一种听力选择能力，在这种情况下，注意力 集中在某一个人的谈话之中而忽略背景中其他的对话或噪音。该效 应揭示了人类听觉系统中令人惊奇的能力，使我们可以在噪声中谈 话。 可用特瑞斯曼的注意衰减理论来解释。听觉注意现象。当人的 听觉注意集中于某一事物时，意识将一些无关声音刺激排除在外， 而无意识却 监察外界的刺激，一旦一些特殊的刺激与己有关，就
假想一下，在 一个房间里的 不同位置放着 两个麦克风， 同时有两个人 说话．两个麦 克风能同时记 录下两个时间
能立即引起注意的现象。因常见于酒会上而得名。如在各种声音嘈
信号，如果仅
杂的鸡尾酒会上，有音乐声、谈话声、脚步 声、酒杯餐具的碰撞
用这两个记录
声等，当某人的注意集中于欣赏音乐或别人的谈话，对周围的嘈杂
该方法出现最初的目的是，将观察到的数 据进行某种线性分解，使其分解成统计独 立的成分．最早提出ICA 概念的是Jutten 和Herault，当时他们对ICA给出了一种相 当简单的描述，认为ICA是从线性混合信号 里恢复出一些基本的源信号的方法．
发展历史：
1991年，Jutten和Herault提出了基于 神经网络的算法，采用了结构相对简单 的带有反馈机制的神经网络。但这种算 法收敛性不够理想。
应用领域：
图像处理 语音信号处理 生物医学信号处理 模式识别 数据挖掘 通信 金融