ICA使用牛顿迭代法对FastICA算法经行改进
一种峭度FastICA改进算法
一种峭度FastICA改进算法
高巧玲;刘辉
【期刊名称】《计算机技术与发展》
【年(卷),期】2010(020)011
【摘要】独立分量分析(ICA)是盲分离的核心技术,是信号处理领域的一种新的发展.FastICA是独立分量分析中收敛速度较快的算法,因为它的收敛速度快且要求内存空间小而备受关注,但存在步长μ选取不当可能导致算法收敛速度减慢甚至不收敛的问题.为了克服其缺点,在基于峭度的FastICA算法的基础上增加精确线性搜索优化技术来求μ,使改进后的算法收敛速度更快且不需要手动来选择步长参数.编制相应的matlab程序,将改进的算法用于语音信号分离,验证了它的高效性.
【总页数】4页(P114-116,121)
【作者】高巧玲;刘辉
【作者单位】湖南师范大学,物信院,湖南,长沙,410006;湖南师范大学,物信院,湖南,长沙,410006
【正文语种】中文
【中图分类】TN911
【相关文献】
1.一种改进的FastICA算法及其在fMRI数据中的仿真应用 [J], 彭尧;熊馨
2.基于峭度的FastICA改进算法 [J], 刘辉;高巧玲
3.一种改进的基于峭度指标的FastICA算法 [J], 孟令博;耿修瑞;杨炜暾
4.一种改进的FastICA算法在语音信号盲源分离中的应用 [J], 朱立娟;赵风海
5.一种改进的基于峭度指标的FastICA算法 [J], 孟令博;耿修瑞;杨炜暾;;;;
因版权原因，仅展示原文概要，查看原文内容请购买。
一种改进的FastICA算法及其应用
Abstract: Independent Com ponent A nalysis ( ICA ) is a signal ana lysism e thod based on high orde r cum ulants of signals and it can find out the la tent independent com ponents in da ta. R ecently ICA has been w ide ly used in m any fie lds such as speech recogn ition, im age processing, te lecommunication sy stem e tc. T he FastICA is the m ost popu lar a lgo rithm for ICA at present, and it uses N ew ton ru le to optim ize the objective function. T his algorithm can converge speedily bu t is no t robust to in itia lization. In order to overcom the drawbacks, one dim ens ion search w as im posed on the d irection of N ew ton itera tive. T he improved a lgor ithm can ensure the convergence o f the resu lts and is robust to in itia lization. W hen the improv ed a lgo rithm is used to detect the m oving targ et, the experim ental resu lts show tha t it is a robust m ethod.
牛顿迭代法的优化算法和改进方法
牛顿迭代法的优化算法和改进方法牛顿迭代法是一种求解非线性方程的方法，在数值计算中被广泛使用。
它基于函数的一阶和二阶导数信息，通过不断逼近零点来求解方程。
然而，牛顿迭代法在实际应用中也存在一些问题，例如收敛速度慢、收敛精度不稳定等等。
为了克服这些问题，人们提出了一系列的优化算法和改进方法，以提高牛顿迭代法的效率和精度。
一、牛顿迭代法的基本原理牛顿迭代法通过不断逼近函数的零点来求解方程，具体步骤如下：1.选取初始点$x_0$；2.根据函数$f(x)$在$x_k$处的一阶和二阶导数信息，计算出$x_k$处的切线和二次曲面，并求出它们与$x$轴（即解的数值）的交点$x_{k+1}$；3.将$x_{k+1}$作为新的初始点，重复步骤2，直至满足收敛条件。
其中，收敛条件通常为$|f(x_{k+1})|<\epsilon$，其中$\epsilon$为预设的误差限。
二、牛顿迭代法的优化算法虽然牛顿迭代法具有较高的精度和收敛性，但在实际应用中，它的收敛速度有时会很慢，甚至不能收敛。
为解决这些问题，人们提出了以下的优化算法。
1.牛顿-拉夫森方法牛顿-拉夫森方法是牛顿迭代法的一种变体，它在求解$x_{k+1}$时，采用了一种修正迭代式：$$x_{k+1}=x_k-f(x_k)/f'(x_k)+O(f''(x_k)f(x_k)^2)$$该方法通过引入$f''(x_k)$来修正$x_{k+1}$的值，进一步减小迭代误差，加快收敛速度。
但该方法的计算量比牛顿迭代法大，需要对$f''(x_k)$进行严格求解。
2.海森矩阵的简化牛顿迭代法海森矩阵是牛顿迭代法中最重要的部分，它在计算二次曲面时起着关键作用。
然而，海森矩阵的计算量很大，而且在高维问题中可能变得非常不稳定。
为了减少计算复杂度和提高数值稳定性，人们提出了一种简化的牛顿迭代法，即使用$f'(x_k)$代替海森矩阵$f''(x_k)$，从而简化了计算过程并提高了数值稳定性。
改进的快速复值FastICA算法研究
作者简 介： 赵立权 （９ ２ ， ， １８ 一） 男 黑龙江省哈尔滨市人 ， 东北 电力大学 信息工程学院副教授 ， 博士 ， 主要研究方 向： 盲信号处理
８８
东北 电 力 大 学 学报
第３ ２卷
Ｘ ＝Ａ ： （ Ａ ） Ｐ Ｓ Ｓ Ａ Ｐ （ Ａ ）＝Ａ Ｓ ， ～
（） ２
式 中 ： ＝ｄａ （：， １ ， ， ） ｏ 和 为 任意不 为零 的值 ； Ａ ｉｇ ０ｅ ７ １ ，１ … ０ １ ， ，
是 Ａ的逆 矩阵 ； Ｐ是任 意可逆 的
改进 的复值 ＩＡ算 法 。 Ｃ
１ 复 值 ＩＡ数 学 模 型 Ｃ
复值 ／Ａ 的基 本数 学模 型如 下 ： Ｃ
Ｘ（ ）＝Ａ （）， ｔ Ｓｔ （） １
式 中， （）∈Ｃ 为观测到的ｍ维复值混合信号 ， Ｘｔ Ａ∈Ｃ 为复值可逆混合矩阵 ，（）∈Ｃ 为 ｎ Ｓｔ 维 相互之间统计独立的复值信源信号 。 下文为了书写方便 ， 省略时间变量 ｔ 。 Ｉ Ａ的基本假设条件只是为了保证 ＩＡ算法有解 ， Ｃ Ｃ 但是毕竟信源信号 ｓ 和混合矩阵 Ａ都未知 ， 因此 通 过 ＩＡ Ｃ 算法得到的信源信号的估计 Ｙ Ｈ ＊ 对信源信号Ｊ ｓ 存在一定的不确定性 。 例如式（ ） １ 可以写成如下 形式 ：
率， 收敛 速度 快的逆 矩阵 。 阵 和 Ｐ是任 意 的 ， Ｊ Ｐ 矩 那么得 到 Ａ ＝Ａ Ｐ 和 Ｓ ５ 是任 意 Ａ ＝ 也
的， 但是 Ａｓ 得到的混合信号 是固定的 ， 所以复值 ＩＡ对接收到的信号 Ｘ进行分离 ， Ｃ 得到的对信源信 号的估计信号可能是 ｓ 或者 ． ５ 和 ５的幅度 、 ｓ ， 相位和顺序不一样 ， 因此产生了复值 ＩＡ对信源信号估 Ｃ 计的不确定性 。 ＩＡ研究中， 在 Ｃ 人们更多关注的是信号的波形 ， 只要分离信号和信源信号的波形一样 ， 就 认 为算 法是有 效 的 。
ICA快速算法原理和程序
实验2：FastICA 算法一．算法原理：独立分量分析（ICA ）的过程如下图所示：在信源()s t 中各分量相互独立的假设下，由观察()x t 通过结婚系统B 把他们分离开来，使输出()y t 逼近()s t 。
图1-ICA 的一般过程ICA 算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。
基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如FastICA 算法, Infomax 算法，最大似然估计算法等。
基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
本实验主要讨论FastICA 算法。
1. 数据的预处理一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。
若一零均值的随机向量()T M Z Z Z ,,1Λ=满足{}I ZZ E T =，其中：I 为单位矩阵，我们称这个向量为白化向量。
白化的本质在于去相关，这同主分量分析的目标是一样的。
在ICA 中，对于为零均值的独立源信号()()()[]T N t S t S t S ,...,1=，有：{}{}{}j i S E S E S S E j i j i ≠==当,0，且协方差矩阵是单位阵()I S =cov ，因此，源信号()t S 是白色的。
对观测信号()t X ，我们应该寻找一个线性变换，使()t X 投影到新的子空间后变成白化向量，即：()()t X W t Z 0= （2.1）其中，0W 为白化矩阵，Z 为白化向量。
利用主分量分析，我们通过计算样本向量得到一个变换T U W 2/10-Λ=其中U 和Λ分别代表协方差矩阵X C 的特征向量矩阵和特征值矩阵。
一种改进的FastICA信号盲分离算法
ｇｎ ．ｎｔｉ ｐｐ ｒａ ｇ ｒｈ ｊｉｔ ｓ ｇＮｅ ｏ ｎ Ｆｓ Ｃ ｉ ｐｏ ｏｅ ｄｅｐ ｒ ｎ ｎｓ ｅ ｅ ｔＩ ｓ ａｅ， ｎａ ｏｉ ｍ ｎｌ ｕｉ ｗｔｎａ ｄＭ— ａｔ Ａ ｒｐ ｓｄａ ｘ ｅ ｍｅ ｔ ｏ ｎ ， ｈ ｌ ｔ ｏ ｙ ｎ ｌ ｓ ｎ ｉ ｓ ｉ
了 ＩＡ技术 。ＩＡ包括极大似然估计方法 、 Ｃ Ｃ 最大熵方
２ Ｆ ｓｌ ａｔ ＣＡ原 理
Ｆｓ Ｃ ａ ｌＡ算法通过最大化各分量 的非高斯性来进行 ｔ
盲分离。
一
法、 最小互信息方法 、 高阶累积量方法【等等 ， １ 这些算法 都是通过利用分离后的信号各个分量之 间的最 大独立 性来建立对 比函数 ， 并通过最大或最小化对比函数得到 分离矩阵。Ｆｓ Ｃ ［ 收敛速度快的优点 ， ａｔ Ａｓ ｌ 唷 但是对分离
ｆ ｃｉ ｎ ｂ ｔｂ ｉｇ ｓｎ ｉｖ ｏ ｔｅｉ ｉ ａｉａ ｏ ｆｔｅｓｐ ｒｔ ｎ ｍ ａｒ ｎ ｏ ｔｍｅｂ ｃ ｍｉ ｇ ｎ ｎ ｏ ｖ ｒ ｕｎ ｔ ， ｕ ｅｎ ｅ ｓ ｉｅｔ ｈ ｎｔ ｌ ｔ ｎ ｏ ｅ ａａ ｏ ｔｉ ａ ｄ ｓ ｍｅ ｏ ｔ ｉ ｚｉ ｈ ｉ ｘ ｉ ｅ ｏ ｎ ｏ ｃ ｎ ｅ—
种非高斯性度量 的标准是负熵 ， 其定义为 ：
Ｊ ）Ｈｘ． Ｈ ｘ （ ＝ （ 一 （） ｘ （） １
收稿 日期 ： １— ４ ２ ２ ００ —８ ０
总第 １ 期 １ ０
李 睿， ： 等 一种改进的 ＦｓＣ ａ ｌＡ信号盲分 离算法 ｔ
fastica
ICA的目的是使输出信号 Y尽可能独立，而 KL散度（或互信息）则是统计独立性的最佳测 度。
由输出信号各分量间的互信息公式、中心极限定 理可知： 在分离过程中，通过对分离结果的非高斯性度 量来判定分离结果间的相互独立性。当非高斯性度 量达到最大时，表明已经完成对各个独立分量的分 离。 负熵定义为
由信息论得寻求负熵最大化的方向就是求解非高斯性 最大化分量。由于无法知道F(Y)，实践中，负熵近似为
应用FAST-ICA算法对所给地化数据得到能量 最大的独立分量为： Y=0.7213×AU+0.3829×AG+0.5361×CU+0.201 1×PB-0.068×ZN
由系数可以看出，对独立分量Y的影响较大的元 素是CU和AU，所以可以判定Y是我们要寻求的成矿 元素组合，而CU和AU是矿致的指示元素。
其中，KI是正的常量；V是标准的高斯随机变量，函 数G是非二次型函数，较好地选择G可以得到稳健的 估计器。通常情况下，G的形式为
其中， a1 , a2
[1,2]
FAST-ICA反演化探数据元素组合模型
为使负熵最大化，获得最优的
根据KUHN-TUCHKER条件，经过简化给出的FAST-ICA 迭代
基本思路：将多维观察信号按照统计独立 的原则建立目标函数，通过优化算法将观测信号 分解为若干独立成分，从而帮助实现信号的增强 和分析。
ICA的基本框图：
独立分量分析有多种算法，如基于代数 结构的AMUSE,SOBI,JADE以及基于信息 论的FAST-ICA和INFO-MAX。
FAST-ICA的收敛速度快，且有一定的精度保证。 FAST-ICA算法能够更科学的去除元素组合之间 的相关性，得到的元素组合比传统方法更具有说服 力。 从处理技术上看，依据独立性分解势必涉及概 论密度函数或高阶统计量，而处理过程常常要引入 非线性环节。而地球化学数据从本质上将也是非线 性的，所以应用该技术来对地球化学数据进行处理 是合理的、可行的。从这一意义上看，FAST-ICA技 术优越于常用的只建立在二阶统计量的线性处理技 术。
改进的FastICA算法在雷达信号分选中的应用
关键 词 ： 雷达信号分选 ； 改进的Ｆ ｓ Ｃ ａｔ Ａ算法； Ｉ 盲源分离 中 图分 类 号 ： Ｎ ５．１ Ｔ ９７５ 文献标 识码 ： Ａ 文 章编 号 ： Ｎ ２１１ （０１０—０５ ４ Ｃ ３—４３２１）６ ７— ０ ０
Ａｐｐ ｉ ａ ｉ ｎ ｏ ｍ ｐ ｏ ｅ ｓ ｌ ｌｃ ｔｏ ｆＩ ｒ ｖ ｄ Ｆａ ｔ ＣＡ ｇ ｒ ｔ ｍ ｏ Ｒａ ｒ Ｓ ｇ ａ ｏ ｔｎ Ａｌ ｏ ｉｈ ｔ ｄａ ｉ ｎ ｌＳ ｒ ｉ ｇ
ａ ｆ ｗ ｅ ｒ ． ｉ ｐｅ ｍｐ ｏ ｅ ｈｅ ｔ ａ ｔｏ ｌＦａ ｔＣＡ ， ｎｄ ａ ｌｅ ｔｔ ａ ａ ｉ ｌｓ ｒ ｉ ｇ． ｅ ｙ ａ ｓ Ｔｈ ｓｐａ ｒ ｉ ｒ ｖ ｓｔ ｒ ｄｉｉｎａ ｓ Ｉ ａ ｐｐ ｉ ｓｉ Ｏ ｒ ｄ ｒ ｓｇｎａ ｏ ｔｎ Ｔｈｅ ｓｍ ｕ ａ ｉ ｎ ｅ ｅ ｉ ｎｔｐ ｏｖ ｓｔ ｔｉ ａ ｂｔ ｉ ｏｄ ｅ ｆ ｃ ａ ａ ｉ ａ ｅ ｅ ａ ｉ ａ ｆ ｒ ａ ｉ ｌ ｔｏ ｘｐ ｒｍｅ ｒ ｅ ｈａ ｔｃ ｎ ｏ ａｎ ａ ｇｏ ｆｅ ｔｏｆｒ ｄ ｒｓｇｎ ｌｓ ｐ ｒ ｔｏｎ， ｎｄ ｏｆｅ ｎｅ ｗａ ｏ ａ ａ ｉ ｎａ ｏ ｔｎ ｗ ｙ ｆ ｒ ｒ ｄ ｒ ｓｇ ｌｓ ｒ ｉ ｇ．
ｍ
统首 先要 具备 的 信号处 理 能力就 是 能够对 随机 交迭 的信 号 流进行 自动分 选 ， 以雷 达 信 号 分 选技 术 是 所 整个 电子 侦察 系统 的关 键技 术之 一 。传统 的信 号分 选 主要是 基于 统计 的思 想 ， 过 对 雷 达 脉 冲流 的脉 通 冲重 复 间隔 （ Ｒ ） 析 ， 据 Ｐ 的调 制 方式 ， 对 Ｐ Ｉ分 依 ＲＩ 将
２１ ０ １年 １ ２月
舰 船 电 子 对 抗
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ICA用牛顿迭代法改进的FastICA算法ICA算法原理：独立分量分析（ICA）的过程如下图所示：在信源()st中各分量相互独立的假设下，由观察xt通过结婚系统B把他们分离开来，使输出yt逼近st。
图1-ICA的一般过程ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。
基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如FastICA算法, Infomax算法，最大似然估计算法等。
基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
本实验主要讨论FastICA算法。
1. 数据的预处理一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。
若一零均值的随机向量满足，其中：I为单位矩阵，我们称这个向量为白化向量。
白化的本质在于去相关，这同主分量分析的目标是一样的。
在ICA中，对于为零均值的独立源信号，有：，且协方差矩阵是单位阵cov( S ) = I，因此，源信号S( t )是白色的。
对观测信号X( t )，我们应该寻找一个线性变换，使X( t )投影到新的子空间后变成白化向量，即：其中，W0为白化矩阵，Z为白化向量。
利用主分量分析，我们通过计算样本向量得到一个变换其中U和 分别代表协方差矩阵XC的特征向量矩阵和特征值矩阵。
可以证明，线性变换W0满足白化变换的要求。
通过正交变换，可以保证因此，协方差矩阵：再将代入且令有由于线性变换A~连接的是两个白色随机矢量Z( t )和S( t )，可以得出A~ 一定是一个正交变换。
如果把上式中的Z( t )看作新的观测信号，那么可以说，白化使原来的混合矩阵A简化成一个新的正交矩阵A~。
证明也是简单的：其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。
在多维情况下，混合矩阵A是N*N 的，白化后新的混合矩阵A~由于是正交矩阵，其自由度降为N*(N-1)/2，所以说白化使得ICA问题的工作量几乎减少了一半。
白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。
用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA的工作量。
此外，PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。
2. FastICA算法FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvärinen等人提出来的。
是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。
但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。
FastICA算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA算法。
它以负熵最大作为一个搜寻方向，可以实现顺序地提取独立源，充分体现了投影追踪（Projection Pursuit）这种传统线性变换的思想。
此外，该算法采用了定点迭代的优化算法，使得收敛更加快速、稳健。
因为FastICA算法以负熵最大作为一个搜寻方向，因此先讨论一下负熵判决准则。
由信息论理论可知：在所有等方差的随机变量中，高斯变量的熵最大，因而我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。
根据中心极限定理，若一随机变量X由许多相互独立的随机变量 NiSi,...3,2,1 之和组成，只要iS具有有限的均值和方差，则不论其为何种分布，随机变量X较iS更接近高斯分布。
换言之，iS较X的非高斯性更强。
因此，在分离过程中，可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。
负熵的定义：式中，GaussY是一与Y具有相同方差的高斯随机变量，H为随机变量的微分熵根据信息理论，在具有相同方差的随机变量中，高斯分布的随机变量具有最大的微分熵。
当Y具有高斯分布时，Ng(Y) = 0 ；Y的非高斯性越强，其微分熵越小，Ng(Y)值越大，所以Ng(Y)可以作为随机变量Y非高斯性的测度。
由于计算微分熵需要知道Y的概率密度分布函数，这显然不切实际，于是采用如下近似公式：其中，E为均值运算；g为非线性函数，可取 ，或等非线性函数，这里，通常我们取。
快速ICA学习规则是找一个方向以便具有最大的非高斯性。
这里，非高斯性用式（3.7）给出的负熵的近似值来度量,的方差约束为1，对于白化数据而言，这等于约束W的范数为1。
FastICA算法的推导如下。
首先，XWT 的负熵的最大近似值能通过对进行优化来获得。
根据Kuhn-Tucker条件，在的约束下的最优值能在满足下式的点上获得。
以下是牛顿迭代法在生物医学工程专业中的实际应用，其中选择了3篇有关于牛顿迭代法在ICA算法中优化的应用？。
ICA 去除EEG 中眼动伪差和工频干扰方法研究眼动伪差和工频干扰是临床脑电图(EEG)中常见噪声 , 严重影响其有用信息提取 . 本文尝试采用独立分量分析 (Independent Component Analysis , ICA) 方法分离 EEG 中此类噪声通过对早老性痴呆症( Alzheimer disease , AD)患者临床 EEG 信号( 含眼动伪差和混入工频干扰 , 信噪比仅 0dB)作 ICA 分析 , 比较了最大熵(Infomax)和扩展最大熵(Extended Infomax) ICA 算法的分离效果 , 证实虽然最大熵算法可以分离出眼动慢波 , 但难以消除工频干扰 , 为此需采用扩展的最大熵算法 ; 并知 ICA 方法在极低信噪比时也有较好的抗干扰性 , 且在处理非平稳信号时有好的鲁棒性 ; 文中还结合近似熵 (approximate entropy , ApEn )分析说明利用 ICA 去除干扰后有助于恢复和保持原始 EEG 信号的非线性特征 .ICA 算法原理假设存在 N 道相互独立的未知源信号 X =[ x1 , x2 , … ,xN] , 通过某个未知的待检测分析系统后线性叠加为在 M 个传感器上接收到的观测信号 U =[ u1 , u2 , … , uM] . 已经证明在 M ≥N 条件下 , 如果源信号 X 不含一个以上的高斯过程则存在混合矩阵 A , 使得 U =AX . ICA 算法的基本思路在于求解一矩阵 W , 使其作用于观测信号 U 所得估计信号X ′ =WU , 在统计独立的意义下最逼近于未知源信号 X , 即要找到矩阵 W 使得信号 X ′的各个分量尽可能地相互独立 . 为此需建立一个合适的代价函数 , 再采用某种优化算法分离源信号 . 对于 EEG 信号 , 代价函数可取各导联信号间的高阶统计量、互信息熵或最大似然估计 , 优化算法则可采用牛顿迭代法、基于神经网络的自适应算法、随机梯度法、自然梯度法等本文所采用的最大熵( Infomax) 算法是根据常规的随机梯度法求解矩阵 W , 算法的目标判据为独立分量通过非线性环节后信息熵极大 , 其调节公式为ΔW =μ [ ( WT) -1 + (1 +2y)xT] ( 1)由于算法中涉及矩阵求逆 , 故又提出了用自然梯度代替常规梯度的改进算法 , 以避免求逆过程 , 减少计算量 . 如此 , 矩阵调节改为下式ΔW =μ [ (WT ) -1 + ( 1 +2y)xT] WTW =μ [ I + ( 1 -2y)uT] W其计算量和收敛速度均得到较大改进 .但上述算法仅适用于超高斯信号 , 而眼动肌电和工频干扰之类噪声多属亚高斯信号 . 为了使算法能同时适用于亚高斯信号 , 又推导出所谓扩展的最大熵(ExtendedInfomax)算法 , 其调节公式为ΔW =μ [ I -Ktanh (u )uT -uuT ] W ,kii =1 (超高斯信号 ) , kii =-1 (亚高斯信号) 式中K 为对角阵 . 算法通过其主对角元素 Kii取不同值来区分超高斯和亚高斯信号 , 以便将脑电数据中 EEG 有用成分和肌电、工频等干扰信号分解开来 . 而简单的最大熵算法则难以做到这点 .改进的Fast ICA 算法在事件相关电位提取中的应用研究事件相关电位的特征提取分析在大脑认知的神经生理基础和临床应用研究中起着非常重要的作用。
独立分量分析( Independent Co mpo nent A naly sis, ICA)作为目前比较流行的盲源信号处理算法, 其特性非常适合应用于事件相关电位的提取。
文章主要讨论了独立分量分析的基本原理、判决条件和算法, 针对快速定点算法( F ast Independent Component Analy sis alg orithm , Fa st ICA) 迭代次数较多和对初始权值敏感的缺点, 我们引入利用梯度法改进的修正因子, 在此基础上对Fast ICA 进行优化, 得到改进算法, 改进算法降低了对初始权值的敏感性, 减少了迭代次数, 从而提高了算法的收敛速度。
最后将其应用于ERP 信号的提取当中, 实验表明, 在分离效果相当的前提下, 收敛速度得到了较大的提高。
ICA 的基本理论ICA 的线性模型可表示为:x i( t)=Asi( t) ( 1)ICA 的目的就是寻求一优化的分离矩阵W , 通过它能由观测信号xi( t)近似地恢复相互独立的源信号si( t):u i( t)= W x i( t)= W As i( t) ( 2)基于负熵判踞的Fast ICA 算法Fast ICA 是一种基于固定点( fixed-point) 迭代理论来寻求非高斯性最大值的方法[ 4] 。
由中心极限定理可知,非高斯性可以作为随机信号相互依赖的度量, 所以当非高斯性达到最大时, 表明已完成对各独立分量的分离。
由信息论可知负熵可以度量信号的非高斯程度, 因此采用负熵作为独立性判据,可以从观测信号中分离出独立分量。
负熵判据对于一概率密度函数为p( y) 的随机变量y , 负熵定义为:J( y)=H( ygauss)-H( y)H( y)=-∫ p( y) lgp( y) dy为方便计算,一种较好的负熵近似是:J( y)∞[ E{ G( y) }-E{ G( y ga us s) } ] 2 ( 5)Fast ICA 算法实现预处理在运用ICA 方法之前, 适当的对原始观测信号进行一些预处理是非常必要的, 它可使ICA 的工作量大大减小,从而有利于提高ICA 算法的效率, 也能使问题更符合前述约束条件。