独立分量分析及其在生物医学工程中的应用_杨福生

独立分量分析及其在生物医学工程中的应用_杨福生
独立分量分析及其在生物医学工程中的应用_杨福生

独立分量分析及其在生物医学工程中的应用

杨福生,洪 波,唐庆玉

(清华大学电机系,北京 100084)

摘要:独立分量分析(Independent Co mpo nent A nalysis ,简记ICA )是信号分解技术的新发展。I CA 与P CA (主分量分析)或SV D(奇异值分解)的主要不同是:后者分解得的各分量只是互不相关,而前者则要求各分量相互统计独立。体表测量得的信号往往包含若干相对独立的成分,因此采用ICA 技术来分解,所得结果往往更有生理意义,有利于去除干扰和伪迹。

本文简短地回顾ICA 的基本原理、判据、算法和其在生物医学工程中的应用,并作出展望及指出存在问题。关键词:独立分量分析;盲信源分离;视觉诱发响应

中图分类号:R 318 文献标识码:A 文章编号:1001-1110(2000)03-0129-06

Independent component analysis and its BME application

YANG Fu-sheng ,HONG Bo ,TAN G Qing -yu

(Dept of Electrical Engineer ing ,T sing hua U niver sity ,Beijing 100084,China )

Abstract :Independent Component A nalysis(ICA )is a new development of sig nal deco mpo sitio n.T he main difference betw een ICA a nd P CA (Pr incipal Component Analysis )or SV D (Singular V alue Decompo sitio n )is that t he components deco mposed by the later met ho d ar e only mut ually unco rr elat ed ,w her eas t he compo nents decom po sed by t he fo rmer met hod ar e m utually independent statisically.Since the sig nals measur ed o n the sur face o f human bo dy a re usually the mixt ur e of sever al r elat ively independent so ur ces,their ICA deco mposition can usua lly lead to results mo re plausible phy siolog ically.A sho rt rev iew o n the basic principles,cr iter ia a nd algo rithms o f ICA is given in this paper ,tog ether w it h som e ex amples o f its BM E application.P erspect ives and o pen questio ns ar e also addr essed.

Key words :independent com po nent analysis ;ext raction of V EP ;criteria and algo r ithms of ICA

收稿日期:1999-12-01

:(1 引言

独立分量分析(ICA )是统计信号处理近年来的一项发展。顾名思义,这是一种分解技术,其特点是把信号分解成若干相互独立的成分。主分量分析(PCA )和奇异值分解(SVD)是人们较熟悉的分解信号的线性代数方法,ICA 与它们的主要不同之处表现在:(1)后者只要求分解出来的各分量互相正交(不相关),但并不要求它们互相独立。用统计信号处理的语言来表达,即:后者只考虑二阶统计特性,而前者则要更全面考虑其概率密度函数的统计独立性。

(2)后者按能量大小排序来考虑被分解

分量的重要性。这样的分解虽然在数据压缩和去除弱噪声方面有其优点,但分解结果往往缺乏明确的生理意义。前者虽然分解出的分量其能量大小存在不确定性,但当测量值确实是由若干独立信源混合而成时,分解结果往往具有更好的生理解释。

由于测得的生理信号往往是若干独立成分的加权迭加(例如,诱发脑电总是被自发脑电所淹没,而且常伴随有心电、眼动、头皮肌电等干扰),此ICA 是一项值得注意的分解方法。此外,神经生理研究认为,人类对认知、感知信息的前期处理有“去冗余”的特点。ICA 在这方面也表现出类似特性,因为互相独立的分量之间互信息是最少的。

ICA 是伴随着盲信号处理,特别是盲信

源分离发展起来。其研究热潮方兴未艾,也正在引起生物医学工程界的注意,IEEE T rans BM E 正在组织出版以它为重点的专辑。就国际范围看,以下几个研究单位目前工作比较领先:

(1)美国加州大学生物系计算神经生物学实验室,网址:http:∥w w https://www.360docs.net/doc/646030499.html,

(2)日本Riken 脑科学研究所脑信息研究室,网址:http:∥w w w.bip.riken.jp

(3)芬兰赫尔辛基工业大学计算机及信息科学实验室,网址:http:∥w w w.cis.hut.fi

目前发表有关文献较多的刊物有IEEE Tr ans

SP 和

NN

以及

Neural

Computation 等。

本文目的是对ICA 的原理、算法及应用作一简述,以引起国内同行对它的关注。将侧重于概念说明,而不追求数学上的严谨性。2 原理

2.1 问题的提法

如图1,s

-(n )是一组互相独立的信源,A 是混合矩阵,x -(n )是观察记录,即x -(n )=As -(n )。问题的任务是:在A 阵未知且对s -(n )除独立性外无其它先验知识的情况下,求解混

矩阵B ,使得处理结果y -(n )=Bx -(n )中各分量尽可能互相独立,且逼近s (n )。容易理解,

解答不是唯一的,它至少受以下条件的限制:

(1)比例不定性:s -(n )中某一分量大K 倍时,只要使相应的A 阵系数减小K 倍,x

-(n )便保持不变。因此,求解时往往把s -(n )假

设成具有单位协方差阵,即s -中各分量均值为零,方差为1,

且互相独立。

图1 独立信息源分解的框图示意

(2)排序不定性:y -与s -中各分量排序可

以不同。因为只要对调B 阵中任意两行,y -中相应元素的位置也便对调。

(3)s -(n )中至多只能有一个高斯型信源:这是因为高斯信源的线性组合仍是高斯型的,因此混合后便无法再区别。

(4)信源数目N 只能小于或等于观测通道数M 。N >M 情况目前尚未解决。以下讨论设M =N 。

因此,y -(n )只是在上述条件下对s -(n )的逼近。换名话说,任务的实质是优化问题,它包括两个主要方面:优化判据(目标函数)和寻优算法。2.2 目标函数

这一领域的研究者已经从不同角度提出了多种判据。其中以互信息极小判据(M inim ization of M utual Info rmatio n,简记M MI )和信息或熵极大判据(Info rmax 或M aximization of Entropy ,简记M E )应用最广。由于最基本的独立性判据应由概率密度函数(probability density function ,简记pdf )引出,而工作时pdf 一般是未知的,估计它又比较困难,因此通常采用一些途径绕过这一困难。常用的方法有两类:1把pdf 作级数展开,从而把对pdf 的估计转化为对高阶统计量的估计;o在图1的输出端引入非线性环节来建立优化判据。后一作法实际上隐含地引入了高阶统计量。

(1)互信息极小判据:

统计独立性的最基本判据如下:令p (y -)

是y -的联合概率密度函数,p i (y i )是y -中各

分量的边际概率密度函数。当且仅当y -中各分量独立时有:

p (y -)=

∏N

i =1

p i

(y i

)

因此用p (y

-)与∏i =1

p i

(y i

)间的Kullback-Leibler 散度作为独立程度的定量度量:

I (y -)=KL [p (y -),∏N

i =1

p i (y i )]

=∫

p (y -)log [

p (y -)

∏N

i =1

p i (y i )

]d y

-(1)

显然,I (y -)E 0,当且仅当各分量独立时I (y -)=0。因此,互信息极小判据的直接形式是

:在y -=B x -条件下寻找B ,使(1)式的I (y -)极小

为了使判据实际可用,需要把I (y -)中有关的pdf 展成级数。由于在协方差相等的概率分布中高斯分布的熵值最大,因此展开时常用同协方差的高斯分布作为参考标准。例如,采用Gram-Charlier 展开时有:

P (y i )P G (y i )=1+13!k 2y i h 3(y

-i )+14!

k 4y i h 4(y i )+…式中P G (y i )是与P (y i )具有同样方差(R 2

=1)和均值(L =0)的高斯分布。k 3yi 、k 4yi 是y i 的三、

四阶累计量(cumulant ),h n (y i )是n 阶Hermit 多项式。

此外还有许多其他展开办法,如Edg ew or th 展开,利用负熵(Neg entropy)等。不论采用何种展开方式,经推导后总可把式(1)近似改成k 3、k 4的函数:

I (y )=F (k 3y -,k 4y -,B )(1)?

F (?)的具体形式多种多样,视推导时的假设而异。这样就得到互信息判据的实用近似形式

:

在y -=B x -条件下寻找B ,使式(1)的I (y -)极小

(2)Infomax 判据:

这一判据的特点是在输出端逐分量地引入一个合适的非线性环节把y i 转成r i (如图2)。可以证明,如果g i (?)取为对应信源的累积分布函数cdf(它也就是概率密度函数的积

分),则使r -=(r 1…r N )T

的熵极大等效于使I (y -)极小,因此也可达使y -中各分量独立的要求。从而得到Infomax 判据

:

在选定适当g i (?)后,寻找B 使熵H (r -)极大

需要指出的是,虽然理论上g i (?)应取为各信源的cdf,但实践证明此要求并不很严格,有些取值在0~1之间的单调升函数也可

以被采用,如sigmo id 函数、tanh (?)

等。

图2 Infor max 的框图

估计H (r -)固然也涉及pdf,但由于其作

用已通过g i (?)引入,所以可以不必再作级数展开而直接用自适应选代寻优步骤求解。文献中还提出了一些其他判据,如极大似然、非线性PCA 等,但它们本质上都可统一在信息论的框架下,所以不再一一列举[1]。3 处理算法

优化算法可大致分为两类,即批处理与自适应处理。

3.1 批处理

批处理比较成熟的方法有两类。较早提出的是成对旋转法[2],其特点是把优化过程

分解成两步(如图3)。先把x

-(n )经W 阵加以“球化”得z -(n ),使z -(n )T

=I N ,即:各分量不相关且方差为1,然后再寻找合适的正交归一阵U 达到使y -各分量独立的目的。前一步

类似于PCA,后一步则可利用Givens 旋转,根据目标函数,将z -中各分量两两成对反复旋转直到收敛。这种方法计算量较大。1999年,Gadoso 提出几种方法对它作了进一步改进[3],其中包括:M axkurt 法、JADE 法、SHIBBS 法等,限于篇幅,

本文不再叙述。

图3 成对旋转的两步示意图

近年来,提出的另一类方法是所谓“固定点”法(Fixed Point M ethod )[4,5],其思路虽来源于自适应处理,但最终算法属于批处理。简单地说,通过随机梯度法调节B 阵来达到优化目标时,有:

B (k +1)=B (k )+$B (k )

$B (k )=-L

5E k

5B (k )

式中k 是选代序号,E k 是瞬时目标函数。当到达稳态时必有[E 是总集均值算子]:

E [$B (k )]=0

(2)

如果$B (k )与B (k )有关,就可由(2)式解出B 的稳态值。不过由于(2)式总是非线性方程,因此求解时仍需要采用数值方法(如牛顿法、共轭梯度法等)迭代求解。实践证明,不论是收敛速度还是计算量,此法均优于前一种方法,而且它还可以根据需要逐次提取最关心的y i ,因此是一类值得注意的方法。3.2 结合神经网络的自适应处理

结合神经网络的自适应处理算法的框图如图4所示。1994年Cicho cki 提出的调节算法是:

B (k +1)=B (k )+$B (k )

$B (k )=L k [I -7(y -k )5T

(y -k )]B (k )式中7、5都是N 维矢量,其各元素都是单调升的非线性函数:

7(y k )=sg n y k ?y 2k ,5T

y -k =3tanh(10y k )所得

结果虽令人鼓舞,

但是方法是经验性的。

图4 自适应处理的框图

其后学者们从理论上沿着这一方向作了更深入的讨论,并发展出多种算法。概括地说,主要发展有以下几点:(1)引入自然梯度(或相对梯度)。按照最陡下降的随机梯度法推导出的系数调节公式往往具有如下一般形式:

$B (k )=L k [B -T (k )-7(y -k )x -T

k ]

式中的7(y -k )视具体算法而异。Infomax 法

中7(?)由所选用的g (?)决定;M MI 法中

则与y k 的三、四阶矩有关。B -T (k )是矩阵求逆再转置,它的计算量很大。Amari [7]在1998年提出将最陡下降梯度改为“自然梯度”,两者间关系是:

[自然梯度]=[最陡下降梯度]?B T (k )B (k )于是有:

$B (k )=L k [B -T (k )-7(y -k )x -T k ]B T

(k )B (k )=L k [I -7(y -k )y -T

k ]B (k )

由于此式避免了矩阵求逆,因此计算量明显降低且收敛加快。目前,这一作法已被普遍接受。

(2)引入自然梯度后,采用不同的优化判据得出的调节公式虽各有千秋,但大致都可表示为如下的“串行更新”形式:

B (k +1)=B (k )+$B (k )=[I +H (y -k )]B (k )

只是H (y -k )的具体形式各不相同。串行矩阵更新的算法还具有一些理论上值得注意的性质,如均匀特性(uniform property )和等变性(equivariant )等[8,9]。

(3)四阶累计量k 4>0的超高斯信号和k 4<0的欠高斯信号,其处理过程应当予以区别。采用同一算法效果往往不好。目前的办法多是在调节公式中引入一个开关。根据估计得k 4的符号来切换不同算法,如扩展的Infom ax 法就是一例[10]

。此法的系数调节公

式是:

$B (k )=L k [I -K tanh (y -k )?y -T k -y -k y -T

k ]B (k )

其中K 是对角阵,其对角元素之值为+1或

-1,视该信号分量k 4>0或<0而定。为了

实时应用,估计K 4也可采用递归算法。

总之,自适应算法是目前采用较广的方法。

4 应用举例4.1 仿真计算

为检验经ICA 算法分解信源的能力,作了如图5所示的仿真实验。左图是一组源信号,它们对系统来说是未知的。这一组信号经混合后的观察信号作为(中图所示)ICA 算法的输入,分解后的结果如右图所示。可以看到,除了波形的次序、极性和波幅发生变化之外,源信号的波形被很好地分解出来。

一般情况下,临床脑电信号中既有超高斯成分(如诱发电位),也有亚高斯成分(如肌

电和工频干扰)。为了检验扩展Info max 算法处理这类情况的能力,我们又用此法进行了如图6所示仿真实验。左图第一行是一段自发脑电信号,第二行是仿真的视觉诱发电位,第三行是肌电干扰。混合后的信号(图中第二列所示)经ICA 分解得到如右图所示的结果。这一结果表明扩展ICA 算法在同时存在超高斯和亚高斯信号的情况下,仍然能够很好地实现盲分解。但应指出:这一仿真结果并不说明通过ICA 分解就能直接得到视觉诱发电位,

因为还没有涉及头皮上的多导数据。

图5 

线性混合信号盲分解的仿真实验

图6 诱发电位单次提取的仿真实验

4.2 实验VEP 分析

(1)多导脑电观察中V EP 的增强:需要强调,把多导脑电作ICA 分解后直接取出其

中与VEP 有关的成分,得到的并不是头皮电极处的VEP 分量,因为它们只是分解出来的信源,而这些信源的位置并不在头皮上,为了得到电极处测量值中的VEP 成分,需按下述

步骤处理:用训练得的W 阵直接对头皮上取得的多导脑电数据进行ICA 分解,得到各独立分量组成的矩耻y =Bx (见图7a);再根据各分量的波形特征及产生时段,选择与VEP 有关的一部分分量(例如在前300ms 中具有较大幅度的分量),并将其余分量置0,得到新的独立分量矩阵y ?;再反变换回头皮各电

极处得x ?=B -1-y ?。这样才能得到去除噪声和干扰后各电极处的VEP 。

采用这样的方法可显著地减少提取VEP 所需要的累加次数。图8左图是经3次累加所得VEP ,中图是经50次累加所得结

果,右图则是用左图经图7中ICA 处理后提取的VEP 。比较中、右两图,两者波形趋势基本相同,但后者比前者其主要峰、谷显然更清楚,而累加次数由50减到3

图7 VEP

增强过程框图

图8 相干平均和ICA 处理结果的比较

(2)ICA 分量的空间模式:

把某一个ICA 分量的瞬时值经B -1逆

推回头皮各电极处得x -?后,就可以按断层图的插补方法得到该时该分量在头皮上的空间分布模式。这个空间分布模式也可以用更简单办法得到:只要把逆矩阵B -1中相应于某ICA 分量的列中各元素的值赋与头皮各电极处,再作断层图插值,就可以表现该ICA 分量在任意时刻的空间分布模式。理由如下:

x -?(t )=B -1

y -?(t )设在y -?中只取一个ICA 分量y ?j ,其余分量均置0,则此式可展开写成:

x ?1(t ) x ?i (t ) x ?N (t )

=

b ?11 b ?1j b ?1N b ?i 1 b ?ij b ?iN b ?N 1

b ?Nj

b ?N N

0 y ?j (t ) 0

也就是:x ?i (t )=b ?ij y ?j (t ), i =1~N

式中b ?ij 是B -1的第i 行第j 列元素。可见ICA 分量y ?j (t )在头皮各电极处的对应值等于用逆阵B

-1

第j 列各元素来对y ?j (t )加权。

因此,列矢量b ?j =[b ?1,…,b ?N j ]可以用来统一地表现任意时刻y ?j 的空间模式。5 总结与展望

本文粗略介绍了ICA 的原理、算法和应用,可以看到ICA 确是一个值得注意的研究方向,但其理论体系尚未完整,实际采用的处理方法多少还带有经验性。例如为什么对非线性特性g i 的要求不甚严格就没有明确解释;又如算法的稳定性、收敛性在实践中是经常遇到的问题。从应用方面看也还有许多待开发的领域,例如如何应用于生理信号的模式识别与系统建模等。

从生物医学信号分析的角度看,还有一些亟待深入的问题。例如:

(下转第186页)

techno lo gy fo r v accine inno vation[J].

V accine Jan,1994,12(1):5-11.

[16] Jo nes D H,M cBr ide BW,T hor nton C,et a l.

Or ally administer ed micro encapsulated

Bo rdetella pert ussis fimbra e pro tect mice

fro m B pert ussis r espir ato ry infectio n[J].

Infect Immun,1996,64(2):489-494.

[17] Cha llacombe SJ,Rahman D,O'Hag an DT.

Salivar y,gut,v aginal and nasal antibody

responses aft er or al immur.I zat ion w ith

biodegr adable micro par ticles[J].V accine,

1997,15(2):169-175.

[18] A ttar ki A,P ecquet S,Fa ttal E,et al.Pr ot ect-

iv e im-munit y ag ainst Salmonella

T y phimur ium elicited in mice by o ral

vaccination w it h phospho ry lcho line en-

capsulated in poly(D L-lact ide-co-g lycolide)

micr o-spheres[J].Infect Immun,1997,65

(3):853-857.

[19] Jones D H,Co rr is S,M cdo na ld S,et al.P oly

(DL-lactide-co-g ly colide)-encapsulat ed

pla smid DN A elicits sy temetic and muco sal

antibo dy r espo nses to encoded pr ot ein aft er

o ral a dminist ration[J].Va ccine,1997,15

(8):814-817.

(上接第134页)

(1)在以上分析中混合阵A被假设为恒定。这对静态的图像分析或固定信源是合理的;但在生理实际中,等效信源一般在空间并不固定,因而混合阵A应视为时变的,而且传导过程中还会引入容积导体的卷积及迟作用。这可能是实际生理信号分解结果不够理想的原因之一。

(2)一般公认,生理信号的非平稳性较强,而以上分析并没有考虑信号的非平稳性。

(3)生理研究表明脑内电活动往往是分区聚集的,活动区的部位随感觉、认知具体任务而定;而各区间的电活动经皮层下的神经网络存在着同步联系。因此各活动区的等效源的电活动不是完全独立的。采用ICA技术如何反映这种情况也值得研究。

(4)采用二阶以上的累计量为判据时,对高斯噪声是透明的;但对非高斯噪声情况如何,尚待研究。

应当强调任何方法都不是万能的。合理的途径是把它结合到一个多方法、分层次的信号处理框架中发挥自己的优势。

参考文献:

[1] L ee T W,G iro lami M,Bell A J,et al.A

unify ing info rm atio n-theor etic fr amew or k

fo r independent co mponent a nalysis[J].

I nt ernatio nal Jo ur nal o f Computers and

M athematics w it h A pplicat ion(submitted),

1999(网上下载,网址:htt p://ww https://www.360docs.net/doc/646030499.html,l.

https://www.360docs.net/doc/646030499.html,/~tewo n).

[2]Como n P.I ndependent component analy sis:

A new co ncept?[J].Sig nal P ro cessing,

1994,35(3):287-314.

[3] Car doso JF.Hig her or der co ntra st s fo r

independent component analysis[J].N eural

Co mput atio n,1999,11(1):157-193.

[4] Hy var inen A,O ja E.A fast fix ed-po int

alg or ithm fo r independent component

ana ly sis[J].N eur al co mputa tio n,1997,9

(6):1483-1492.

[5] Hy var inen A.F ast and ro bust fix ed-po int

alg or it hm fo r independent component

analy sis[J].I EEE T r ans N N,1999,10(3):

626-634.

[6] Cichocki A,U nbehanen R,R umm ert E.Ro b-

ust learning alg or ithm fo r blind separ ation of

sour ces[J].Electr onic L etter s,1994,30(17):

1386-1387.

[7] A mar i SI.N atural g radient w or ks effcient ly

in learning[J].Neur al Computatio n,1998,10

(2):251-276.

[8] Car do so JF,L aheld BH.Equiva riant adaptive

sour ce separ atio n[J].IEEE T rans SP,1996,

44(12):3017-3030.

[9] Car do so JF.Blind sig nal pr ocessing[J].Pr oc

IEEE,1998,86(10):2009-2025.

[10] L ee T W,A mari SI,Cichocki A C.Independe-

nt component analysis using an ex tended

info max a lg or ithm fo r m ix ed sub-G aussian

and super-G aussian sour ces[J].N eural

Computation,1999,11(2):417-433.

[11] Amar i SI,Cichocki AC.Adaptiv e blind sig nal

pr ocessing-N eur al netw or k appr oa ches[J].

Pr oc IEEE,1998,86(10):2026-2049.

文献翻译-变分贝叶斯独立分量分析

(本科毕业设计论文) 毕业设计(论文)外文资料翻译 作者: 学科专业: 学号: 班级: 指导老师: 2014年6月

变分贝叶斯独立分量分析 摘要 信号的盲分离通过info-max 算法在潜变量模型中被视为最大似然学习潜变量模型。在本文我们提出一个变换方法最大似然学习这些模型,即贝叶斯推理。它已经被证明可以应用贝叶斯推理来确定在主成分分析模型潜在的维度。在本文我们为去除在独立分量分析模型中不必要的来源维度获得类似的方法。我们给一个玩具数据集和一些人为的混合图像提出结果。 1.引言 独立分量分析的目的是为一个基于概率性的独立原件找到一个表示法。实现这样的表示方法是给潜变量是独立约束的潜变量模型拟合一个数据。我们假设一个,有潜在的尺寸W ,观察到的尺寸P 和我们的数据集包含样本n 的模型M 。在ICA 方法中通常把潜在的维度称为“来源”。因此我们为独立生成潜在变量X 寻找模型表示,我们将任何给定的数据点n 带入 ∏== I i in n x p x p 1 )()( 假设高斯噪声,观察到的变量的每个实例化的概率,带入 )2 exp(2),,,(2μβ πβμβ--= n x n n n W t W x t p 其中W 是PXI 矩阵的参数,B 代表了一种逆噪声方差和u 是一个向量的方法。 1.1源分布 众所周知在独立分量分析,潜在分布的选择是很重要的。特别说明它必须是非高斯。非高斯源分布可以分成两类,那些积极的峰度或“沉重的尾巴”和那些消极的峰度或“光明的尾巴”。前者被称为超高斯分布,后者是亚高斯。如果我

们真正的源分布属于这两个中的任何一个类我们可以尝试分开。对于我们的ICA 模型,我们遵循?(1998)选择超高斯或者是亚高斯灵活的源分布。的运算结果的模型应用于两个可能发生的事。阿蒂亚斯选择了每个因素的混合物M 高斯模型 () ∏∑==?? ????=I i m m ni M m m n m x x N p 121 ,)(σπ }{m π是混合系数和每个组件是由一个意思毫米和方差q2m 。 阿蒂亚斯提到作为独立的因子分析模型。我们可能现在写下一个可能性,是一个函数的参数W,β,μ ()()()?∏==x x x t n n n n N n d p W p W p μβμβ,,,,,t 1 这个功能现在可以最大化的参数来确定独立的组件。传统的优化执行限制作为B 倾向于零。这种方法由贝尔和介绍了盲源分离作为信息最大化算法。与最大的关系可能是由不同的作者包括卡多佐指出(1997)和麦(1996)。 2.ICA 的贝叶斯形式主义 在本文中我们提出,按照推断模型的参数化的贝叶斯方法,而不是通过最大似然学习的参数。这要求我们把先验对模型参数。我们的目标是如何通过一个特定的选择我们的先验分布的显示P(W)我们可能自动判断哪些已经产生了数据源的数量。我们是主教的贝叶斯PCA (1999年),它的目的是确定在启发我们的方法主要子空间的自动维数。我们选择将噪音精密β,与以前的马, ()() b ββαββ,gam p = 这里我们定义伽玛分布 ()() ()τττ b a b a a a b -Γ= -exp ,gam 1 对于混合矩阵W ,我们认为高斯之前。特别是每一个的相关性输入可通过使用自动相关性确定(ARD )来确定前(尼尔,1996;麦凯,1995年) ()() ∏∏==-=I i P p i ip N W p 11 1 ,0αωα

基于独立分量分析的多源冲击定位方法

振 动 与 冲 击 第28卷第8期 JOURNAL OF V I B RATI O N AND SHOCK Vol .28No .82009  基于独立分量分析的多源冲击定位方法 基金项目:国家高技术研究发展计划(863计划)(2007AA03Z117);国家 自然科学基金项目(60772072) 收稿日期:2008-07-28 修改稿收到日期:2008-08-06第一作者苏永振男,博士生,1980年生通讯作者袁慎芳女,博士,博士,1968年生 苏永振,袁慎芳 (南京航空航天大学智能材料与结构航空科技重点实验室,南京 210016) 摘 要:结构健康监测中常用声发射信号进行声发射源的定位及特征描述。多个冲击事件发生时,声发射信号是 多个信号的混叠,而且混合方式未知,这使利用声发射信号对冲击源进行定位变得非常困难。而近年来兴起的基于独立 分量分析的盲源分离技术为解决这一难题提供了可能。采用基于信息极大化原理的反馈网络结构对同时作用在铝梁上的两个冲击事件产生的声发射混合信号进行分离,估计出各个源信号到达传感器的时延后,运用两点直线定位公式对两个冲击源进行定位。混合仿真实验验证了基于信息极大化原理的独立分量分析方法估计时延的有效性,铝梁上的两源冲击实验,进一步表明运用独立分量分析方法能较好的解决多冲击源定位问题。 关键词:盲源分离;独立分量分析;时延;冲击定位中图分类号:T B52;TG115.28 文献标识码:A 航空材料结构在服役过程中不可避免的要承受具 有不同能量的各种物体的冲击,由冲击所诱导的损伤,使结构承载能力大大降低、结构强度及稳定性严重退化[1]。因此,很有必要利用结构健康监测技术[2] 对冲击事件进行实时监测。目前对冲击定位的研究多是以单个冲击源为研究对象,常通过求解由冲击产生的声发射信号到达不同传感器的时延进行定位。在对多个 冲击源进行定位时,一些常规的求解时延方法[3] 如互相关函数法,能量法、阈值法等不再有效。因为在多个冲击源的情况下,声发射信号是多个源信号的混叠,上述方法只能求解出一个时延,因此无法实现多个冲击源的定位。近年来兴起的基于独立分量分析(I CA )的盲源分离(BSS )技术为这一问题的解决提供了有效途径。盲源信号分离是指在不知道源信号和混合参数的情况下,仅根据源信号的一些统计特性和有限的观测数据恢复出源信号。盲源信号分离技术在通信、生物医学信号处理、语音信号处理、阵列信号处理等获得了广泛的应用。 BSS 根据混合方式可分为瞬时混合和卷积混合,瞬时混合模型常假定信号源是同时混合的,不能容忍时延,而实际上混合源中有到达时间的区别。传感器测得的由冲击产生的声发射信号是结构的脉冲响应函数与源信号的卷积,而且由于传播介质的影响(时延和反射等),信号是多路径到达的,因此本文采用卷积混合模型模拟两个冲击源信号的混合过程。BSS 的卷积混合模型为:x =A 3s,其中“3”代表卷积,x 为t 时刻 M 维的观测信号向量,s 为t 时刻的N 维源信号向量,A 为M ×N 维的F I R 混合滤波器矩阵。解混目标是寻找 一逆F I R 滤波器矩阵W 使得解卷积后的输出y =W 3s 是源信号s 的估计。 本文以同时作用在铝梁上的两个冲击源的定位问题为例,研究基于BSS 技术的多源冲击定位问题。根据BSS 的卷积混合模型,采用基于信息最大化原理的反馈分离网络结构,对两个冲击源的混叠信号进行分离,求出各个冲击源到达传感器的时延,再根据波速,利用两点直线法实现两个冲击源的定位。 1 I nfomax 方法 1988年L inskers [‘4] 提出了可用非线性单元来处理任意分布的输入信号的信息最大化(I nfomax )原理,它可描述为:网络的输入端和输出端的互信息达到最大时,等价于输出端各分量间的相关性最小。1995年, A.J.Bell 和T .J.Sejnowski [5] 提出了基于信息最大化(I nf omax )原理的盲源分离算法。I nfomax 算法的独立性判据为信息极大传输准则,即通过对分离矩阵的调整,使非线性输出y 和网络输入x 之间的互信息I (y,x )极大。由信息论可知: I (y,x )=H (y )-H (y |x ) (1)由于H (y |x )不依赖于分离矩阵W ,可以看出,通过最大化输出信号的联合熵,就可实现输入输出之间的互信息最大。输出信号的联合熵为: H (y )=-E [log (f y (y ))] (2)f y (y )为非线性输出y 的概率密度函数,设输入经过非线性函数g (x )得到y,当g (x )为单调上升或下降时,输出输入概率密度函数之间的关系则可以写为: f y (y )=f x (x )/det (J ) (3)det (J )为网络的雅克比行列式,f x (x )为输入信号的概

独立分量分析(ICA)简单认识

ICA (Independent Components Analysis),即独立分量分析。它是传统的盲源分离方法,旨在恢复独立成分观测的混合物。FastICA是一个典型的独立分量分析(ICA)方法。 它是信号盲处理的基础,对信号独立分量分析的检测是信号盲处理的起点。现有的信号盲处理的算法,大都是基于独立分量分析的,通过对独立分量分析的研究就可以把这些算法统一起来。 一、信号分类: 1.无噪声时: 假设混叠系统由m个传感器和n个源信号组成,并且源信号与观测信号遵从如下所示的混叠模型: x(t)=As(t),其中,x(t)=[x1(t),x2(t),...,x m(t)]T表示m维观测信号矢量; A为m*n维混叠权系数为未知的混叠矩阵; n个源信号的组合为:s(t)=[s 1(t),s 2 (t),...,s n (t)]T 2.有噪声时: 若考虑噪声的影响,则有: x(t)=As(t)+n(t), 其中,从m个传感器采集来的噪声集合为:n(t)=[n1(t),n2(t),...,n m(t)]T 针对式子:x(t)=As(t)+n(t) 独立分量分析(ICA)就是要求解分离矩阵W,使得通过它可以从观测信号x(t)中恢复出未知的源信号s(t),分离系统输出可通过下式表示:y(t)=Wx(t)其中,y(t)=[y1(t),y2(t),…,y n(t)]T为源信号的估计矢量,即:y(t)=S(t) 二、用ICA方法的信号分析——基于小波变换和ICA的分离方案(分离步骤) 首先介绍下语音分离的大体思路。先采用小波变换对各个带噪混叠语音进行预消噪处理,然后进行预处理,最后用ICA的方法对消噪后的混叠语音进行分离;最后根据分离信号的特点进一步提出对其进行矢量归一和再消噪处理,最终得到各个语音源信号的估计。 1.预消噪处理——小波变换 这里采用的是小波阈值法去噪,它类似于图像的阈值分割。(阈值就是临界值或叫判断设定的最小值) 设带噪语音信号为: f(t)=As(t)+n(t),式中: s(t)是纯语音信号, n(t)为噪声。 对式子作离散小波变换。首先对被噪声污染的语音信号进行离散序列小波变换, 得到带有噪声的小波系数;然后用设定的阈值作为门限对小波系数进行处理,对低于阈值的小波系数作为由噪声引起的,仅让超过阈值的那些显著的小波系数用来重构语音信号。 2.约束条件

第3章基于信息论的独立分量分析算法

第3章 基于信息论的独立分量分析算法 3.1 引言 由于没有任何参照目标,学习只能是自组织的。学习过程的第一步:建立一个以W 为变元的目 标函数()W L ,如果某个W ?能使()W L 达到极大(小)值,该W ?即为所需的解。第二步:用一种有效的算法求W ?。按照()W L 定义的不同和求W ?的方法不同可以构成各种ICA 算法。ICA 方法可归结为如下式子:ICA 方法=目标函数+优化算法。由ICA 的性质可知ICA 以统计独立为基本原则,统计独立的衡量为ICA 算法的关键。因此需选择一个恰当的目标函数。目标函数给定后,可以采用经典的优化算法最优化目标函数,如梯度法、拟牛顿法等。ICA 方法的特性取决于目标函数和优化算法两项。ICA 方法的统计特性(如一致性、鲁棒性)取决于目标函数的选取;算法特性(收敛速度、内存要求)取决于优化算法的选择。对于同一个目标函数可以有不同的优化算法,同一个优化算法可应用于不同的目标函数。衡量一个优化算法的主要性能指标有收敛速度,占用内存情况,稳定性等。算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中,各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA 算法, Infomax 算法,最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。在此我们主要讨论基于信息论的几种独立分量分析算法。 3.2 数据的预处理 一般情况下,所获得的数据都具有相关性,所以通常都要求对数据进行初步的白化或球化处理,因为白化处理可去除各观测信号之间的相关性,从而简化了后续独立分量的提取过程,而且,通常情况下,数据进行白化处理与不对数据进行白化处理相比,算法的收敛性较好。 若一零均值的随机向量()T M Z Z Z ,,1 =满足{}I ZZ E T =,其中:I 为单位矩阵,我们称这个向量为白化向量。白化的本质在于去相关,这同主分量分析的目标是一样的。在ICA 中,对于为零均值的独立源信号()()()[]T N t S t S t S ,...,1=,有:{}{}{} j i S E S E S S E j i j i ≠==当,0,且协方差矩阵是单位阵()I S =cov ,因此,源信号()t S 是白色的。对观测信号()t X ,我们应该寻找一个线性变换,使()t X 投影到新的子空间后变成白化向量,即: ()()t X W t Z 0= (3.1) 其中,0W 为白化矩阵,Z 为白化向量。

基于独立分量分析的结构模态参数识别

振动与冲击 第29卷第3期JOURNAl,OFVIBRATIONANDSHOCKV01.29No.32010基于独立分量分析的结构模态参数识别 静行1,袁海庆1,赵毅2 (1.武汉理工大学土木工程与建筑学院,武汉430070;2.武汉理工大学设计研究院,武汉430070) 摘要:简要介绍了独立分量分析的基本原理及算法,探讨了结构的正规坐标与独立分量的关系。分析认为,结构自由振动响应的振型分解可以看做是一个ICA问题。因此,可以把独立分量分析发展成为一种利用结构自由振动响应时域信号进行模态参数识别的方法。结合数值仿真算例及振动试验,验证了独立分量分析用于结构模态参数识别的有效性。结果表明,独立分量分析可以准确的从结构自振响应中,分离出各正规坐标,同时估计出各阶模态振型向量,适用于环境激励下的工作模态参数识别。 关键词:独立分量分析;参数识别;正规坐标 中图分类号:TU311.3;TN911.6文献标识码:A 模态参数识别是结构动力特性研究的一个重要课题,主要任务是从测试所得的数据中,确定振动系统的模态参数,其中包括模态固有频率、模态阻尼比及振型等。目前模态参数识别方法主要有频域法、时域法、时一频分析方法等‘1.2|。传统的模态识别方法往往要求同时测得结构上的激励和响应信号。但是,在实际工程应用中,对一些大型结构无法施加激励或施加激励费用很昂贵,因此,直接利用环境激励下的振动响应数据进行模态参数识别逐渐引起了人们的重视【3.4J。 独立分量分析一一7j(IndependentComponentAnaly?sis,ICA)是伴随着盲源分离问题而发展起来的一项统计信号处理的新技术,其处理对象是相互统计独立的信号源经线性组合而产生的一组混合信号,最终目的是从混合信号中分离出各独立的信号分量。相对于主成分分析(PrincipleComponentAnalysis,PCA)而言,ICA不仅含有信号的一、二阶信号,而且利用了信号的高阶信息,因此ICA方法是处理非高斯信号的一种有效手段,也可以看作是PCA方法的推广。本文在简单介绍独立分量分析的基本原理及算法后,探讨了结构的正规坐标与独立分量之间的关系,并结合数值仿真算例与振动试验,验证了ICA用于结构模态参数识别的实用效果。 1独立分量分析 1.1问题描述 独立分量分析是从多元(多维)统计数据中寻找其内在因子或成分的一种方法。ICA问题可简单描述为:假定共有Ⅳ个传感器拾取到Ⅳ个观测信号石;(i=1,2,…,Ⅳ),每个观测信号是肘个独立源信号s,(.『-1,2,…,M)的线性混合,即X=A?S。其中,X= 收稿日期:2008一12—22修改稿收到日期:2009—05—19 第一作者静行男,博士生.1982年生[茗l,戈2,…,戈_lv]7和S=[sl,s2,…,5^,]1是混合信号矢量和源信号矢量,A是N×M的未知混合矩阵。ICA就是要在仅能观测到z;的情况下,同时估计出矩阵A和s,。因此,ICA可以定义为寻找一个分离矩阵W,从混 合信号中分离出相互独立的源信号,即S=w?X,并 希望.s能较好地逼近真实源信号.s,如果矩阵W能够估计出,对其求逆就能得到矩阵A。ICA方法的关键问题是建立一个能够度量分离结果独立性的判决准则和相应的分离算法。 1.2判决准则 ICA分解的基本原则可以粗略的概括为两条【6]:一是非线性去相关;二是使输出尽可能非高斯化。在众多的ICA算法中,科研工作者从不同的角度提出了多种度量各分量之间独立性的判决准则,如信息极大化(infomax)判决准则、互信息极小化(minimizationofmutualinformation,MMI)判决准则等。而本文采用的判决准则是建立在中心极值定理和信息熵基础上的。 根据中心极值定理,非高斯随机变量之和比原变量更接近高斯变量。对ICA过程来说,混合信号是多个独立源信号的线性混合,故混合信号较各独立源信号更接近高斯分布,或者说前者较后者的高斯性强(或非高斯性弱)。因此可以通过对分离结果的非高斯性的度量来监测分离结果之间的相互独立性,当各分离结果的非高斯性达到最强时,表明已完成对各独立分量的分离。一个非常重要的非高斯判据就是负熵判据。对于一概率密度函数为P(Y)的随机量Y,其负熵的定义如下: J(Y)=日(%。)一H(Y)(1)其中Ysa。是与Y具有相同相关(和协方差)矩阵的高斯随机变量,日(?)为随机变量的信息熵: n(y)=一Ip(),)logp(y)dy(2)信息论中的一个基本结果指出:在具有相同方差的所 万方数据

改进的复值快速独立分量分析算法

第37卷第5期 2015年10月探测与控制学报Journal of Detection &Control Vol .37No .5Oct .2015 一?收稿日期:2015-02-11作者简介:尹洪伟(1987 ),男,江苏徐州人,博士研究生,研究方向:目标中近程探测二识别与信息对抗技术三E -mail :y inhon g wei168@https://www.360docs.net/doc/646030499.html, 三改进的复值快速独立分量分析算法 尹洪伟,李国林,路翠华 (海军航空工程学院,山东烟台264001) 摘一要:针对复值快速独立分量分析算法(CFastICA ) 对初始权值敏感且收敛速度较慢的问题,提出了改进的CFastICA 算法三该算法首先利用牛顿下降因子优化牛顿迭代的收敛方向, 使分离矩阵在一定程度上接近最优值,然后去除牛顿收敛因子,利用普通牛顿迭代实现分离矩阵快速收敛三仿真实验表明:提出的算法拥有和牛顿下降CFastICA 同样的收敛精度,收敛时间比牛顿下降CFastICA 减少了近53%,且在低SNR 下,提出算法的综合收敛性能明显优于CFastICA 和牛顿下降CFastICA 算法三关键词:盲源分离;复值快速独立分量分析算法;牛顿迭代 中图分类号:TN974一一一一文献标志码:A 一一一一文章编号:1008-1194(2015)05-0022-04 An Im p roved Com p lex Value Fast ICA Al g orithm YIN Hon g wei ,LI Guolin ,LU Cuihua (Naval Aeronautical and Astronautical Universit y ,Yantai 264001,China )Abstract :An im p roved CFastICA al g orithm was p ro p osed to solve the p roblem of initial value sensibilit y and to im p rove conver g ence s p eed .First ,Newton decline factor was used to o p timize Newton iteration conver g ence direction to make the se p arated matrix be close to the o p timal value to a certain extent ,then remove the conver -g ence factor and use the ori g inal Newton iteration realize fast conver g ence .Simulation results showed that the p ro p osed al g orithm had the same conver g ence p recision with Newton decline CFastICA ,and its conver g ence time was 52.85%less than Newton decline CFastICA .The combination p ro p ert y of p ro p osed al g orithm was si g -nificantl y better than both of CFastICA and Newton decline CFastICA under the low SNR . Ke y words :blind source se p aration ;com p lex value FastICA ;Newton iteration 0一引言 由于盲分离算法对信号先验知识无依赖性, 近年来其在雷达二声呐二语音二通信二图像和医学 等领域都得到了快速发展[12]三而一些领域,如阵列信号处理,其信号往往是复数形式,针对该特点,实数盲分离算法被扩展到了复数领域[3]三其中最典型的算法为复值快速独立分量分析(FastICA )算法,该算法因采用牛顿迭代而具有较快的收敛速度三但该算法存在一个大的缺陷,即当初始分离矩阵偏离最优值较远时,特别是含噪声条件下,不容易收敛到到最优点,甚至无法 收敛[45]三为解决这个问题,国内外不少学者进 行了研究三但总体来看,对该问题的解决方法主要有三种:一是对算法中非线性函数的优化,如文献[6-8],该方法虽可以在一定程度上缓解上述问题,但是也只是起到改善的效果,并不能从根源上解决;二是引入牛顿下降因子以保证牛顿 迭代朝着最优值方向,如文献[9-11],虽然效果很好,但这使得本来具有快速收敛优势的牛顿算 法速度被削减;三是先利用最速梯度法改善初始 分离矩阵,然后再利用牛顿迭代获取最优分离矩 阵,如文献[5,12],但是该算法中的所谓最速梯度,实际上就是牛顿算法[12],并不能起到良好的稳定效果三本文针对此问题,提出了改进的 CFastICA 算法三

相关文档
最新文档