基于独立成分分析的图像特征提取研究
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1）输入混合信号 X （2）对观测数据 X 进行中心化，使其均值为 0； （3）对数据进行白化，得到单位方差的信号 Z； （4）选择需要估计的分量的个数 m,设迭代次 数 P←1； （5）选择一个初始权向量（随机的）WP （6）更新 WP.WT=E{Zg(WTZ)}- E{g’(WTZ)}W,；
N
种盲源分离方法.ICA 的基本思想是：把一系列随 机变量用某些基函数表示出来，在此之前，假设这 些随机变量各成分之间是统计独立的或者尽可能
独立.
根据 ICA 算法思想，现在设有 N 个未知的源
信号 s,i=1～N，构成一个列向量 S=[sl,s2…sN].设 A 是一个 M×N 维矩阵，一般称为混合矩阵，设 X=
Σ （7）进行正交化 WP=WP- （WP.WT)WP； P=1
（8）标准化 WP，即 WP=WP/|WP|； （9）假如 WP 不收敛的话，返回第 6 步； （10）令 p=p+1，如果 P≤m，返回第 5 步. 2 基于 ICA 的图像特征提取 图像特征提取领域所一直以来关注的问题就 是如何能够从纷繁复杂的表象中提取出事物的本 质特征.长期以来，如何用较少的数据精炼地表示 事物之间的区别是特征提取问题的焦点所在，这 样，从某种程度上来说，特征提取问题就归结为如 何降低特征的维数问题. 2.1 基于 ICA 的图像特征提取基本思想 本文在基于内容的图像特征提取中运用了独
（淮南师范学院 计算机与信息工程系，安徽 淮南 232001）
摘 要：本文主要专注于独立成分分析（Independent Component Analysis 简称 ICA）图像识别方面的 算法研究，提出了混合信号的维数可以小于分离的独立成分的维数的过饱和算法，而且保证了相当的精 度.在实际应用中意味着使用少量的信号采集设备就可以得到目标对象的本质特征，这在很大程度上降低 了信号处理的成本，扩展了 ICA 的应用领域.
- 16 -
1.2 ICA 模型估计算法 本文采用互信息最大化的算法，令 x 是 n 维随
机变量，W 是 n×n 可逆矩阵，U=Wx,且 Y=f(U)是一 个 n 维随机向量，代表 n 个神经元的输出.f=(f1,f2,… fn),f 中的每一个元素都是一个可逆的压缩函数，从 而把实属映射到[0,1]之间，此处用的变换函数是：
独立成分分析旨在对独立信源产生且经过未 知混合的观测信号进行盲分离，从而重现原独立信 源，其应用主要集中在盲源分离和特征提取两方 面.ICA 的目的是对任何 t，根据已知的 X(t)在 A 未 知的情况下求未知的 S(t).其线性模型表示如下：
1.1 独立成分分析的数学模型 独立成分分析(1CA)是近几年来发展起来的一
E[SST]=I
实际上 ICA 的目的是设置一个 N×N 维饭混
合矩阵 W=(wg)，X 经过 W 变换后得到 N 维输出向量 Y=[Y1,Y2,…,YM]T，即有
Y=WX=WAS
基金项目：安徽省高校优秀青年人才基金项目(2012SQR L177)；2012 年度安徽高校省级科学研究项目(KJ2012Z371)；淮南师范 学院自然科学研究项目(2011IK88)
第 28 卷 第 4 期（上） 2012 年 4 月
赤 峰 学 院 学 报（ 自 然 科 学 版 ） Journal of Chifeng University（Natural Science Edition）
Vol. 28 No. 4 Apr. 2012
基于独立成分分析的图像特征提取研究
解 萍， 王 伟
wk.baidu.comj=1
j=1
i=1～M
其中 αij 是 A 的第 i 行、j 列元素. 若 Sj 乘以任
何非零系数 ηi，而 A 的第 j 列各元素皆乘以 ηj-1，则
不管各 ηj-1 取何值，Xi 不变. 因此由 X 试图获得各
信号源 S 时存在尺度不确定性，在 ICA 中约定各信
号的均方差值为 1，即 E[Si2]=1,∨i，这时 S 的相关矩 阵是一个单位阵，即
立成分分析的方法，并针对图像检索中维数过高的
问题展开研究工作.提取图像底层特征当中的独立
特征并且去除特征当中的相关联特征，这个是 ICA
F1(u)=1/(1+e- u) 变量 U1…Un 是输入的线性变换，为了实现互 信息最大化，采用了梯度上升法，其梯度为 H(Y)关 于权重矩阵 W 的导数，权系数按下式进行学习：
△W∞塄wH(Y)wTw=(I+Y'UT)w 1.3 FastICA 算法
FastICA 算法利用负嫡来估计 ICA.本质上是一 种最小化估计分量互信息的神经网络方法，它利用 最大熵原理来近似负熵，并通过一个合适的非线性 函数使其达到最优.首先，对观测信号去均值，通过 判断成分之间是否独立来求取个成分之间的非高 斯性的最大值. 对去均值后的观测信号白化处理， 每次从观测信号中分离出一个独立分量，该算法采 用了定点迭代的优化算法，使得收敛更加快速、稳 健.此算法步骤可总结如下:
[x1,x2…xM,]T 是由 M 个可观察信号 s,i=1～M 构成 的列向量，且满足下列方程：
X＝AS
在 A 未知时，通过上式由已知的观测信号 X
来求未知的信号源 S 的问题就构成了 ICA 模型.由
于信号源 S 与混合矩阵 A 之积是关系变量 X，由上
式的展开可得到：
N
N
Σ Σ Xi= αijSj= （ηj-1αi）j （ηiSj)
关键词：独立成分分析；图像特征提取；FastICA 中图分类号：TP391 文献标识码：A 文章编号：1673- 260X（2012）04- 0016- 03
独立成分分析是近年来盲源分离技术发展来 的一种新的多维信号处理方法，在数据挖掘、特征 提取、神经网络等许多领域有广泛的应用.它为非 高斯数据找到一种线性变换，使得成分与成分之间 是统计独立的或者尽可能的独立.数字图像经过 ICA 处理，能够提取到能直接反映被研究对象本质 属性的独立成分特征量，作为分类器的输入向量， 不但能减少处理时间，而且非常有利于分类器达到 最优的性能，减少匹配的时间和错误率. 1 独立成分分析的基本理论
N
种盲源分离方法.ICA 的基本思想是：把一系列随 机变量用某些基函数表示出来，在此之前，假设这 些随机变量各成分之间是统计独立的或者尽可能
独立.
根据 ICA 算法思想，现在设有 N 个未知的源
信号 s,i=1～N，构成一个列向量 S=[sl,s2…sN].设 A 是一个 M×N 维矩阵，一般称为混合矩阵，设 X=
Σ （7）进行正交化 WP=WP- （WP.WT)WP； P=1
（8）标准化 WP，即 WP=WP/|WP|； （9）假如 WP 不收敛的话，返回第 6 步； （10）令 p=p+1，如果 P≤m，返回第 5 步. 2 基于 ICA 的图像特征提取 图像特征提取领域所一直以来关注的问题就 是如何能够从纷繁复杂的表象中提取出事物的本 质特征.长期以来，如何用较少的数据精炼地表示 事物之间的区别是特征提取问题的焦点所在，这 样，从某种程度上来说，特征提取问题就归结为如 何降低特征的维数问题. 2.1 基于 ICA 的图像特征提取基本思想 本文在基于内容的图像特征提取中运用了独
（淮南师范学院 计算机与信息工程系，安徽 淮南 232001）
摘 要：本文主要专注于独立成分分析（Independent Component Analysis 简称 ICA）图像识别方面的 算法研究，提出了混合信号的维数可以小于分离的独立成分的维数的过饱和算法，而且保证了相当的精 度.在实际应用中意味着使用少量的信号采集设备就可以得到目标对象的本质特征，这在很大程度上降低 了信号处理的成本，扩展了 ICA 的应用领域.
- 16 -
1.2 ICA 模型估计算法 本文采用互信息最大化的算法，令 x 是 n 维随
机变量，W 是 n×n 可逆矩阵，U=Wx,且 Y=f(U)是一 个 n 维随机向量，代表 n 个神经元的输出.f=(f1,f2,… fn),f 中的每一个元素都是一个可逆的压缩函数，从 而把实属映射到[0,1]之间，此处用的变换函数是：
独立成分分析旨在对独立信源产生且经过未 知混合的观测信号进行盲分离，从而重现原独立信 源，其应用主要集中在盲源分离和特征提取两方 面.ICA 的目的是对任何 t，根据已知的 X(t)在 A 未 知的情况下求未知的 S(t).其线性模型表示如下：
1.1 独立成分分析的数学模型 独立成分分析(1CA)是近几年来发展起来的一
E[SST]=I
实际上 ICA 的目的是设置一个 N×N 维饭混
合矩阵 W=(wg)，X 经过 W 变换后得到 N 维输出向量 Y=[Y1,Y2,…,YM]T，即有
Y=WX=WAS
基金项目：安徽省高校优秀青年人才基金项目(2012SQR L177)；2012 年度安徽高校省级科学研究项目(KJ2012Z371)；淮南师范 学院自然科学研究项目(2011IK88)
第 28 卷 第 4 期（上） 2012 年 4 月
赤 峰 学 院 学 报（ 自 然 科 学 版 ） Journal of Chifeng University（Natural Science Edition）
Vol. 28 No. 4 Apr. 2012
基于独立成分分析的图像特征提取研究
解 萍， 王 伟
wk.baidu.comj=1
j=1
i=1～M
其中 αij 是 A 的第 i 行、j 列元素. 若 Sj 乘以任
何非零系数 ηi，而 A 的第 j 列各元素皆乘以 ηj-1，则
不管各 ηj-1 取何值，Xi 不变. 因此由 X 试图获得各
信号源 S 时存在尺度不确定性，在 ICA 中约定各信
号的均方差值为 1，即 E[Si2]=1,∨i，这时 S 的相关矩 阵是一个单位阵，即
立成分分析的方法，并针对图像检索中维数过高的
问题展开研究工作.提取图像底层特征当中的独立
特征并且去除特征当中的相关联特征，这个是 ICA
F1(u)=1/(1+e- u) 变量 U1…Un 是输入的线性变换，为了实现互 信息最大化，采用了梯度上升法，其梯度为 H(Y)关 于权重矩阵 W 的导数，权系数按下式进行学习：
△W∞塄wH(Y)wTw=(I+Y'UT)w 1.3 FastICA 算法
FastICA 算法利用负嫡来估计 ICA.本质上是一 种最小化估计分量互信息的神经网络方法，它利用 最大熵原理来近似负熵，并通过一个合适的非线性 函数使其达到最优.首先，对观测信号去均值，通过 判断成分之间是否独立来求取个成分之间的非高 斯性的最大值. 对去均值后的观测信号白化处理， 每次从观测信号中分离出一个独立分量，该算法采 用了定点迭代的优化算法，使得收敛更加快速、稳 健.此算法步骤可总结如下:
[x1,x2…xM,]T 是由 M 个可观察信号 s,i=1～M 构成 的列向量，且满足下列方程：
X＝AS
在 A 未知时，通过上式由已知的观测信号 X
来求未知的信号源 S 的问题就构成了 ICA 模型.由
于信号源 S 与混合矩阵 A 之积是关系变量 X，由上
式的展开可得到：
N
N
Σ Σ Xi= αijSj= （ηj-1αi）j （ηiSj)
关键词：独立成分分析；图像特征提取；FastICA 中图分类号：TP391 文献标识码：A 文章编号：1673- 260X（2012）04- 0016- 03
独立成分分析是近年来盲源分离技术发展来 的一种新的多维信号处理方法，在数据挖掘、特征 提取、神经网络等许多领域有广泛的应用.它为非 高斯数据找到一种线性变换，使得成分与成分之间 是统计独立的或者尽可能的独立.数字图像经过 ICA 处理，能够提取到能直接反映被研究对象本质 属性的独立成分特征量，作为分类器的输入向量， 不但能减少处理时间，而且非常有利于分类器达到 最优的性能，减少匹配的时间和错误率. 1 独立成分分析的基本理论