人脸识别 多维尺度分析

合集下载

人脸识别技术的使用技巧及多角度检测方法

人脸识别技术的使用技巧及多角度检测方法

人脸识别技术的使用技巧及多角度检测方法摘要:人脸识别技术是一种可以通过计算机视觉系统自动检测和识别人脸的技术,已经在许多领域得到广泛应用。

本文将介绍人脸识别技术的基本原理,探讨其使用技巧,并介绍一些常用的多角度检测方法,以提高人脸识别的准确性和鲁棒性。

一、概述人脸识别技术是一项基于计算机视觉和模式识别的先进技术,通过对输入图像中的人脸进行特征提取和匹配,来实现人脸的自动识别和验证。

它被广泛应用于安防、人机交互、人脸表情分析、人脸属性分析等各个领域。

二、技巧1.图像预处理在进行人脸识别前,对图像进行预处理是非常重要的。

常见的预处理方法包括灰度化、直方图均衡化、高斯滤波等。

这些操作有助于提高图像的对比度和清晰度,为后续的特征提取和匹配提供更好的输入。

2.特征提取人脸识别的核心是提取图像中的特征,常用的特征提取方法包括主成分分析(PCA)、线性判别分析(LDA)、局部二值模式(LBP)等。

这些方法可以将人脸图像转化为具有代表性的特征向量,从而方便后续的匹配和比对。

3.模型训练与更新为了提高人脸识别的准确性,必须使用大量的人脸图像进行模型的训练。

同时,定期更新模型也是非常重要的,可以通过不断采集新的人脸图像,利用这些新数据来更新训练模型,以适应不断变化的环境和人脸特征。

4.人脸对齐人脸识别中的一个重要问题是不同角度下的人脸检测和对齐。

常见的方法包括基于特征点的对齐和基于纹理的对齐。

前者通过检测人脸关键点如眼睛、鼻子等特征点,来对齐人脸图像;后者利用纹理特征来进行对齐,提高人脸检测的准确性。

三、多角度检测方法多角度人脸检测是人脸识别中面临的一个重要问题。

对于输入的图像中可能包含多个人脸以及人脸的不同角度,我们需要采用一些方法来对其进行有效的检测和识别。

以下是几个常用的多角度检测方法:1.级联分类器级联分类器是一种基于Haar-like特征的检测方法,通过级联的方式对目标进行分类和检测。

该方法可以在保证较高准确性的同时,实现快速的人脸检测和识别。

基于多尺度局部二值模式的人脸识别技术研究

基于多尺度局部二值模式的人脸识别技术研究

基于多尺度局部二值模式的人脸识别技术研究人脸识别技术是目前计算机视觉领域研究的热点之一,其应用广泛,如安防领域、金融领域、智能家居等。

而基于多尺度局部二值模式的人脸识别技术是其中一种比较成熟的方法,本文将对其进行探讨和分析。

一、多尺度局部二值模式的基本原理多尺度局部二值模式(Multi-Scale Local Binary Pattern,MS-LBP)是一种基于局部的特征提取算法,在人脸识别中被广泛使用。

MS-LBP算法的基本原理是将局部块内像素与中心像素进行比较,若比中心像素亮度高则赋值为1,否则为0,这样就可以得到一个二进制编码。

再将局部块的二进制编码拼接起来,就可以得到整张图像的特征向量。

为了增加算法的鲁棒性和适应性,MS-LBP算法对局部块的大小和位置进行了灵活的调整,称之为多尺度和多位置。

这样做的好处是可以将局部特征的信息进行更全面的提取,从而提高模型的准确率。

二、多尺度局部二值模式的优点1. 可以有效地提取图像的局部特征对于人脸图像而言,不同的部位具有不同的特征,如眼睛、嘴巴等部位,这些信息对于人脸识别至关重要。

因此,使用局部特征提取算法可以有效地提取图像中的特征信息,提高人脸识别的准确率。

2. 算法简单易实现MS-LBP算法不需要大量的计算和存储,只需要进行局部块的比较和编码,所以算法相对简单,易于实现和应用。

3. 对噪声具有较好的鲁棒性在实际应用中,由于各种因素的干扰,常常会出现图像噪声的情况。

而MS-LBP算法具有一定的鲁棒性,可以在一定程度上减弱图像噪声的影响。

三、多尺度局部二值模式的应用研究1. 在人脸识别中的应用由于MS-LBP算法对于局部特征的提取较为全面,可以有效地提高人脸识别的准确率。

因此,该算法被广泛应用于人脸识别领域,如人脸识别门禁系统、手机解锁等。

2. 在其他领域的应用除了人脸识别,MS-LBP算法还可以应用于其他领域,如动态手势识别、纹理分类等。

四、多尺度局部二值模式的改进和优化虽然MS-LBP算法具有一定的优点和应用价值,但是其仍存在一些不足之处。

人脸识别技术的多视角检测与识别注意事项

人脸识别技术的多视角检测与识别注意事项

人脸识别技术的多视角检测与识别注意事项随着科技的不断进步,人脸识别技术正在逐渐应用于各个领域,如安全监控、手机解锁、身份验证等。

然而,人脸识别技术在不同视角下的检测和识别仍然存在一些挑战,需要注意一些事项来保证其准确性和可靠性。

本文将从多视角检测和识别两个方面,探讨人脸识别技术的注意事项。

一、多视角下的人脸检测注意事项在现实生活中,人们在不同情况下呈现出各种不同的面部表情和角度,因此,多视角下的人脸检测是人脸识别技术的一个重要问题。

为了提高人脸检测的准确性,以下几个注意事项需考虑。

首先,应使用具有足够大小和清晰度的图像。

清晰度低或图像太小的情况下,人脸检测的准确性将受到极大的影响。

为了避免这种情况,需要更高像素和更清晰的图像来进行人脸检测。

其次,多视角下的人脸检测需要使用具有较强鲁棒性的算法。

由于人脸在不同视角下的形状和特征会有所变化,传统的人脸检测算法可能无法在各种视角下获得准确的结果。

因此,需要借助于更复杂的算法,如深度学习和卷积神经网络等,来提高检测的鲁棒性。

另外,应考虑不同光照条件下的人脸检测。

光照是一个重要的因素,会对人脸的外观产生很大影响。

因此,在进行多视角人脸检测时,应尽量避免过于明亮或过于暗的光照条件,以获得更准确的检测结果。

最后,要注意多视角下的人脸检测与性别、种族以及年龄上的平衡。

一些研究表明,人脸识别技术在不同性别、种族和年龄群体中的准确性可能存在差异。

为了确保人脸识别技术的公平性和平衡性,需要进行针对不同群体的人脸检测测试和训练,以避免因差异而引起的不准确问题。

二、多视角下的人脸识别注意事项在进行多视角下的人脸识别时,我们需要考虑一些注意事项,以提高识别的准确性和可靠性。

首先,与人脸检测一样,人脸识别也需要使用高质量的图像数据。

清晰、高分辨率的图像有助于提取更准确的人脸特征并进行识别。

同时,应尽可能避免遮挡和模糊等问题,以避免影响识别结果。

其次,在进行多视角下的人脸识别时,需要考虑人脸在不同视角下的形状和特征变化。

人脸识别技术在多视角识别中的应用研究

人脸识别技术在多视角识别中的应用研究

人脸识别技术在多视角识别中的应用研究引言:人脸识别技术是数字图像处理与模式识别领域中的重要技术分支,通过识别和验证人脸图像中的个体身份信息。

多视角人脸识别是人脸识别技术的一个重要研究方向,它旨在解决在多个视角下进行人脸识别时的挑战。

随着多视角识别技术的不断发展和进步,人脸识别技术在安全监控、人机交互、社交网络等领域得到了广泛的应用。

本文将详细探讨人脸识别技术在多视角识别中的应用研究。

主体:1. 多视角人脸识别技术的基本原理多视角人脸识别技术通过采集和处理多个角度下的人脸图像,实现对多视角人脸的准确识别。

其基本原理是通过人脸检测和关键点定位、姿态估计和人脸重建等步骤,提取人脸特征,并利用特征匹配和分类算法进行人脸识别。

传统的多视角人脸识别技术主要依赖于手工设计的特征提取算法,如局部二值模式(LBP)、主成分分析(PCA)等,然而这些方法对于多视角下的人脸图像具有一定的局限性。

近年来,随着深度学习的兴起,卷积神经网络(CNN)等方法在多视角人脸识别中取得了显著的成果。

2. 多视角人脸识别技术的关键挑战多视角人脸识别技术的发展面临着一些关键挑战。

首先,不同视角下的人脸图像具有丰富的姿态变化,导致图像中的人脸部分存在形变和遮挡的问题;其次,光照变化引起的亮度和对比度的变化也会对多视角人脸识别的准确性产生负面影响;另外,不同摄像头的像素分辨率和成像参数差异也会影响多视角人脸识别的性能。

因此,解决这些挑战是多视角人脸识别技术研究的关键。

3. 多视角人脸识别技术的应用场景多视角人脸识别技术在各个领域具有广泛的应用价值。

首先,它在安全监控领域发挥着重要作用。

通过多角度的人脸识别技术,可以提高监控设备对不同角度下人脸的识别准确性,实现更精确的人脸检索和比对。

其次,多视角人脸识别技术在人机交互领域也有应用潜力。

通过多视角识别技术,可以实现人脸表情、眼部动作等非语言信息的识别和交互,提高交互系统的智能性和用户体验。

此外,多视角人脸识别技术在社交网络中的应用也越来越广泛,可以实现对多个角度下的人脸图像进行自动标记和分类,提高社交网络的人脸识别功能。

人脸识别技术的多尺度检测和跟踪算法改进方法

人脸识别技术的多尺度检测和跟踪算法改进方法

人脸识别技术的多尺度检测和跟踪算法改进方法人脸识别技术在当今社会得到了广泛的应用,从手机解锁到安防监控,都离不开这项技术的支持。

而人脸识别的核心技术之一就是多尺度检测和跟踪算法。

本文将探讨人脸识别技术中多尺度检测和跟踪算法的改进方法。

一、多尺度检测算法的改进多尺度检测算法是人脸识别中的关键环节,其目的是在不同尺度下准确地检测出人脸。

传统的多尺度检测算法存在一些问题,比如在低分辨率图像中容易漏检,而在高分辨率图像中容易误检。

为了解决这些问题,研究人员提出了一些改进方法。

首先,可以使用级联分类器来提高多尺度检测算法的准确性。

级联分类器是一种由多个分类器组成的级联结构,每个分类器都有自己的阈值。

在检测过程中,先使用第一个分类器进行初步筛选,将候选区域传递给下一个分类器进行进一步检测。

通过这种级联结构,可以减少误检率,提高检测准确性。

其次,可以引入图像金字塔的概念来改进多尺度检测算法。

图像金字塔是一种多尺度表示方法,通过对原始图像进行多次降采样或上采样得到不同尺度的图像。

在检测过程中,可以使用图像金字塔来生成一系列不同尺度的图像,然后对每个尺度的图像进行检测。

通过这种方法,可以在不同尺度下全面检测人脸,提高检测的全面性和准确性。

二、跟踪算法的改进跟踪算法是人脸识别中的另一个关键环节,其目的是实时准确地跟踪人脸的位置和姿态。

传统的跟踪算法存在一些问题,比如在人脸快速移动或遮挡的情况下容易失效。

为了解决这些问题,研究人员提出了一些改进方法。

首先,可以使用卡尔曼滤波器来改进跟踪算法。

卡尔曼滤波器是一种递归滤波器,可以根据当前观测值和预测模型来估计目标的状态。

在跟踪过程中,可以使用卡尔曼滤波器来预测目标的位置和姿态,然后根据观测值进行修正。

通过这种方法,可以提高跟踪的准确性和鲁棒性。

其次,可以引入深度学习的方法来改进跟踪算法。

深度学习是一种机器学习的方法,可以通过大量的数据来训练神经网络,从而实现对目标的自动学习和识别。

人脸识别多维尺度分析

人脸识别多维尺度分析
Isomap算法作为常用的流形学习算法,在低维空间中可以有效保持高维空间数据的非线性结构,但在小样本情况时,当每类样本数小于构造邻域图数值尼时,计算得出的各个点的最短距离就不能正确得出测地线距离了。本文使用Gabor’s波对预处理后的图像进行5个中心频率、8个方向的滤波,输出40副滤波图像。但在增加了样本数量的同时,也对系统的硬件要求提出了更高的要求。为了进一步降低计算量,本文提出使用Gabor特征融合方法,很好地解决了这一问题。将每个中心频率的不同方向滤波结果进行相加,得到一个该中心频率的滤波图像。图l给出对ORL数据库中的人脸经过Gabor~,波后相同中心频率的8个不同方向的滤波结果相加后的图像。通过实验结果的比较表明,使用该方法对一副图像计算得出的5副图像和将一副图像的40副Gabor滤波图像作为Isomap算法的输入集合,其识别率相同,但输入量是原方法的 ,减小TIsomap算法的计算量,提高了算法的识别性能。对人脸进行预处理后,进行Gabor特征融合,再采用Isomap算法对数据进行维数约减,低维空间中保持各个样本点的非线性结构;支持向量机在处理小样本问题有较好的识别性能,因此使用支持向量机作为分类器进一步提高算法识别率。
其中, 为白化矩阵, 为白化向量。
利用主分量分析,我们通过计算样本向量得到一个变换
其中 和 分别代表协方差矩阵 的特征向量矩阵和特征值矩阵。可以证明,线性变换 满足白化变换的要求。通过正交变换,可以保证 。因此,协方差矩阵:
再将 式代入 ,且令 ,有
ﻩ由于线性变换 连接的是两个白色随机矢量 和 ,可以得出 一定是一个正交变换。如果把上式中的 看作新的观测信号,那么可以说,白化使原来的混合矩阵 简化成一个新的正交矩阵 。证明也是简单的:
二.独立分量分析
ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中,各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算法,Infomax算法,最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。本实验主要讨论FastICA算法。

基于多尺度SVD的HMM的人脸识别方法

基于多尺度SVD的HMM的人脸识别方法

[ 9 - 1 1 1 等 。E i g e n f a c e s 方法 『 5 _ 6 】 , 使用 了主成分分 析 ( P C A) ,
将 人 脸 图 片 映射 的 一 个 低 维 到 空 间 .进 行 降 维 以 达 到 提 高 识 别 速 度但 是 又尽 量 不 降 低 识 别 正 确 率 的 目的
, …

每 个 子 块 被 称 为 第 2尺度 的 子块 , 然 后 再 将 第
图像 的 S V D特征 的稳定 性 、 旋转不 变性 、 镜 像变
换 不 变性 等性 质 已被 洪 子 泉 、 杨静宇【 5 1 证 明 。这 些 特 性使得 S V D特征光照 、 图像大小 、 人 脸偏转 、 姿 态 等 变
中的身份验证 等 常见的人脸识别方法有基 于几何特
征 匹配 嘲 , E i g e n f a c e s c s  ̄. 神 经 网 络【 7 和 隐 马 尔 科 夫 模 型
化不敏感 .能在很 大程度上减少这些 因素对 人脸识别
正确 率的影响 。因此 。 使 用多尺 度的 S V D作 为 人 脸 图 像 特 征 提 取 的方 法 优 点 突 出
该 方法在人 脸朝 向 问题 上 的鲁棒性 不高 S a m a r i a和 F a l l s i d e [ 1 1 1 将 隐 马尔科 夫模 型 ( H M M) 方 法用 于人脸 识
关键词 :
奇异值分解 ; 人脸识别 ;隐马尔科夫模型 ; 多尺度
0 引言
人脸识 别 ( F a c e R e c o g n i t i o n ) 就 是 使 用 计 算 机 技 术 对 人 脸 图像 进 行 分 析 然 后 鉴 别 身 份 技 术 主 要 目的 是 从 人 脸 图像 中抽 取 人 脸 的 个 性 化 特 征 .并 以此 来 识 别

基于多尺度几何分析的人脸特征提取

基于多尺度几何分析的人脸特征提取

河北工业大学城市学院毕业设计说明书作者:车宇洋学号:075523系:信息工程系专业:电子信息工程题目:基于多尺度几何分析的人脸特征提取技术的研究指导者:王宝珠教授评阅者:周亚同副教授2011 年 05 月 26日目次1绪论 (1)2 人脸特征技术的研究 (1)2.1 人脸特征提取技术现状 (1)2.2 研究的目的 (3)2.3 基于PCA算法的人脸特征提取 (4)2.4 基于小波变换的人脸特征提取 (6)3 多尺度几何分析方法的研究 (6)3.1 小波变换的研究 (7)3.2 多尺度几何分析方法总述 (7)3.3 轮廓波(contourlet)变换 (9)3.4 轮廓波(contourlet)变换用于特征提取 (12)4 基于contourlet变换人脸特征提取技术的研究 (16)4.1人脸图像预处理 (17)4.2 人脸图像contourlet变换 (20)4.3 contourlet变换的低频子带特征 (22)4.4 contourlet变换的高频子带特征 (24)4.5测试结果与分析 (25)结论 (29)参考文献 (31)致谢 (32)1 绪论随着经济的飞速增长和科技的迅猛发展,全球步入了高科技信息化的新时代。

人们在快节奏高效率的信息生活中,对于商业机密和公共安全的要求也日益提高,金融、建筑、通信、军队、政治等越来越多的领域对于安防的要求日益严格,通过门禁设置、监控设置等一系列措施加强身份认证,以增强保密性和安全性。

身份认证可通过指纹识别、语音识别以及人脸识别实现[1]。

然而,指纹识别需要直接通过人当事人身体信息的采集,信息采集过程复杂,所以应用领域有限。

语音识别则受噪声干扰很大,提取的语音信息容易失真,以致无法达到的身份认证的目的。

相较于前两种方法,人脸识别更为直观快捷,因此应用更加广泛。

目前人脸识别技术被广泛应用于公共安全、信息安全、出入境管理、刑事侦破、门禁监控、人机交互等领域,成为身份证件的检查与确认、视频监控与识别的重要手段。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

基于等距算法模式识别的学习与研究一、Isomap 算法实现的基本步骤1.等距离映射(Isomap)该算法是一种全局非线性优化算法。

Isomap 算法以多维尺度变换( fmult mensional scaling ,简称MDS)为基础,利用数据点间的测地线距离来替代MDS 中的欧氏距离,力求保持数据的内在流形结构,最大限度的保持数据点问在低维空间中的欧氏距离误差最小,最终实现数据点的低维空间的表示。

Isomap 算法的目的是将高维空间 n R 中的数据集合},,,{21N x x x X =映射到低维流形空间)(D d R d <<中,得到低维嵌人数据集合:},,,{Y 21N y y y =2.具体算法步骤如下:步骤1:计算样本点i x 的邻域点集(取欧氏距离最近的个近邻点),构造邻域图。

步骤2:计算测地线距离。

根据邻域图,使用计算样本点间的最短距离),(j i c x x d ,近似看作为两点间的测地线距离),(j i M x x d 。

步骤3:使用MDS 对最短距离矩阵c D 。

重构d 维嵌入。

,2)()(N I I I D N I I I D T N N G T N N c ---=)(τ,令321λλλ≥≥≥ 是矩阵)(c D τ的前d 个最大的特征值,d v νν,,,21 为对应的d 个特征向量,则d 维嵌入坐标为:Nd N N d y y y Y ⨯⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡⨯=νλνλνλ111121],,,[ Isomap 算法作为常用的流形学习算法,在低维空间中可以有效保持高维空间数据的非线性结构,但在小样本情况时,当每类样本数小于构造邻域图数值尼时,计算得出的各个点的最短距离就不能正确得出测地线距离了。

本文使用Gabor’s 波对预处理后的图像进行5个中心频率、8个方向的滤波,输出40副滤波图像。

但在增加了样本数量的同时,也对系统的硬件要求提出了更高的要求。

为了进一步降低计算量,本文提出使用Gabor 特征融合方法,很好地解决了这一问题。

将每个中心频率的不同方向滤波结果进行相加,得到一个该中心频率的滤波图像。

图l 给出对ORL 数据库中的人脸经过Gabor~,波后相同中心频率的8个不同方向的滤波结果相加后的图像。

通过实验结果的比较表明,使用该方法对一副图像计算得出的5副图像和将一副图像的40副Gabor 滤波图像作为Isomap算法的输入集合,其识别率相同,但输入量是原方法的1,减小TIsomap 算法的计算量,提高了算法的识别性能。

对人脸进行预处理后,进行Gabor 特征融合,再采用Isomap 算法对数据进行维数约减,低维空间中保持各个样本点的非线性结构;支持向量机在处理小样本问题有较好的识别性能,因此使用支持向量机作为分类器进一步提高算法识别率。

二.独立分量分析ICA 算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。

基于信息论的方法研究中,各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。

如FastICA 算法, Infomax 算法,最大似然估计算法等。

基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。

本实验主要讨论FastICA 算法。

一般情况下,所获得的数据都具有相关性,所以通常都要求对数据进行初步的白化或球化处理,因为白化处理可去除各观测信号之间的相关性,从而简化了后续独立分量的提取过程,而且,通常情况下,数据进行白化处理与不对数据进行白化处理相比,算法的收敛性较好。

若一零均值的随机向量()T MZ Z Z ,,1 =满足{}I ZZ E T =,其中:I 为单位矩阵,我们称这个向量为白化向量。

白化的本质在于去相关,这同主分量分析的目标是一样的。

在ICA中,对于为零均值的独立源信号()()()[]TN t S t S t S ,...,1=,有:{}{}{}j i S E S E S S E j i j i ≠==当,0,且协方差矩阵是单位阵()I S =cov ,因此,源信号()t S 是白色的。

对观测信号()t X ,我们应该寻找一个线性变换,使()t X 投影到新的子空间后变成白化向量,即:()()t X W t Z 0= 其中,0W 为白化矩阵,Z 为白化向量。

利用主分量分析,我们通过计算样本向量得到一个变换T U W 2/10-Λ=其中U 和Λ分别代表协方差矩阵X C 的特征向量矩阵和特征值矩阵。

可以证明,线性变换0W 满足白化变换的要求。

通过正交变换,可以保证I UU U U T T ==。

因此,协方差矩阵:{}{}{}I U XX E U U XX U E ZZ E T T T T T =ΛΛΛ=ΛΛ=ΛΛ=------2/12/12/12/12/12/1再将()()t AS t X =式代入()()t X W t Z 0=,且令A A W ~0=,有()()()t S A t AS W t Z ~0==由于线性变换A ~连接的是两个白色随机矢量()t Z 和()t S ,可以得出A ~一定是一个正交变换。

如果把上式中的()t Z 看作新的观测信号,那么可以说,白化使原来的混合矩阵A 简化成一个新的正交矩阵A ~。

证明也是简单的: {}{}{}I A A A SS E A A SSA E ZZE T T T T TT====~~~~~~其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。

在多维情况下,混合矩阵A 是N N ⨯的,白化后新的混合矩阵A ~由于是正交矩阵,其自由度降为()2/1-⨯N N ,所以说白化使得ICA 问题的工作量几乎减少了一半。

白化这种常规的方法作为ICA 的预处理可以有效地降低问题的复杂度,而且算法简单,用传统的PCA 就可完成。

用PCA 对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵,减少了ICA 的工作量。

此外,PCA 本身具有降维功能,当观测信号的个数大于源信号个数时,经过白化可以自动将观测信号数目降到与源信号维数相同。

FastICA 算法,又称固定点(Fixed-Point)算法,是由芬兰赫尔辛基大学Hyvärinen 等人提出来的。

是一种快速寻优迭代算法,与普通的神经网络算法不同的是这种算法采用了批处理的方式,即在每一步迭代中有大量的样本数据参与运算。

但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。

FastICA 算法有基于峭度、基于似然最大、基于负熵最大等形式,这里,我们介绍基于负熵最大的FastICA 算法。

它以负熵最大作为一个搜寻方向,可以实现顺序地提取独立源,充分体现了投影追踪(Projection Pursuit )这种传统线性变换的思想。

此外,该算法采用了定点迭代的优化算法,使得收敛更加快速、稳健。

因为FastICA 算法以负熵最大作为一个搜寻方向,因此先讨论一下负熵判决准则。

由信息论理论可知:在所有等方差的随机变量中,高斯变量的熵最大,因而我们可以利用熵来度量非高斯性,常用熵的修正形式,即负熵。

根据中心极限定理,若一随机变量X 由许多相互独立的随机变量()N i S i ,...3,2,1=之和组成,只要i S 具有有限的均值和方差,则不论其为何种分布,随机变量X 较i S 更接近高斯分布。

换言之,i S 较X 的非高斯性更强。

因此,在分离过程中,可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性,当非高斯性度量达到最大时,则表明已完成对各独立分量的分离。

负熵的定义:()()()Y H Y H Y N G a u ss g -= 式中,Gauss Y 是一与Y 具有相同方差的高斯随机变量,()⋅H 为随机变量的微分熵 ()()()ξξξd p p Y H Y Y lg ⎰-=根据信息理论,在具有相同方差的随机变量中,高斯分布的随机变量具有最大的微分熵。

当Y 具有高斯分布时,()0=Y N g ;Y 的非高斯性越强,其微分熵越小,()Y N g 值越大,所以()Y N g 可以作为随机变量Y 非高斯性的测度。

由于根据式(3.6)计算微分熵需要知道Y 的概率密度分布函数,这显然不切实际,于是采用如下近似公式:()()[]()[]{}2Gauss g Y g E Y g E Y N -=其中,[]⋅E 为均值运算;()⋅g 为非线性函数,可取())tanh(11y a y g =,或()()2/e x p 22y y y g -=或()33y y g =等非线性函数,这里,211≤≤a ,通常我们取11=a 。

快速ICA 学习规则是找一个方向以便()X W Y X W TT=具有最大的非高斯性。

这里,非高斯性用式(3.7)给出的负熵)(X W N Tg 的近似值来度量,X W T的方差约束为1,对于白化数据而言,这等于约束W 的范数为1。

FastICA 算法的推导如下。

首先,X W T的负熵的最大近似值能通过对(){}XW G E T进行优化来获得。

根据Kuhn-Tucker 条件,在(){}122==WXW E T 的约束下,(){}X W G E T 的最优值能在满足下式的点上获得。

(){}0=+W X W Xg E Tβ 这里,β是一个恒定值, (){}X W Xg W E TT00=β,0W 是优化后的W 值。

下面我们利用牛顿迭代法解方程(3.8)。

用F 表示式(3.8)左边的函数,可得F 的雅可比矩阵()W JF 如下:()(){}I X W g XX E W JF TTβ-='为了简化矩阵的求逆,可以近似为(3.9)式的第一项。

由于数据被球化,{}I XXE T=,所以,(){}{}(){}(){}I X W g E X W g E XX E XW g XX E TTTTT'''=⋅≈。

因而雅可比矩阵变成了对角阵,并且能比较容易地求逆。

因而可以得到下面的近似牛顿迭代公式:(){}[](){}[]***=---=WW W X W g E W X W Xg E W W T T /'/ββ这里,*W 是W 的新值,(){}X W Xg W E TT=β,规格化能提高解的稳定性。

简化后就可以得到FastICA 算法的迭代公式:(){}(){}***=-=WW W W X W g E X W Xg E W T T /'实践中,FastICA 算法中用的期望必须用它们的估计值代替。

当然最好的估计是相应的样本平均。

理想情况下,所有的有效数据都应该参与计算,但这会降低计算速度。

所以通常用一部分样本的平均来估计,样本数目的多少对最后估计的精确度有很大影响。

相关文档
最新文档