核主元分析特征提取法的研究
基于核主成分分析特征提取及支持向量机的人脸识别应用研究
基于核主成分分析特征提取及支持向量机的人脸识别应用研究一、综述近年来，随着计算机技术的发展和人类对信息安全需求的日益增长，人脸识别作为一种具有广泛应用前景的技术，得到了广泛关注。
传统的面部识别方法面临着诸多挑战，例如在复杂环境下的人脸捕捉、处理以及识别准确性等问题。
为了克服这些问题，研究者们将目光投向了更为高效的特征提取算法和支持向量机（SVM）的分类器。
核主成分分析（Kernel PCA, KDE）是一种重要的非线性特征提取方法。
它通过对原始高维数据映射到低维空间，并在此空间中求取主成分，从而有效地减少数据的维度，同时保留数据中的主要信息。
KDE 在人脸识别领域展现出了良好的性能，为解决非线性问题提供了新的思路。
支持向量机（SVM）作为另一种重要的监督学习算法，在模式分类和回归分析等领域取得了显著的成果。
相较于传统方法，SVM 通过最大化间隔原则，有效地提高了分类器的泛化能力。
在人脸识别领域，SVM 可以克服特征维度高、分类困难等问题，从而进一步提高识别的准确率和鲁棒性。
将核主成分分析和支持向量机相结合用于人脸识别的研究逐渐受到关注。
这种结合充分利用了两者的优势，提高了特征提取与分类的效率。
本文将对相关研究进行综述，介绍 KPCA 和 SVM 在人脸识别中的应用进展，分析其在实际场景中的优缺点，为后续的研究提供参考。
1. 人脸识别的研究背景和意义在信息时代的浪潮下，人脸识别技术以其捕捉便捷、操作简便的特点，逐渐成为了网络安全领域中具有重要价值的身份验证手段。
随着人们生活节奏的不断加快，对安全和便捷性的需求也日益提升，人脸识别技术在金融、医疗、教育等多个行业的应用越来越广泛。
在此背景下，研究如何通过精确的身份识别技术来维护网络空间安全，已成为当前亟待解决的问题。
人脸识别技术的研究背景源于图像处理与模式识别领域的深层次理论——主成分分析（PCA）。
作为一种广泛应用的特征提取方法，PCA能有效减少数据集中的冗余信息，并将高维数据映射至低维空间，从而简化数据结构，提升数据分析的效率与准确性。
核函数主元分析及其在故障特征提取中的应用
程 中 ， 了使 诊 断准确 可靠 ， 于测试 信 号总希 望 通 为 对
过 预处 理获 得尽 可能 多 的特征 参数 。 但是 ， 当太 多 的 特 征输 入分 类器 时 ， 引起 训练 过程 耗时 费工 ， 至 会 甚 妨 碍训 练 的收敛 性 ， 最终 影响 分类 精度 。因此 ， 从 要 故 障特 征集 中提 取对 状 态 敏感 的特 征 子集 ， 一 工 这 作就 是特征 提 取 。 特征 提取 方法 有多 种 。主元 分析 （ Ｃ 是 最 为 Ｐ Ａ） 常用 的特 征 提取 方 法 ［ ， ２ 它依 据 输 入 变 量 的线 性 变 ］ 换， 由输 入 变 量互 相 关 矩 阵 的 主要特 征 值 的大 小来 确定 坐标 变换 和 变 量 压缩 ， 目的是在 数 据 空 间 中 其
本上 解 决非 线性 问题 。
基 于核 函数 的 主元 分 析 （ Ｃ ＫＰ Ａ） 法 是 方
．
国 防 预 研 基 金 资 助 项 目。 收 稿 日期 ：０ ６０ —３ 修 改 稿 收 到 日期 ：０ ６０ —１ ２ ０ —４０ ； ２０ —５３ 。
维普资讯
维普资讯
第２ ７卷第 １ 期
２０ 年 ３月 ０７
振 动 、 试 与诊 断 测
Ｊ ｕ ｎ ｌｏ ｂ ａｉ ｎ。 ａ ｕ ｅ ｎ ｏ ｒ ａ ｆＶｉ ｒ ｔ ｏ Ｍｅ ｓ ｒ ｍｅ ｔ＆ Ｄｉｇ ｏ ｉ ａ ｎ ｓｓ
Ｖ０ ． ７ Ｎｏ １ １２ ．
找 出一 组 ｍ 个 正交 向量 。 它们最 大 可能地 表示 数据
方差 ， 以便 将 数 据从 原 始 的 ，维 空 间 映 射 到这 组 正 ｚ
基于核主成分分析的铁谱磨粒特征提取方法研究
ｐ ｒｍｅｅ ｎ ｏ ｌ ｅ ｒｒｌｔ ｎ ｈ ｐ ａ ｎ ｅ ｅ ｐ ｒ ｍｅｅｓ Ｐ Ａ ｂ ｓ ｄ ｍｅ ｏ ｒ ｓｎ ｅ ａａ ｔｒ ａ ｄ ｎ ｎｉ ａ ｅａ ｏ ｓ ｉ ｍｏ ｇ ｔ ｓ ａａ ｔｒ ，ａ Ｋ Ｃ － ａｅ ｔ ｄ ｉ ｐ ｅ ｔｄ．Ｂ ｓｄ ｏ ｅ ｄ ｔｉ ｔ ｄ ｃｉｎ ｏ ｎ ｉ ｈ ｈ ｓ ｅ ａ ｅ ｎ ｔ ｅａｌ ｉ ｒ ｕ ｔ ｈ ｄ ｅ ｎｏ ｏ ｆ Ｋ Ｃ ａｇ ｒ ｈ ，ａ ｒ ａ ａｅ ｗ ｓｓｕ ｉｄ ｆｒ山ｅ ｐ ｌ ｅ ｏ ｏ ｓｒ ｃｉ ｂ ｓａ ｔｍａ ｃ ｒｃ ｇ ｉ ｏ ｕ －ｙ ｔｍ ｈｃ ａ ｅ ｓ ｒｅ Ｐ Ａ ｌｏ ｔｍ ｉ ｅ ｌｃ ｓ ａ ｔ ｄｅ ０ ｕ ０ ｃ ｎ ｔ ｔ ａ ｄ ｒ ｕｏ ｔ ｅ ｏ ｎｔ ｎ ｓｂ ｓ ｓ ｓ ｆ ｕ ｎ ｇ ｅ ｉ ｉ ｉ ｅ ｗ ｈＣ ｂ ｖ ｉ ｎ ｅ ｄ
维普资讯
第２ ９卷第 ２期
国 防 科 技 大 学 学 报 ＪＵ Ｎ ＬＯ ＡＩＮ ＬＵ ＩＥ Ｓ ＹＯ ＥＥ Ｓ Ｅ Ｈ Ｏ Ｏ Ｙ Ｏ Ｒ Ａ ＦＮＴＯ Ａ ＮＶ ＲＩ ＦＤ Ｆ ＮＥＴＣ Ｎ Ｌ Ｇ Ｔ
Ｖ １ ９Ｎ ． ０ ｏ． ｏ２２ ７ ２ ０
性， 因此， 去除参数问的相关性和降低磨粒参数维数有助于提高识别准确率和减少识别工作量。文献 ［］ 出采用 多元 统计 分析 中的主成 分分 析 （ｒ ｃ ａ Ｃｍ ｏｅｔＡ ａ ｓ ，Ｃ 进 行 铁谱 的磨粒 识 别 ， １提 Ｐｉ ｉ ｌ ｏ ｐｎｎ ｎｌ ｉ Ｐ Ａ） ｎｐ ｓ ｙｓ 取 得 一 定效果 ， 为动力装 置状 态识 别 与故 障诊 断提 供 了一 种有 效 的特 征选 择 与特 征 提取 方法 。但 Ｐ Ａ方 Ｃ
基于ReliefF算法的核主成分特征提取
技 术 与 市 场
第 ｌ 卷第 ８ ２１ 年 ９ 期 ０２
技 术 研 发
基 于 Ｒ ｌ ｆ 法 的核 主成 分 特 征 提 取 ｅｅ ｉ Ｆ算
孙雅妮 ， 陈新 华
（ 四川信 息职 业技 术 学 院 ， 四川 广元 ６８ １） ２０７
摘 要 ： 侵 检 测 中特 征 选 择 和 特 征 提 取 是 解 决 特 征 降维 的 方 法之 一 。 采 用基 于 Ｒ ｌｆ 法的 核 主 成 分 方 法 解 决 特 征 入 ｅｅ ｉＦ算
０． ２ ８ ０２４
Ｏ． ２ １ Ｏ ００
０． ８ ５ ０３ ｌ
０． ９ ２ Ｏ６ ３
３ ４
３ ５
０． ｏ ｏ ００１
０． ０ ｏ ００ ０
０Ｏ ０２ ． ０ １
Ｏ． Ｏ ｏ ００ ｏ
１ ５
０Ｏ６ ２ ．１５
０． ５ ６ Ｏ２ ８
３ ６
０． （ ｏ ｏ） Ｏ ０
从和 Ｒ同类的样 本集 中找 出样本 № 的 ｋ 近邻 样本 （ ｅｒｓ ｉ 个 ｎａｅ ｔ ｈｓ ， ｉ） 从每个 Ｒ的不 同类 的样本 中找 出 ｋ 近邻 样本 （ ｅｒ ｔ ｔ 个 ｎａｅ ｓ
粗糙核主元分析方法及其在故障特征提取中的应用
粗糙核主元分析方法及其在故障特征提取中的应用胡金海;谢寿生;侯胜利;汪诚;杨帆【期刊名称】《振动与冲击》【年(卷),期】2008(027)003【摘要】将粗糙集理论的属性约简与核主元分析方法结合起来,提出一种基于粗糙核主元分析的故障特征提取方法.该方法首先采用粗糙集理论的属性约简删除与分类无关或关系不大的特征,降低输入特征维数,排除干扰特征的影响,减小了特征提取计算量;然后再采用核主元分析方法进一步提取非线性特征;最后将该方法应用于轴承故障特征提取及故障识别中.应用结果表明,所提出的粗糙核主元分析方法(RKPCA)与传统的KPCA、PCA方法相比,使整个样本集的可分性变大,提高了分类正确率;同时还有效地降低了输入特征维数,提高了分类效率;并且对分类器具有较强的适应性和鲁棒性.【总页数】6页(P50-54,59)【作者】胡金海;谢寿生;侯胜利;汪诚;杨帆【作者单位】空军工程大学,工程学院,西安,710038;空军工程大学,工程学院,西安,710038;徐州空军学院,江苏,徐州,221006;空军工程大学,工程学院,西安,710038;空军工程大学,工程学院,西安,710038【正文语种】中文【中图分类】V263.6【相关文献】1.粗糙主成分分析在齿轮故障特征提取中的应用 [J], 肖健华;吴今培;樊可清;杨叔子2.核参数判别选择方法在核主元分析中的应用 [J], 张成;李娜;李元;逄玉俊3.局部倒频谱编辑方法及其在齿轮箱微弱轴承故障特征提取中的应用 [J], 张西宁; 周融通; 郭清林; 张雯雯4.RS-LOD方法及其在旋转机械故障特征提取中的应用 [J], 牛晓瑞;张亢;陈向民;廖力达;徐鼎杰5.n-FFT压缩感知降维智能方法及其在齿轮系统故障特征提取与分类中应用研究[J], 陈晓;黄传金因版权原因，仅展示原文概要，查看原文内容请购买。
基于ReliefF算法的核主成分特征提取
基于ReliefF算法的核主成分特征提取摘要：入侵检测中特征选择和特征提取是解决特征降维的方法之一。
本文采用基于relieff算法的核主成分方法解决特征降维问题，先采用relieff算法去除原始特征中与分类不相关的特征，再采用核主成分分析法进行特征提取。
实验数据表明：将41个特征变量降维成9个主成分，大大减轻了后续的分类器的工作量，同时也有助于提高分类器的分类精度。
关键词：特征选择 relieff算法 kpca 特征提取为了能获得理想的入侵检测效果，需要在两个方面进行努力：一是建造一个好的分类器，二是寻找对问题的一个好的表示，即选用的输入特征能为分类器提供最有用的信息。
对于前者，人们尝试利用各种基于不同原理的方法来检测入侵。
对于后者，一般有两种方法从原始的输入特征中获得问题更好的表达：特征选择和特征提取。
1、特征选择和特征提取技术采用模式识别方法进行入侵检测首先要解决特征降维问题。
现存的特征降维主要采用特征选择和特征再构造(也就是特征提取)两种方法。
特征选择是模式识别领域的重要问题。
在一个学习算法通过训练样本对未知样本进行预测之前，必须决定哪些特征应该采用，哪些特征应该忽略。
特征选择已广泛应用到文本分类、图像检索、入侵检测和基因分析等方面。
特征提取是提升分类器性能的另一类方法。
它通过对高维的输入特征进行变换从而获得新的低维特征。
入侵检测系统中特征的选择和提取如图1所示。
其中不相关的特征是指那些与分类过程没有关系的特征。
去不相关特征本文采用relieff算法。
特征提取本文采用核主成分分析(kpca)方法。
2、relieff算法及其实现kira等1992年提出了relief算法。
该算法仅适用于训练样本是两类的情况。
kononenko[31]扩展了relief算法得到relieff算法，relieff则可以应用于多类样本情况。
relieff算法在处理多类问题时，不是从所有不同类样本集合中统一选择最近邻样本，而是从每个不同类别的样本集合中选择最近邻样本，并且不是选择一个最近邻样本，而是选择k个最近邻样本。
一种基于核主元分析的话务量特征提取方法
一种基于核主元分析的话务量特征提取方法doi:10.3969/j.issn.1001-3695.2010.06.055Method of nonlinear character extraction in communication traffic based on KPCAZHONG Bingxiang, LI Taifu, WANG Debiao, SU Yingying (College of Electronic Information Engineering, Chongqing University of Science & Technology, Chongqing 401331, China)Abstract:In view of the communication traffic feature, this paper presented a method of nonlinear character extraction based on kernel function principal component analysis(KPCA). Nonlinear character extracted by KPCA reflectd the complex relationship between original input and output data and simplified the array dimension of input data. By comparing simulation results, the prediction model based on KPCARBFNN has better ability to deal with nonlinear data than that prediction model based on PCARBFNN. The experimental results show that this method is very effective.Key words:communication traffic; characterextraction; kernel function; principal component analysis; RBFNN0 引言话务量预测,是指通过分析通信网话务量的历史数据统计规律或相关因素,对未来网络可能出现的话务量进行估计和预期[1]。
国内外主成分分析特征提取研究现状
国内外主成分分析特征提取研究现状我国经过近十年来的发展,运用主成分分析的方法对高光谱遥感矿物信息特征提取已经取得了很大进展。
航空遥感中心高光谱遥感课题组对这方面进行了理论、技术方法以及规模化应用示范研究,取得了丰硕成果,取得了良好的经济与社会效益，申请了多项发明专利。
环境污染问题已经成为人们关注的焦点，为更好地监控治理污染，有必要对大气状况进行实时监测。
传统的湿式化学技术以及后续发展起来的气相色谱法、质谱和色谱联合技术等是以吸气取样后的实验分析为基础，不具备实时和连续监测能力。
近几年，运用主成分分析的光谱压缩特征提取方法对大气进行分析得出大气状况。
在国内还运用主成分分析的方法对人口、教育、地区的经济发展发面等方面研究，都取得了一定的成果。
在国外运用主成分分析的方法对医学，地质，人脸识别等领域。
在美国、英国等国家采用主成分分析的方法对氯吡格雷、肝素钠、肝素钙等低分子肝素相关产品的销售额数据进行处理，形成新的指标体系，而后应用BP神经网络的方法建立模型，评价模型的拟合能力。
在一些欧美国家用核主成分分析方法也就是主成分分析的改进算法，其采用非线性方法提取主成分，把核主成分分析应用到人脸识别中，利用核主成分分析方法选择合适的核函数在高维空间提取人脸图像的主成分，核主成分分析与传统主成分分析相比，可以得到更好的适合分类的特征，基于ORL人脸库，识别核主成分分析提取出的主成分的相关性系数。
实验结果表明,核主成分分析不仅实现了降维，而且能取得比传统主成分分析更好的识别性能，正确识别率为92.5%。
在日本运用主成分分析的方法对地质进行分析，从而来预测地震避免不必要的损失。
同时，主成分分析作为一种优秀的降维提取主要信息的手段，先后在海洋学、地质学、地球物理学、资源科学等地学分值中都得到了一定程度的应用。
该方法为地学的发展提供了有力工具。
基于主成分分析的特征提取方法研究毕业论文
毕业设计论文题目基于主成分分析的特征提取方法研究专业电子信息工程班级084 班姓名童佳威指导教师周扬讲师所在学院信息科技学院完成时间：2012 年 5 月承诺书我谨此郑重承诺：本毕业设计（论文）是本人在指导老师指导下独立撰写完成的。
凡涉及他人观点和材料，均依据著作规范作了注释。
如有抄袭或其它违反知识产权的情况，本人愿接受学校处分。
承诺人（签名）：年月日基于主成分分析的特征提取方法研究信息学院电子信息工程专业童佳威摘要：本文选以小麦粉的红外光谱检测数据为研究对象，运用主成分分析（PCA），建立用于预测未知样品性质或组成的分析模型。
近红外光Near Infrared 简称NIR光谱区7802526nm主要是由含氢基团的倍频和组频吸收峰组成，吸收强度弱灵敏度相对较低，吸收带较宽且重叠严重，考虑到它属于弱光谱信号分析技术，所得信息受到许多因素影响，且作为信息源的近红外光谱中有效信息率低等，所以需要有效的方法来消除影响或降噪等，即降低光谱数据的维数，用以建立校正模型并预测未知样品性质或组成。
目前使用的较多的建模方法有逐步回归法、主成分回归方法和偏最小二乘回归方法等等。
本实验采用主成分分析技术，建立NIR 定量分析的多元校正模型，并用该模型预测样品数据。
关键词：数据降维；主成分分析；近红外光谱；偏最小二乘法Extraction method based on principal component analysis of the characteristics Tongjiawei Electronic information Engineering College of Information Science and Technology Abstract:This article was selected infrared spectra of wheat flour test data for the study principalcomponent analysis PCA the establishment of the analytical model used to predict the nature orcomposition of unknown samples.Near infrared Near the Infrared referred to as NIR spectral region780 2526nm is the frequency absorption peak of the composition the absorption intensity of theweak sensitivity to relatively low absorption by hydrogen groups multiplier and groups with a wideoverlap seriously to consider to the it belongs to the weak spectral signal analysis technology theinformation obtained is influenced by many factors and effective information rate is low as thenear-infrared spectra of the sources of information so the need for effective ways to eliminate theimpact or noise reduction ie reducing the dimension of the spectral data number used to establish thecalibration model and predict the nature or composition of unknown samples.Modeling methodscurrently used by more stepwise regression principal component regression and partial least squaresregression method. In this study principal component analysis multivariate calibration model of NIRquantitative analysis sample data and the model predicted. Keywords: Data dimensionality reduction principal component analysis near-infraredspectroscopyPartial Least Squares 目录1 绪论................................................................................................................................. 1 1.1 高维数据降维的方法.............................................................................................. 1 1.2 常用降维、特征变换方法的应用.......................................................................... 2 1.3 研究的内容与意义.................................................................................................. 52 主成分分析方法 (6)2.1 主成分分析的基本原理 (6)2.2 主成分分析的数学模型 (8)2.3 主成分分析的几何意义 (9)2.4 主成分分析的数学实现过程 (113)主成分分析在光谱分解中的应用 (13)3.1 近红外光谱分析技术与化学计量的关系 (13)3.11 近红外光谱分析技术................................................................................... 13 3.12 化学计量学方法的概述............................................................................... 14 3.13 常用化学计量学方法................................................................................... 14 3.14 化学计量学方法在近红外光谱分析技术应用........................................... 16 3.2 光谱主成分回归方法介绍................................................................................... 16 3.3 光谱主成分得分（系数）与成分建模（PLS 模型）....................................... 18 3.31 偏最小二乘基本概念................................................................................... 18 3.32 偏最小二乘基本模型................................................................................... 194 光谱主成分分析实验..................................................................................................... 214.1 Matlab 软件中关于关于主成分分析的实验........................................................ 21 4.11Matlab 简介.................................................................................................... 21 4.12Matlab 中主成分分析函数............................................................................ 22 4.13 基于Matlab 的PCA 实现............................................................................ 23 4.2 小麦粉光谱分析................................................................................................... 24 4.21 PCA 用于小麦粉NIR 分析......................................................................... 24 4.22 PLS 用于小麦粉NIR 分析.......................................................................... 275 结论................................................................................................................................. 31致谢................................................................................................................................. 32参考文献.. (33)1 绪论随着科技的发展，事物的发展越来越趋于复杂化，在研究的过程中，往往由于事物特征个数太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。
核PCA特征提取方法及其应用研究
南京航空航天大学硕士学位论文
图表清单
图 2.1 ORL 人脸数据库中的部分人脸图像…………………………………………………………13 图 3.1 核方法框架示意图……………………………………………………………………………15 图 3.2 KPCA 算法流程图………………………………………………………………………………19 图 4.1 图像检测系统原理图…………………………………………………………………………23 图 4.2 VS-808HC 微型彩色高清工业摄像机实物图…………………………………………………25 图 4.3 MV-E8800 PCI-E 8 路高清实时图像采集卡实物图…………………………………………25 图 4.4 PCA 与 KPCA 各主元累积贡献率比较图………………………………………………………28 图 5.1 航空发动机主滑油滤位置示意图……………………………………………………………32 图 5.2 滑油滤及金属屑图像…………………………………………………………………………33 图 5.3 滑油滤图像……………………………………………………………………………………33 图 5.4 滑油滤清洗和磨屑收集系统结构原理图……………………………………………………35 图 5.5 滑油滤清洗和磨屑收集系统实物图…………………………………………………………35 图 5.6 滑油滤清洗装备结构设计图…………………………………………………………………36 图 5.7 带磁环的滑油滤磨屑图像……………………………………………………………………37 图 5.8 取下磁环的滑油滤磨屑图像…………………………………………………………………37 图 5.9 DH－HV02 系列数字摄像机实物图……………………………………………………………37 图 5.10 正常滑油滤典型图像 ………………………………………………………………………38 图 5.11 异常滑油滤典型图像 ………………………………………………………………………38 图 5.12 PCA 与 KPCA 各主元累积贡献率比较图……………………………………………………39 图 6.1 ZT-3 多功能转子模拟实验台…………………………………………………………………43 图 6.2 ZT-3 多功能转子故障模拟实验台……………………………………………………………44 图 6.3 实验装置信号采集原理图……………………………………………………………………44 图 6.4 不平衡故障信预处理后的频谱(100 个点) …………………………………………………47 图 6.5 不对中故障信预处理后的频谱(100 个点)…………………………………………………47 图 6.6 碰摩故障信预处理后的频谱(100 个点)……………………………………………………47 图 6.7 油膜涡动故障信预处理后的频谱(100 个点)………………………………………………47 图 6.8 PCA 的主元方向特征矢量的投影图…………………………………………………………50 图 6.9 KPCA1 的主元方向特征矢量的投影图………………………………………………………50 图 6.10 KPCA2 的主元方向特征矢量的投影图………………………………………………………50 图 6.11 KPCA3 的主元方向特征矢量的投影图………………………………………………………50
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
形式，即
李－ 。 Ｙ（＝ Ｎｘ （） Ｐ ｉ Ｎ言
这 我 称 Ｕ 练 本 据｛ 在 征 间 的 （ 训 样 数 ｆ 。特 空 中 里 们 式） 为 ｘ ｉ 粱
标准化。 满足训练样本数据映射后的特征点有零均值，远比 训练样本数据有零均值来得困难。下面我们假设式（成立， （ １ ）
所以，可以 得知特征矢量９ 必定在特粱 ， 足 也 存 组 应 系 Ｓ １满 ｒ Ｌ ａ ｉ
价 Ｒ＂ Ｒ ， ：ｎ － ｍ － － ＞ （ ３ ） （ ２ ） 其中 Ｐ 示 线 映 ，（ 非 性 射，ｍ 为 空 的 数，ｍ为 表 。 输入 间 维 ， 特 将式（代入式（ ，得
特征值。
２２ ２
信 号 处 理
ＳＧ Ｉ ＮＡＬ ＯＣ Ｓ Ｉ Ｇ Ｐ Ｒ Ｅ ＳＮ
第 １卷 ９
增刊
根 据 式 ３ （ 有 虱＝ （ ） ， 所 以 ） ａ＇ ｋ ｋＸ Ｐ
核矩阵定义为
４ ４＝ ｋ ｋ ＝ （， ａ＝ｋ ａ＝ ， ｋ ｋ （） ａ （） ＫＸＸａ ｋ Ａ ｋｋ Ｉ 即 Ｔ （ Ｘａ ＇ ｋ ｋｋ Ｐ Ｔ 万 Ｐ Ｘ ） ｋ ａ Ｔ
Ｊｙｇ １ Ｙｕｅ ｈ ｇ ｕ ｉ Ｇｎ ｏ ｉ １ ｎｎ ａ ． ２ ｗ Ｚａ ． ２ ｎ
（Ｓ ｏ ｏＩｏ ａ ｎ ｕ ＵｉｒｔＪｎ ｅＣ ， ｇ ｎＰ ｖｃ５ ０ ， ’ ｈ ｌ ｆｍｔ ， ｉ ｅｉ ｉｇ ｎ Ｇａ ｄ ｇ ｉｅ ２ ｃ ｏ ｆ ｉ Ｗ ｙ ｎ ｓ ， ｍ ｉ ｕ ｏ ｒ ｎ ２ ０ ｎｒ ｏ ｖ ｙ ａ ｙ ｔ ｎ ｏ ９ ２ ｏ ｆ ｒ ｉ ａ Ｉｏ ａ ｎ ｎ ｒｇ ｅａ Ｕｉｒｙ ｅｎ１ ０ ） Ｓ ｏ ｏＥｃ ｎｓ ｎ ｒ ｔ Ｅｇｅｉ， ｎ ｎｅｉ Ｂｉｇ ８ ｃ ｌ ｅ ｏｃ ｎ ｆｍ ｉ ｎ ｅ Ｂｉ ｇ ｓ ， ０ ３ ｈ ｌｔ ｄ ｏ ｉ ｎ ｈ ｖ ｔ ｊ ０ ｉ
Ｎ Ｎ
４ 艺 ；ｘ ＝ １ａ（） ｔ； ｐ ｊ ＝
征 间 维 非 性 射价 输 空 的 量ｘ映 为 空 的 数。 线 映 将 入 间 矢 ｉ 射
特征空间 象例ｘ） 的 ；ｏ
艺ｊ１ ｃｉ（ｘ二 Ｉｉ ；ｘ 艺 ｊｘ ｘ ｊ 威艺 （； ａ（Ｋｉ ） ＝ ａ （） ｐ ） ， ｐ ｉｉ ＝ ＝
Ａ ｓｒｃ： ｅ ｅＰ ｎｉ ｌ ｐｎｎ ｎｌ ｉ Ｋ ｒ ｌ ） ｎｎｎａ ｏ ａ ｎｔａ ｅｅ ｌａｏ ｏ ｓｔｔａ Ｋ ｒ ｌ ｃ ａＣ ｍ ｏｅｔＡ ａ ｓ （ｅ ｅＰ Ａ ｉａ ｌｅ ｆ ｍ ａ ｒ ｇｎｒｉ ｔｎ ｔｉｉ ｌ ｂｔ ｔ ａ ｎ ｒ ｐ ｏ ｉ ｓ ｙ ｓ ｎ Ｃ ｓ ｉ ｒ ｎ ａ ｌ ａｚ ｉ ｆ ｓｃ ｏ ｒ ｄ ｕ ａ
２０ ２
信 号 处 理
Ｓ ＧＮＡＬ ＲＯＣＥＳ Ｉ Ｉ Ｐ Ｓ ＮＧ
第 １卷 ９
增刊
核主元分析特征提取法的研究＊
甘俊英 ‘ ” 张有为 ’
（ 五邑 信息学院 广东 江门 ５９２； ’ 大学 ２００ ， 北京航空航天大学电子信息工程学院 北京 １０８ ） ００３
摘要： 核主元分析是统计主元分析的非线性形式， 是统计主元分析的自 然推广。 本文在统计主元分析的基础上探讨了核 主元分析的概念， 研究了核主元分析映射数据的标准化实现， 揭示了核主元分析与统计主元分析的内在联系， 得出了 核主元 分析用于特征提取的方法。 核主元分析用于特征提取， 是借助于核函数， 将输入空间的训练样本数据经过非线性映射转换到 特征空间， 然后向所选择的多个主特征矢量方向进行投影， 最后可以获得多个不相关的主元， 为特征提取以及模式识别的应
Ｋｘｘ ＝Ｔ （） （， ｌ（）ｘ ｉｊ ｘＴ ； ）ｐ ｉ
假 训 样 数 用认推 表 通 非 性 射（， 设 练 本 据 ， 示， 过 线 映 Ｐ
其中，Ｋ ｘ） 执，ｉ定义为特征点的内积核函数，即
可 得 对 的 征 俪ｘ艇 。 时 我 定 特 空 以 到 应 特 点 （），此 ， 们 义 征 间 ｉ 中 ｍｘ 相 矩 ， 下 的 ， 关 阵 如 ｍ维 ，
ｐｔｒ ｏｎｉ ａｐｃｔ ｎ ａｅ ｒ ｇｉ ｎ ｌａｏ． ｔ ｅ ｎ ｃ ｔ ｐｉ ｉ ｏ
Ｋ ｙ ｒ ： ｒ ｌ ｃ ａ Ｃ ｍ ｏｅｔ ｎｌ ｉ Ｋ ｒ ｌ ） ｒ ｃ ａ Ｃ ｍ ｏｅｔ ｎｌ ｉ Ｐ ） ｅ ｕ ｓ ｅ ｅ Ｐ ｎｉ ｌ ｐｎｎ Ａ ａ ｓ （ｅ ｅ Ｐ Ａ Ｐ ｎｉ ｌ ｐｎｎ Ａ ａ ｓ （ Ａ Ｆａ ｒ ｅ ｗ ｄ Ｋ ｎ ｒ ｐ ｏ ｏ ｉ ｓ ｙ ｓ ｎ Ｃ ｉｐ ｏ ｓ ｙ ｓ Ｃ ｔｅ
ｓｎａ ｉｔｎ ｉｔｎ ａｐｄ ａ ｕｉ ， 山 ｉ ｅ ｎｒａｏ ｂｔｅｎ ｅＰ Ａ Ｐ Ａ ｖａｄＦ ａｙ ｔ ｄｒｚ ｉ ｒ ｌａｏ ｏｍ ｐｅ ｄｔｉｓｄ ｄａｄ ｅ ｒ ｔ ｉ ｅ ｅ Ｋｒ ｌ ａｄ ｉｒ ｅｌ ． ｌ ｔ ａ ｄ ａｏ ｅ ｚｉ ｆ ａ ａ ｓ ｅ ｎ ｔ ｎ ｅ ｅ ｔｎ ｈ ｌ ｗ ｅ Ｃ ｎ Ｃ ｓ ｅ ｉ ｌ ｈ ｎ ｅ ｎ ｅ
Ｐｉ ｉ ｌ ｍ ｏｅｔ Ａ ａ ｓ （Ｃ ） Ｉ ｔｓ ｅ ｔ ｃｎｅｔ Ｋ ｒ ｌ Ａ ｄ ｃｓ ｄ ｔ ｂｓ ｏ Ｐ Ａ Ｔ ｅ ｒ ｃ ａ Ｃ ｐｎｎ ｎｌ ｉ Ｐ Ａ． ｈ ｐｐｒ ｈ ｏｃｐ ｏ ｅ ｅ Ｐ ｉ ｉ ｕｓ ｏ ｈ ａｉ ｆ ． ｎ ｎｐ ｏ ｓ ｙ ｓ ｎ ａ ， ｉ ｅ ｆ ｎ Ｃ ｓ ｓ ｅ ｎ ｅ ｓ Ｃ ｈ
用提供了一条有效途径。 关挂词：核主元分析：主元分析：特征提取
Ａ ｕ ｙ Ｆａｕｅ ｔ ｃｉｎ ｔｏ Ｓ ｄ ｏ ｅｔｒ Ｅ ｒ ｔ Ｍ ｈ ｄ ｔ ｆ ｘａ ｏ ｅ ｆｒ ｎ ｌ ｃ ａＣ ｍｐ ｎ ｎｓ ａ ｓ ｏ Ｋ ｒｅ Ｐｉ ｉ ｌ ｏ ｅ ｔ Ａ ｌ ｉ ｅ ｒ ｐ ｏ ｎ ｎｙｓ
将 （ 边 乘 衬（） 得 式４ 同 以 ｘ ， ） 两 ｋ
ＣＸ 。 Ｎ ， ， － Ｎ
二 乙 ａ ｎｋｋｘ） ｘ，ｊ ＝ｉ 乙 ａ ＡＩ ｘ ） ｊ ｘ ，ｉ ａｔｉｘ ） ｖ ｉ ｔ ｊ 乓，ｆ
ｉ ｊ １ 月 ＝ ｊ１ ＝
ｓ ｅ ｌ ｌ ａｔ ｃ ａｃｍ ｏｅｔｃ ｂ ｏｔｎｄ ｅ ｓ ｅ ｌ ｎ ｅｖｃ ｒ ｃｏｓ ｅｔ ， ｒ ｔｉ ｉ ｕ ｅ ｒ ｉｅ ｖｎｐｎｉ ｌ ｐｎｎ ａ ｅ ａ ｅ ｗ ｎ ｒ ｍ ｉｅ ｎｅｔ ｄｅ ｉ ａ ｓ ｃ ｄｗ ｅ ｄ ａ ｎ ｔ ｖａｒ ｅ ｒ ｒ ｐ ｏ ｉ ｓ ｎ ｂ ｉ ｈ ｅ ａ ａ ｉ ｖ ｇ ｏ ｉ ｔｎ ｒ ｅ ｅ ｈｅ ａ ｎ ｒ ｅ ｌ ｐ ｓ ｃ ｉｃｎｅｅ ｉｏ ｉｆ ｔｅ ｃ ｂ ｎｎｎａｍ ｐｉ ． ｒｏ ， ｌ ａｐ ａ ｉｐ ｖ ｅ ｆ ｆ ｔｅ ａ ｉ ａｄ ｐ ｅ ｏｖｒｄ ｔ ｔ ａ ｒｓ ｅ ｏｌｅ ａｐ ｇＴｅ ｆ ａ ｄ ｒ ｃ ｓ ｉ ｄ ｅ ｕ ｅｔｃｏ ｎ ａ ｓ ｔ ｎ ｈ ｎ ｕ ｐ ｙ ｉ ｒ ｎ ｈ ｅ ｒ ｖ ｉ ｐ ｏ ｈ ｒ ｄ ｏ ａ ｒ ｘ ｔｎ ｔ ａ ｅ ａ ｅ ａ ｏ ｒ ｒ
Ｋ ａ Ｎ Ｋ ２＝ Ａ ａ （ ６ ）
其中，Ｋ 表示Ｋ与自 ２ 身的乘积。 （可以 从式（ ６ 得到一个简单 ）
的特征值问题：
Ｋ ａ＝刀几 ａ （ ７ ）
化为
Ｋ ａ二肠 ． （） ９
其 ， 与Ｒ 别 示 关 阵Ｒ 特 值 特 矢 由 中 Ａ 分 表 相 矩 的 征 与 征 量。
于等式
其中， 系数矩阵ａ 表示与核矩阵Ｋ的特征值Ａ 相对应的特征
矢 。 量。 归 化 过 关 阵Ｒ 特 矢 归 化 量 矢 的 一 通 相 矩 的 征 量４ 一
Ｋ｛ ；） ＝（二 Ｋ， ｘ， ｝
核矩阵Ｋ的 特征值问 题则转化为
Ｋｏ 从 ａ ａ＝ ｏ
ａ 会 一Ａ ・＝，“２， ｋ ‘， Ｔ ａ ｋ ， ，
式（为系数矩阵ａ的归一化表达式。 （ １ ） １ 对于测试样本数据的核主元提取， 我们必须计算测试样
本 数据ｔ 特征空间 特征 在 中的 矢量４方向 投影， ｋ 上的 即
在此前提下来研究核主元分析； 然后再探讨如何实现特征空
间中映射数据的标准化。
设入之 ＿ Ａ Ａ 表示核矩阵Ｋ的 凡＞ ＞ Ｎ 特征值，即
Ａ＝ Ａ ， ｊ Ｎ；
Ｊ １， Ｎ ＝， ２ 八，
２
核主元分析的概念
对相关矩阵Ｒ，有
Ｒ 二ｑ ｑ Ａ
其 ， 表 相 矩 Ｒ 第 个 征 。 时 式７ 中 凡 示 关 阵 的 Ｉ特 值 此 ， （ ） 转
＊ 广东省自 然科学基金资助项目Ｎ ． ０７） （ｏ ０８２ ０
第 １卷 ９
增刊
信 号 处 理
Ｓ ＧＮＡＬ ＲＯＣＥＳ Ｉ Ｉ Ｐ Ｓ ＮＧ
２ ２１
将核主元分析归属于非线性方法。然而，与非线性主元分析 的其它形式不同， 核主元分析的实现依赖于线性代数。 因此， 又把核主元分析看作为统计主元分析的自然推广。 设有一个非线性映射
＊客ｘ（ 二 （Ｐ） ＿ｐＴ Ｎ（ ｘ １ ｉ ）ｉ （
核主元分析可以看成是将训练样本数据经过非线性映
、 。
、、 岸Ｎ
ｋ＝１ ， ， ， Ａ ２ Ｎ
射后的一种统计主元分析处理法。 在统计主元分析中， 训练 样本数据必须满足训练样本数据的标准化
下面我们引入两个矩阵： ① Ｎｘ Ｎ维矩阵Ｋ，即
ｍ ｔ ｄ Ｋ ｒ ｌ ｉａｐｅ ｉ ｆ ｔ ｔｃｏ ｉｅｕｅ． ａｓ ｏ ｔ ｉｒ ｕｔｎ ｋｒ ｌ ｃｏ ｉ Ｋ ｒ ｌ ， ｅ ｏ ｈｗ ｎ Ｐ Ａ ｐｌｄ ｅ ｕ ｅ ｒ ｔｎ ｄｃｄＢ ｃｕｅ ｈ ｎ ｏ ｃｏ ｏ ｅ ｅｆ ｔｎ ｅ ｅＰ Ａ ｈ ｏ ｅ ｅ Ｃ ｓ ｉ ｎ ｒ ｘ ａ ｉ ｓ ａｅ ｅ ｆ ｔ ｄ ｉ ｆ ｅ ｎ ｕ ｉ ｎ ｎ Ｃ ｎ
即 Ｓ； 上Ｎ 一 二。
Ｎ ，’ ＝ ｉ
Ｋ 扭ｘ ｌ＝ 。 ＝ （ｘｌ ｝ ｉ ）扭 ，
称为核矩阵。该矩阵的第 ｉ个元素表示内积核函数 ｉ Ｋｘｘ） （， 。 ；ｊ
而在核主元分析中，同样必须保证训练样本数据映射后的特