模式识别方PCA实验报告
PCA降维度实验报告
PCA降维度实验报告一、实验目的本实验旨在通过PCA降维算法对高维数据进行降维处理，从而减少特征维度，保留主要信息的同时最大程度地降低数据的冗余度。
二、实验原理1.数据标准化：首先对原始数据进行标准化处理，使得每个特征具有相同的均值和方差，避免一些特征对PCA结果的影响过大。
2.计算协方差矩阵：根据标准化后的数据计算协方差矩阵，该矩阵描述了各个特征之间的相关性。
3.计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
4.选择主成分：选取特征值最大的前k个特征向量作为主成分，这些主成分表示了原始数据中的大部分信息。
5.数据转换：通过将原始数据与选取的主成分进行线性变换，得到降维后的数据。
三、实验过程本实验使用Python编程语言进行实现，具体步骤如下：2.数据预处理：对数据进行标准化处理，使得每个特征的均值为0，方差为13.计算协方差矩阵：根据标准化后的数据计算协方差矩阵。
4.特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
5.选择主成分：根据特征值大小，选择前k个特征向量作为主成分。
6.数据转换：将原始数据与选取的主成分进行线性变换，得到降维后的数据。
7.可视化展示：将降维后的数据可视化展示，观察不同类别的样本在降维空间中的分布情况。
四、实验结果经过PCA降维处理后，将原始数据的100个特征减少到了10个主成分。
我们对降维后的数据进行了可视化展示，发现不同类别的样本在降维空间中有较好的聚类效果，各类别样本之间的分离度较高。
五、结果分析和讨论通过PCA降维处理，我们成功将原始数据从100维降低到10维，减小了特征维度，同时保留了主要信息。
这不仅能提高模型的计算效率，还能避免过拟合等问题的发生。
此外，PCA降维还能提供一种可视化手段，通过降维后的数据在较低维度空间的分布情况，我们可以更直观地理解数据集中存在的模式或规律。
然而，PCA降维算法也存在一定的局限性，例如对非线性数据的处理效果不佳，可能会引入信息损失等问题。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
多元统计实验报告
多元统计实验报告多元统计实验报告导言在现代科学研究中，多元统计方法被广泛应用于数据分析和模式识别等领域。
本次实验旨在通过多元统计方法探索变量之间的关系，并研究其对研究对象的影响。
实验设计我们选择了一个实验样本，包括100名大学生。
我们收集了他们的性别、年龄、身高、体重、学业成绩和运动习惯等多个变量。
通过对这些变量进行统计分析，我们希望能够了解它们之间的关系，并且进一步推断这些变量对大学生的影响。
数据预处理在进行多元统计分析之前，我们首先需要对数据进行预处理。
我们对缺失值进行了处理，使用均值填充了缺失的数据。
然后，我们进行了数据标准化，以消除不同变量之间的量纲差异。
主成分分析我们首先进行了主成分分析（PCA），以降低数据维度并寻找主要的变量。
通过PCA，我们得到了三个主成分，它们分别解释了总方差的70%、20%和10%。
这表明我们可以用这三个主成分来代表原始数据的大部分信息。
聚类分析接下来，我们进行了聚类分析，以研究样本之间的相似性和差异性。
我们使用了K-means算法，并将样本分为三个簇。
通过观察每个簇的特征，我们发现第一个簇主要包括男性、年龄较大、身高较高、体重较重、学业成绩较好和较少运动的大学生；第二个簇主要包括女性、年龄较小、身高较矮、体重较轻、学业成绩一般和较多运动的大学生；第三个簇则包括了男女性别各半、年龄、身高、体重、学业成绩和运动习惯都相对均衡的大学生。
相关分析为了研究变量之间的相关性，我们进行了相关分析。
我们发现学业成绩与年龄和身高之间存在较强的正相关关系，而与体重和运动习惯之间存在较弱的负相关关系。
这表明学业成绩可能受到年龄和身高的正向影响，而受到体重和运动习惯的负向影响。
回归分析最后，我们进行了回归分析，以探究变量对学业成绩的影响。
我们选择了年龄、身高、体重和运动习惯作为自变量，学业成绩作为因变量。
通过回归分析，我们得到了一个显著的回归模型，解释了学业成绩的40%的方差。
其中，年龄和身高对学业成绩有正向影响，而体重和运动习惯对学业成绩有负向影响。
模式识别专业实践报告(2篇)
第1篇一、实践背景与目的随着信息技术的飞速发展，模式识别技术在各个领域得到了广泛应用。
作为人工智能领域的一个重要分支，模式识别技术对于图像处理、语音识别、生物识别等领域的发展具有重要意义。
为了更好地理解和掌握模式识别技术，提高实际应用能力，我们组织了一次为期一个月的模式识别专业实践。
本次实践旨在通过实际操作，加深对模式识别理论知识的理解，提高解决实际问题的能力。
二、实践内容与过程1. 实践内容本次实践主要包括以下几个方面：（1）图像识别：利用深度学习算法进行图像分类、目标检测等。
（2）语音识别：实现语音信号处理、特征提取和识别。
（3）生物识别：研究指纹识别、人脸识别等生物特征识别技术。
（4）模式分类：运用机器学习算法进行数据分类和聚类。
2. 实践过程（1）理论学习：在实践开始前，我们首先对模式识别的基本理论进行了系统学习，包括图像处理、信号处理、机器学习等相关知识。
（2）项目准备：根据实践内容，我们选取了具有代表性的项目进行实践，如基于深度学习的图像识别、基于HMM的语音识别等。
（3）实验设计与实施：在导师的指导下，我们设计了实验方案，包括数据预处理、模型选择、参数调整等。
随后，我们使用Python、C++等编程语言进行实验编程，并对实验结果进行分析。
（4）问题分析与解决：在实验过程中，我们遇到了许多问题，如数据不足、模型效果不佳等。
通过查阅文献、请教导师和团队成员，我们逐步解决了这些问题。
三、实践成果与分析1. 图像识别我们使用卷积神经网络（CNN）对CIFAR-10数据集进行了图像分类实验。
实验结果表明，经过多次迭代优化，模型在测试集上的准确率达到89.5%，优于传统机器学习方法。
2. 语音识别我们采用HMM（隐马尔可夫模型）对TIMIT语音数据集进行了语音识别实验。
实验结果表明，经过特征提取和模型训练，模型在测试集上的词错误率（WER）为16.3%，达到了较好的识别效果。
3. 生物识别我们研究了指纹识别和人脸识别技术。
人脸识别实验报告
人脸识别实验报告摘要：本实验通过使用人脸识别技术，对一组测试样本进行分类和识别。
首先，通过使用PCA降维算法对输入的人脸图像进行特征提取，然后使用支持向量机（SVM）分类算法进行分类。
实验结果表明，人脸识别技术在分类和识别方面取得了较好的效果。
一、引言人脸识别技术是一种将图像处理、模式识别和机器学习等方法相结合的多学科交叉技术。
它广泛应用于安全监控、人机交互、社交网络等领域，拥有广阔的应用前景。
本实验旨在研究人脸识别技术，并通过实验验证其分类和识别效果。
二、实验方法1.数据集准备：从公开数据集中选择合适的人脸图像作为训练集和测试集。
要求数据集包含不同人物的正面人脸图像，并且以文件夹形式存储。
2.数据预处理：读取训练集的人脸图像，将其转换为灰度图像，并进行直方图均衡化处理，增强图像质量。
3.特征提取：使用主成分分析（PCA）算法对图像进行特征提取。
首先，将每个图像的像素矩阵转换为一维向量，然后计算协方差矩阵。
接下来，通过对协方差矩阵进行特征值分解，得到特征值和特征向量。
最后，根据特征向量的重要程度，选择前n个主成分作为图像的特征。
4.分类算法：使用支持向量机（SVM）算法进行分类。
将提取的人脸特征向量作为输入样本，通过训练SVM模型，实现对人脸图像的分类和识别。
5.实验评价：使用测试集对分类和识别效果进行评价。
计算分类精度、召回率和F1值等指标，并绘制ROC曲线，分析模型的性能。
三、实验结果与分析实验结果显示，经过训练和测试，人脸识别模型的分类精度达到了90%以上，召回率和F1值也较高。
同时，根据绘制的ROC曲线可知，模型的性能相对稳定，具有较好的鲁棒性。
四、实验总结通过本实验，我们深入了解了人脸识别技术，并验证了其在分类和识别方面的效果。
实验结果表明，人脸识别技术具有较好的应用潜力，可以在实际场景中得到广泛应用。
然而，本实验还存在一些不足之处。
首先，使用的数据集规模较小，可能会对模型的训练和泛化能力产生影响。
模式识别与智能信息处理实践实验报告
模式识别与智能信息处理实践实验报告
一、实验目的
本次实验的目的是：实现基于Matlab的模式识别与智能信息处理。
二、实验内容
1.对实验图片进行处理
根据实验要求，我们选取了两张图片，一张是原始图片，一张是锐化处理后的图片。
使用Matlab的imtool命令进行处理，实现对图片锐化、模糊处理、边缘检测、图像增强等功能。
2.基于模式识别算法进行图像分类
通过Matlab的k-means算法和PCA算法对实验图片进行图像分类，实现对图像数据特征提取，并将图像分类结果可视化。
3.使用智能信息处理技术处理实验数据
使用Matlab的BP网络算法，对实验图片进行处理，并实现实验数据的智能信息处理，以获得准确的分类结果。
三、实验结果
1.图片处理结果
2.图像分类结果
3.智能信息处理结果
四、总结
本次实验中，我们利用Matlab进行模式识别与智能信息处理的实践，实现了对图片的处理，图像分类，以及智能信息处理，从而获得准确的分
类结果。
主成分分析实验报告
一、实验目的本次实验旨在通过主成分分析（PCA）方法，对给定的数据集进行降维处理，从而简化数据结构，提高数据可解释性，并分析主成分对原始数据的代表性。
二、实验背景在许多实际问题中，数据集往往包含大量的变量，这些变量之间可能存在高度相关性，导致数据分析困难。
主成分分析（PCA）是一种常用的降维技术，通过提取原始数据中的主要特征，将数据投影到低维空间，从而简化数据结构。
三、实验数据本次实验采用的数据集为某电商平台用户购买行为的调查数据，包含用户年龄、性别、收入、职业、购买商品种类、购买次数等10个变量。
四、实验步骤1. 数据预处理首先，对数据进行标准化处理，消除不同变量之间的量纲影响。
然后，进行缺失值处理，删除含有缺失值的样本。
2. 计算协方差矩阵计算标准化后的数据集的协方差矩阵，以了解变量之间的相关性。
3. 计算特征值和特征向量求解协方差矩阵的特征值和特征向量，特征值表示对应特征向量的方差，特征向量表示数据在对应特征方向上的分布。
4. 选择主成分根据特征值的大小，选择前几个特征值对应特征向量作为主成分，通常选择特征值大于1的主成分。
5. 构建主成分空间将选定的主成分进行线性组合，构建主成分空间。
6. 降维与可视化将原始数据投影到主成分空间，得到降维后的数据，并进行可视化分析。
五、实验结果与分析1. 主成分分析结果根据特征值大小，选取前三个主成分，其累计贡献率达到85%，说明这三个主成分能够较好地反映原始数据的信息。
2. 主成分空间可视化将原始数据投影到主成分空间，绘制散点图，可以看出用户在主成分空间中的分布情况。
3. 主成分解释根据主成分的系数，可以解释主成分所代表的原始数据特征。
例如，第一个主成分可能主要反映了用户的购买次数和购买商品种类，第二个主成分可能反映了用户的年龄和性别，第三个主成分可能反映了用户的收入和职业。
六、实验结论通过本次实验，我们成功运用主成分分析（PCA）方法对数据进行了降维处理，提高了数据可解释性，并揭示了数据在主成分空间中的分布规律。
降维分析实验报告
一、实验背景随着数据量的不断增长，如何从大量数据中提取有价值的信息成为数据分析和处理的关键问题。
降维分析作为一种数据预处理方法，旨在减少数据集的维度，降低数据复杂度，提高数据分析的效率。
本实验通过降维分析，对原始数据进行处理，提取关键特征，为后续的数据挖掘和分析提供支持。
二、实验目的1. 了解降维分析的基本原理和方法；2. 掌握主成分分析（PCA）和因子分析（FA）两种降维方法；3. 通过实验验证降维分析在实际数据中的应用效果。
三、实验内容1. 数据集介绍：选取某电商平台用户购买行为的原始数据集，包含用户ID、商品ID、购买金额、购买时间等特征；2. 数据预处理：对原始数据进行清洗、缺失值处理和异常值处理；3. 主成分分析（PCA）：（1）计算原始数据的协方差矩阵；（2）计算协方差矩阵的特征值和特征向量；（3）根据特征值选择主成分；（4）对原始数据进行主成分转换；4. 因子分析（FA）：（1）计算原始数据的协方差矩阵；（2）提取因子；（3）对原始数据进行因子转换；5. 降维效果评估：比较原始数据集与降维后数据集的维度、方差解释率和模型拟合度等指标。
四、实验步骤1. 数据导入与预处理（1）使用Python的pandas库导入原始数据集；（2）对缺失值进行处理，采用均值、中位数或众数填充；（3）对异常值进行处理，采用Z-score或IQR方法剔除；（4）数据标准化，将特征值缩放到0-1之间。
2. 主成分分析（PCA）（1）计算原始数据的协方差矩阵；（2）计算协方差矩阵的特征值和特征向量；（3）根据特征值选择主成分，选取累计方差贡献率大于85%的主成分；（4）对原始数据进行主成分转换。
3. 因子分析（FA）（1）计算原始数据的协方差矩阵；（2）提取因子，采用主成分提取法；（3）对原始数据进行因子转换。
4. 降维效果评估（1）比较原始数据集与降维后数据集的维度；（2）计算方差解释率，评估降维后的数据集对原始数据的保留程度；（3）比较原始数据集与降维后数据集的模型拟合度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别作业《模式识别》大作业人脸识别方法一 ---- 基于PCA 和欧几里得距离判据的模板匹配分类器一、 理论知识1、主成分分析主成分分析是把多个特征映射为少数几个综合特征的一种统计分析方法。
在多特征的研究中，往往由于特征个数太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。
当特征较多时，在高维空间中研究样本的分布规律就更麻烦。
主成分分析采取一种降维的方法，找出几个综合因子来代表原来众多的特征，使这些综合因子尽可能地反映原来变量的信息，而且彼此之间互不相关，从而达到简化的目的。
主成分的表示相当于把原来的特征进行坐标变换（乘以一个变换矩阵），得到相关性较小（严格来说是零）的综合因子。
1.1 问题的提出一般来说，如果N 个样品中的每个样品有n 个特征12,,n x x x ，经过主成分分析，将它们综合成n 综合变量，即11111221221122221122n n n n n n n nn ny c x c x c x y c x c x c x y c x c x c x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ij c 由下列原则决定：1、i y 和j y （i j ≠，i,j = 1,2,...n ）相互独立；2、y 的排序原则是方差从大到小。
这样的综合指标因子分别是原变量的第1、第2、……、第n 个主分量，它们的方差依次递减。
1.2 主成分的导出我们观察上述方程组，用我们熟知的矩阵表示，设12n x x X x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦是一个n 维随机向量，12n y y Y y ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦是满足上式的新变量所构成的向量。
于是我们可以写成Y=CX,C 是一个正交矩阵，满足CC ’=I 。
坐标旋转是指新坐标轴相互正交，仍构成一个直角坐标系。
变换后的N 个点在1y 轴上有最大方差，而在n y 轴上有最小方差。
同时，注意上面第一条原则，由此我们要求i y 轴和j y 轴的协方差为零，那么要求T YY =Λ12n λλλ⎡⎤⎢⎥⎢⎥Λ=⎢⎥⎢⎥⎣⎦令TR XX =，则T TRC C =Λ经过上面式子的变换，我们得到以下n 个方程111111212112111221122111121211()0()0()0n n n n n n nn n r c r c r c r c r c r c r c r c r c λλλ-+++=+-++=+++-=1.3 主成分分析的结果我们要求解出C ，即解出上述齐次方程的非零解，要求ij c 的系数行列式为0。
最后得出结论i λ是||0R I λ-=的根，i y 的方差为i λ。
然后选取前面p 个贡献率大的分量，这样就实现了降维。
也就是主成分分析的目标。
二、 实现方法1、 获取数据。
在编程时具体是把一幅二维的图像转换成一维的；2、 减去均值。
要使PCA 正常工作，必须减去数据的均值。
减去的均值为每一维的平均，所有的x 值都要减去，同样所有的y 值都要减去，这样处理后的数据都具有0均值；3、 计算协方差矩阵；4、 计算协方差矩阵的特征矢量和特征值。
因为协方差矩阵为方阵，我们可以计算它的特征矢量和特征值，它可以告诉我们数据的有用信息；5、选择成分组成模式矢量现在可以进行数据压缩降低维数了。
如果你观察上一节中的特征矢量和特征值，会注意到那些特征值是十分不同的。
事实上，可以证明对应最大特征值的特征矢量就是数据的主成分。
对应大特征值的特征矢量就是那条穿过数据中间的矢量，它是数据维数之间最大的关联。
一般地，从协方差矩阵找到特征矢量以后，下一步就是按照特征值由大到小进行排列，这将给出成分的重要性级别。
现在，如果你喜欢，可以忽略那些重要性很小的成分，当然这会丢失一些信息，但是如果对应的特征值很小，你不会丢失很多信息。
如果你已经忽略了一些成分，那么最后的数据集将有更少的维数，精确地说，如果你的原始数据是n维的，你选择了前p个主要成分，那么你现在的数据将仅有p维。
现在要做的是你需要组成一个模式矢量，这只是几个矢量组成的矩阵的一个有意思的名字而已，它由你保持的所有特征矢量构成，每一个特征矢量是这个矩阵的一列。
6、获得新数据这是PCA最后一步，也是最容易的一步。
一旦你选择了须要保留的成分（特征矢量）并组成了模式矢量，我们简单地对其进行转置，并将其左乘原始数据的转置：其中rowFeatureVector是由特征矢量作为列组成的矩阵的转置，因此它的行就是原来的特征矢量，而且对应最大特征值的特征矢量在该矩阵的最上一行。
rowdataAdjust是减去均值后的数据，即数据项目在每一列中，每一行就是一维。
FinalData是最后得到的数据，数据项目在它的列中，维数沿着行。
FinalData = rowFeatureVector * rowdataAdjust这将仅仅给出我们选择的数据。
我们的原始数据有两个轴（x和y），所以我们的原始数据按这两个轴分布。
我们可以按任何两个我们喜欢的轴表示我们的数据。
如果这些轴是正交的，这种表达将是最有效的，这就是特征矢量总是正交的重要性。
我们已经将我们的数据从原来的xy轴表达变换为现在的单个特征矢量表达。
如果我们已经忽略了一些特征矢量，则新数据将会用我们保留的矢量表达。
三、matlab编程matlab程序分为三部分。
程序框图如下图所示。
四、 总结从书里看我觉得最让人明白模板匹配分类器的一段话，就是“譬如A 类有10个训练样品，就有10个模板，B 类有8个训练样品，就有8个模板。
任何一个待测样品在分类时与这18个模板都算一算相似度，找出最相似的模板，如果该模板是B 类中的一个，就确定待测样品为B 类，否则为A 类。
”意思很简单吧，算相似度就是算距离。
就是说，模板匹配就要用你想识别的样品与各类中每个样品的各个模板用距离公式计算距离，距离最短的那个就是最相似的。
实验结果表明识别率达90%。
这样的匹配方法明显的缺点就是在计算量大，存储量大，每个测试样品要对每个模板计算一次相似度，如果模板量大的时候，计算量就十分的大。
五、 参考文献【1】 边肇其，张学工.模式识别【M 】.第2版.北京.：清华大学出版社，2000【2】 周杰，卢春雨，张长水，李衍达，人脸自动识别方法综述【J 】.电子学报，2000，5（4）：102-106《模式识别》大作业人脸识别方法二 ---- 基于PCA 和FLD 的人脸识别的线性分类器一、理论知识1、 fisher 概念引出在应用统计方法解决模式识别问题时，为了解决“维数灾难”的问题，压缩特征空间的维数非常必要。
fisher 方法实际上涉及到维数压缩的问题。
fisher 分类器是一种几何分类器, 包括线性分类器和非线性分类器。
线性分类器有：感知器算法、增量校正算法、LMSE 分类算法、Fisher 分类。
若把多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。
那么关键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。
因此fisher 方法目标就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。
这个投影变换恰是我们所寻求的解向量*W ，这是fisher 算法的基本问题。
样品训练集以及待测样品的特征数目为n 。
为了找到最佳投影方向，需要计算出各类均值、样品类内离散度矩阵i S 和总类间离散度矩阵w S 、样品类间离散度矩阵b S ，根据Fisher 准则，找到最佳投影准则，将训练集内所有样品进行投影，投影到一维Y 空间，由于Y 空间是一维的，则需要求出Y 空间的划分边界点，找到边界点后，就可以对待测样品进行进行一维Y 空间的投影，判断它的投影点与分界点的关系，将其归类。
Fisher 法的核心为二字：投影。
二、 实现方法(1) 计算给类样品均值向量i m ，i m 是各个类的均值，i N 是i ω类的样品个数。
11,2,...,ii X im X i nN ω∈==∑(2) 计算样品类内离散度矩阵i S 和总类间离散度矩阵w S1()()1,2,...,iTi iiX w ii S X m X m i nS S ω∈==--==∑∑(3) 计算样品类间离散度矩阵b S1212()()T b S m m m m =--我们希望投影后，在一维Y 空间各类样品尽可能地分开，也就是说我们希望两类样品均值之差（12m m -）越大越好，同时希望各类样品内部尽量密集，即希望类内离散度越小越好，因此，我们可以定义Fisher 准则函数：()T b F Tw W S WJ W W S W =使得()F J W 取得最大值的*W 为*112()w W S m m -=-(5) 将训练集内所有样品进行投影*()T y W X =如果w S 是非奇异的，则要获得类间离散度与类内离散度的比值最大的投影方向()F J W 的满足下式：12()max [,,]T b F m T w W S WJ W arc w w w W S W==其中12[,,]m w w w 是满足下式的b S 和w S 对应的m 个最大特征值所对应的特征向量。
注意到该矩阵最多只有C-1个非零特征值，C 是类别数。
2、程序中算法的应用Fisher 线性判别方法（FLD ）是在Fisher 鉴别准则函数取极值的情况下，求得一个最佳判别方向，然后从高位特征向量投影到该最佳鉴别方向，构成一个一维的判别特征空间。
将Fisher 线性判别推广到C-1个判决函数下，即从N 维空间向C-1维空间作相应的投影。
利用这个m 维的投影矩阵M 将训练样本n 维向量空间转化为m 维的MEF 空间并且获得在MEF 空间上的最佳描述特征，即1120,,()1,2,,i iiT m i i y y y y M x m m i N ==--=由这N 个MEF 空间上的最佳描述特征可以求出12,,N y y y 的样品类内离散度矩阵wS 和总类间离散度矩阵b S ，取1w b S S -的K 个最大的特征可以构成FLD 投影矩阵W 。
将MEF空间上的最佳描述特征12,,N y y y 在FLD 投影矩阵W 上进行投影，将MEF 空间降维到MDF 空间，并获得对应的MDF 空间上的最佳分类特征，即12(,,)1,2,,i iii k iZ Z Z Z Wy i N ===通过计算12,,k Z Z Z 的欧氏距离，可以将训练样本分为C （C 等于1w b S S -的秩），完成对训练样本集的分类1、 matlab 编程1、fisher 判别法人脸检测与识别流程图2、matlab 程序分为三部分。
程序框图如下图所示。
2、 总结从计算成本来看，PCA+LDA 方法的好处在于对高维空间的降维，避免了类内离散度矩阵不可逆的情况。