Fisher判别分析原理详解
LDA线性判别分析
LDA线性判别分析LDA（Linear Discriminant Analysis），也被称为Fisher线性判别分析，是一种经典的统计模型和机器学习算法，常用于降维和模式识别任务。
LDA的目标是寻找一个线性变换，将高维数据投影到一个低维子空间上，使得在该子空间上的投影具有最优的数据分离性能。
换句话说，LDA希望找到投影方式，使得不同类别的数据在低维子空间上的投影显著分离，并且同一类别内部的数据尽可能地紧密聚集。
LDA的基本思想是通过计算类间离散度矩阵和类内离散度矩阵来得到最佳的投影方向。
类间离散度矩阵度量的是不同类别数据分布之间的差异，而类内离散度矩阵度量的是同一类别内部数据之间的差异。
LDA目标函数可以表示为J(w)=w^T*Sw*w/(w^T*Sb*w)，其中w是投影方向，Sw为类内离散度矩阵，Sb为类间离散度矩阵。
在实际应用中，我们需要先计算类内离散度矩阵Sw和类间离散度矩阵Sb，然后通过求解J(w)的最大值来得到最佳的投影方向w。
通常情况下，可以通过特征值分解或者广义特征值分解来求解最优的投影方向。
LDA的应用非常广泛，特别是在模式识别和计算机视觉领域。
它可以用于人脸识别、手写数字识别、垃圾邮件过滤等任务。
LDA的优点是在高维数据集中可以找到最优的投影方向，具有很好的数据分离性能。
而且LDA不需要事先假设数据分布的形式，适用于各种分布情况。
然而，LDA也存在一些限制。
首先，LDA假设数据满足多元正态分布，如果数据违反了该假设，那么LDA的判别性能可能会下降。
其次，LDA投影到的低维子空间的维度最多等于类别数减一，这可能导致信息丢失。
此外，当类别样本数量不平衡时，LDA的效果可能会受到影响。
为了克服LDA的局限性，人们提出了一些改进的方法。
例如，局部判别分析（Local Discriminant Analysis）可以在局部区域内构建LDA模型，适用于非线性可分的数据。
深度学习的发展也为LDA的改进提供了新的思路和方法，如稀疏表示LDA和核LDA等。
【线性判别】Fisher线性判别（转）
【线性判别】Fisher线性判别（转）今天读paper遇到了Fisher线性判别的变体，所以来学习⼀下，所以到时候⼀定要把PRMl刷⼀遍呀在前⽂《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并⾮易事，在特征空间维数较⾼和样本数量较少的情况下尤为如此。
实际上，模式识别的⽬的是在特征空间中设法找到两类（或多类）的分类⾯，估计概率密度函数并不是我们的⽬的。
前⽂已经提到，正态分布情况下，贝叶斯决策的最优分类⾯是线性的或者是⼆次函数形式的，本⽂则着重讨论线性情况下的⼀类判别准则——Fisher判别准则。
为了避免陷⼊复杂的概率的计算，我们直接估计判别函数式中的参数（因为我们已经知道判别函数式是线性的）。
⾸先我们来回顾⼀下线性判别函数的基本概念：应⽤统计⽅法解决模式识别问题时，⼀再碰到的问题之⼀就是维数问题。
在低维空间⾥解析上或计算上⾏得通的⽅法，在⾼维空间⾥往往⾏不通。
因此，降低维数有时就会成为处理实际问题的关键。
问题描述：如何根据实际情况找到⼀条最好的、最易于分类的投影线，这就是Fisher判别⽅法所要解决的基本问题。
考虑把d维空间的样本投影到⼀条直线上，形成⼀维空间，即把维数压缩到⼀维。
然⽽，即使样本在d维空间⾥形成若⼲紧凑的互相分得开的集群，当把它们投影到⼀条直线上时，也可能会是⼏类样本混在⼀起⽽变得⽆法识别。
但是，在⼀般情况下，总可以找到某个⽅向，使在这个⽅向的直线上，样本的投影能分得开。
下图可能会更加直观⼀点：从d维空间到⼀维空间的⼀般数学变换⽅法：假设有⼀集合Г包含N个d维样本x1, x2, …, xN，其中N1个属于ω1类的样本记为⼦集Г1， N2个属于ω2类的样本记为⼦集Г2 。
若对xn的分量做线性组合可得标量：yn = wTxn, n=1,2,…,N这样便得到N个⼀维样本yn组成的集合，并可分为两个⼦集Г1’和Г2’ 。
实际上，w的值是⽆关紧要的，它仅是yn乘上⼀个⽐例因⼦，重要的是选择w的⽅向。
费歇尔判别法
费歇尔判别法费歇尔判别法（Fisher's Discriminant Analysis）是一种统计学中的方法，用于寻找两个或多个分类变量中最能有效区分它们的线性组合。
这种方法最初是由英国统计学家罗纳德·费歇尔（Ronald A. Fisher）在1936年所提出。
费歇尔判别法的目标是通过将数据投影到低维空间来确定样本类别之间最明显的分离平面。
这个方法假设所有数据员来自正态分布，这使得它的结果具有很高的概率。
此外，这种方法特别适用于小样本数据，在这种情况下，其它多变量方法往往受到数据不足或对角线矩阵估计的影响。
费歇尔判别法通过将多维数据投影到一维空间上，找到最能表示数据差异的线性变量。
具体步骤如下：1. 定义问题在进行费歇尔判别分析之前，首先需要定义问题。
这个问题可以是不同的变量之间的分类问题，或者是同一变量在不同条件下的分类问题。
例如，可以通过费歇尔判别分析找到两个组的区别，这两个组的特征可以用来预测其他类似两个组。
2. 构造分类变量在对数据进行投影之前，需要将分类变量定义为正态分布。
这种变量通常为两个或更多个。
3. 计算均值和方差计算每个分类变量的均值和方差，以用于后面的投影计算。
4. 计算类内离散度矩阵类内离散度矩阵是指每个类别内所有点与该类别均值之间的距离的累加和。
这个矩阵用来衡量类的内部分散程度，通常使用矩阵的矩阵乘法来进行计算。
5. 计算类间离散度矩阵类间离散度矩阵是指不同类别均值之间的距离的累加和。
这个矩阵用来衡量类别之间的分散程度，也通常使用矩阵的矩阵乘法来进行计算。
6. 计算特征值和特征向量计算类内离散度矩阵和类间离散度矩阵的特征值和特— 1 —征向量。
这些值可以使用线性代数中的方法计算。
一般来说，特征向量是正交（perpendicular）的。
7. 选取最大特征值从计算出的特征值中找到最大特征值，找到最大特征值所对应的特征向量。
这个特征向量就是数据的主要方向，也被称为“判别变量”。
Fisher判别-jing
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
fisher
权值向量为: • w=(-0.8894, 0.1154, -0.0006, -0.1002, 0.0890, 0.0914, -4.1878, -0.0092)T. 决策面方程为
: l x 0.8894 0.1154 x1 0.0006 x2 0.1002 x3
0.089 x4 0.0914 x5 4.1878 x6 0.0092 x7 0
④ 利用两个类别的先验概率确定分类阈值
w T μ1 μ 2 ln P1 P2 2 N 2 (3.58)
⑤ 当样本维数m和样本数N都很大时，可采用 Bayes决策规则，从而获得一种在一维空间的 最优分类器。见《模式识别》pp.90。
3.5 Fisher分类器
3.5 Fisher分类器 （Fisher Linear Discriminant）
• Fisher判别法是历史上最早提出的判别方法之
一，其基本思想是将n类m维数据集尽可能地投
影到一个方向（一条直线），使得类与类之间
尽可能分开。从形式上看，该方法就是一种所
谓的“降维”处理方法。为简单起见，我们以
两类问题1和2的分类来说明Fisher判别法的原
• 附表为最终分类结果。可以看出，仍只有9和29 两个样本被错分。值得注意的是，这时以分类 器输出是否大于或小于零来决定样本的类别， 且分类器的实际输出不再是单纯的1或-1。 • 可以算出，这时分类器的实际输出与目标输出 之间的误差平方和为 • E=(y(:,1:1)-y(:,2:2))'*(y(:,1:1)-y(:,2:2))=11.4223.
理，如图3.7所示。
xk
1
均值2
均值1
wn 最不利投影方向
w*
基于主成分分析与Fisher判别分析法的矿井突水水源识别方法
基于主成分分析与Fisher判别分析法的矿井突水水源识别方法一、概述矿井突水作为矿山生产过程中的一大安全隐患，其准确识别对于预防突水事故、保障矿山安全生产具有重要意义。
传统的矿井突水水源识别方法往往依赖于经验判断和单一的水质指标分析，这些方法不仅效率低下，而且识别准确率难以保证。
开发一种高效、准确的矿井突水水源识别方法成为当前矿山安全领域亟待解决的问题。
主成分分析（PCA）和Fisher判别分析法是两种常用的数据处理和模式识别方法，它们在不同的领域中都得到了广泛的应用。
PCA通过降维的方式将多个指标转化为少数几个综合指标，这些综合指标能够反映原来指标的大部分信息，且相互独立，避免了信息的重叠。
而Fisher判别分析法则是一种线性分类器，通过求解最优的权向量和阈值，将样本投影到一条直线上，然后选择一个阈值将两类分开。
这两种方法的结合，可以实现对矿井突水水源的高效、准确识别。
本文将详细介绍基于主成分分析与Fisher判别分析法的矿井突水水源识别方法。
通过PCA对矿井突水水源的多项指标进行降维处理，提取出主要的综合指标。
利用Fisher判别分析法对这些综合指标进行分类判别，从而实现对矿井突水水源的准确识别。
通过实例验证和对比分析，证明该方法的可行性和优越性，为矿山安全生产提供有力的技术支持。
1. 矿井突水问题的严重性及其对矿井安全生产的影响矿井突水问题一直是采矿行业面临的一项重大挑战，其严重性不容忽视。
突水事件往往伴随着大量的地下水涌入矿山坑道，使得施工条件变得极为复杂，采矿成本大幅上升。
更为严重的是，突水不仅影响正常的采矿生产，甚至可能导致淹井事故的发生，给矿山工程和人员安全带来严重威胁。
在突水事故发生时，大量水流的涌入使得井巷和矿山设备遭受淹没，进而造成人员伤亡和财产损失。
突水事件还会对采矿生产造成直接影响，导致产量减少，甚至使部分矿区因无法继续开采而报废，给矿山的经济效益和资源利用带来巨大损失。
fisher分割法 比率
fisher分割法比率什么是fisher分割法？Fisher分割法，也被称为Fisher判别分析（Fisher's Discriminant Analysis），是一种经典的统计学习方法，用于在多个类别的样本中进行分类。
它基于称为Fisher判别准则的理论，通过最大化类别之间的间隔和最小化类别内部的方差，实现对样本进行有效的分类。
步骤一：收集并准备数据首先，我们需要收集并准备用于训练和测试的数据。
这些数据应包含一些已知的类别标签，以便我们可以在分类过程中评估模型的准确性。
步骤二：计算类别的均值向量在Fisher分割法中，我们需要计算每个类别的均值向量。
均值向量描述了每个类别的中心位置。
通过计算每个类别中样本的平均值，我们可以得到均值向量。
步骤三：计算类别内离散度矩阵离散度矩阵用于描述类别内部的差异程度。
我们需要计算每个类别的离散度矩阵，并将它们加权求和。
离散度矩阵可以通过计算每个样本与其类别均值之间的差异矩阵，并对其进行累积来获得。
步骤四：计算类别间离散度矩阵除了类别内离散度矩阵之外，我们还需要计算类别间的离散度矩阵。
这个矩阵描述了不同类别之间的差异程度。
它可以通过计算不同类别均值之间的差异矩阵，并对其进行加权求和来得到。
步骤五：计算投影矩阵为了有效地将样本投影到低维空间中，我们需要计算投影矩阵。
投影矩阵是通过计算类别内离散度矩阵的逆矩阵与类别间离散度矩阵的乘积而得到的。
步骤六：选择最佳阈值最后，我们需要选择一个最佳的阈值，以便将样本投影到低维空间中，并根据阈值进行分类。
选择最佳阈值的方法有很多，常见的方法是使用最大化类别间距离和最小化类别内方差的准则。
总结：Fisher分割法是一种经典的统计学习方法，用于对多个类别的样本进行分类。
它通过最大化类别之间的间隔和最小化类别内部的方差来实现分类。
该方法包括数据收集和准备、计算类别的均值向量、计算类别内离散度矩阵、计算类别间离散度矩阵、计算投影矩阵和选择最佳阈值等步骤。
fisher判别解析
引言
非参数判别分类方法的基本原理——有监督学习方法 线性分类器 近邻法 Fisher 准则线 性分类 器 感知准 则函数 线性分 类器 svm
上海大学
Shanghai University
改进的近邻法
非线性 性分类 器
上海大学
Shanghai University
为了说明向量w的意义，我们假设在该决策平面上有两个特 征向量x1与x2，则应有
w x1 w0 w x2 w0 w ( x1 x2 ) 0
T T T
其中(x1-x2)也是一个向量
上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因 此w就是该超平面的法向量。这就是向量w的几何意义。 而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该 决策平面将这两类样本按其到该面距离的正负号确定其类别。 至于w0则体现该决策面在特征空间中的位置，当w0=0时，该 决策面过特征空间坐标系原点，而 时，则 表示了坐 标原点到该决策面的距离。
主要内容
1. 线性判别函数
基本概念 几何意义
上海大学
Shanghai University
2. 广义线性判别函数 3. 设计线性分类器的主要步骤 4. Fisher线性判别
问题的提出 算法的实现 Fisher线性判别实验
计算机工程与科学学院
引言
贝叶斯决策理论
上海大学
Shanghai University
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Fisher判别分析原理详解
说起Fisher判别分析，不得不提到一个大神级人物！
Ronald Aylmer Fisher (1890～1962)
英国统计学家和遗传学家
主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。
他一生在统计生物学中的功绩是十分突出的。
•生平
1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。
1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。
他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。
1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。
1943年任剑桥大学遗传学教授。
1957年退休。
1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。
大神解决的问题
•Fisher 线性判别函数的提出：
在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，就是解决维数压缩问题。
对xn的分量做线性组合可得标量
yn=wTxn,n=1,2,…,Ni
得到N个一维样本yn组成的集合。
从而将多维转换到了一维。
考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：
(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变
换就是要寻求的解向量w*。
这两个问题就是Fisher方法要解决的基本问题。
•判别分析的一些基本公式
Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。
Fisher判别函数表达式（多元线性函数式）：
判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。
Fisher判别准则：
判别临界点：
Fisher判别分析思想：
1. 类间差异大，类内变异小，
最大
2. 方差分析的思想：以下值最大
•Fisher判别的原理
分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。
这就是Fisher准则函数的基本思路。
如下图：
假设我们的数据集D={(x1，y1),(x2，y2),...,(xmym)},其中任意样本xi为n 维向量，yi∈{0,1}。
我们定义Nj（j=0,1）为第j类样本的个数，xj（j=0,1）为第j类样本的集合，而μj（j=0,1）为第j类样本的均值向量，定义∑j为第j类样本的协方差矩阵。
下面是二者的表达式：
μj的表达式为:
∑j的表达式为：
由于是两分类的数据，因此我们只需要将数据投影到一条直线上即可。
假设我们的投影直线是向量w,则对任意一个样本,它在直线w的投影为wTxi对于两个类别的中心点μ0,μ1,在直线w的投影为wTμ0和wTμ1。
由于fisher判别需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是要最大化，同时希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差和尽可能的小，即最小化。
综上所述，我们的优化目标为：
一般定义类内散度矩阵为Sw：
同时定义类间散度矩阵Sb为:
这样我们的优化目标重写为：
上式，利用广义瑞利商性质J(w)最大值为矩阵的最大特征值，而对应的w为的最大特征值对应的特征向量。