费希尔判别法理论
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
费歇尔判别法
费歇尔判别法费歇尔判别法（Fisher's Discriminant Analysis）是一种统计学中的方法，用于寻找两个或多个分类变量中最能有效区分它们的线性组合。
这种方法最初是由英国统计学家罗纳德·费歇尔（Ronald A. Fisher）在1936年所提出。
费歇尔判别法的目标是通过将数据投影到低维空间来确定样本类别之间最明显的分离平面。
这个方法假设所有数据员来自正态分布，这使得它的结果具有很高的概率。
此外，这种方法特别适用于小样本数据，在这种情况下，其它多变量方法往往受到数据不足或对角线矩阵估计的影响。
费歇尔判别法通过将多维数据投影到一维空间上，找到最能表示数据差异的线性变量。
具体步骤如下：1. 定义问题在进行费歇尔判别分析之前，首先需要定义问题。
这个问题可以是不同的变量之间的分类问题，或者是同一变量在不同条件下的分类问题。
例如，可以通过费歇尔判别分析找到两个组的区别，这两个组的特征可以用来预测其他类似两个组。
2. 构造分类变量在对数据进行投影之前，需要将分类变量定义为正态分布。
这种变量通常为两个或更多个。
3. 计算均值和方差计算每个分类变量的均值和方差，以用于后面的投影计算。
4. 计算类内离散度矩阵类内离散度矩阵是指每个类别内所有点与该类别均值之间的距离的累加和。
这个矩阵用来衡量类的内部分散程度，通常使用矩阵的矩阵乘法来进行计算。
5. 计算类间离散度矩阵类间离散度矩阵是指不同类别均值之间的距离的累加和。
这个矩阵用来衡量类别之间的分散程度，也通常使用矩阵的矩阵乘法来进行计算。
6. 计算特征值和特征向量计算类内离散度矩阵和类间离散度矩阵的特征值和特— 1 —征向量。
这些值可以使用线性代数中的方法计算。
一般来说，特征向量是正交（perpendicular）的。
7. 选取最大特征值从计算出的特征值中找到最大特征值，找到最大特征值所对应的特征向量。
这个特征向量就是数据的主要方向，也被称为“判别变量”。
费希尔判别法的基本思想
费希尔判别法的基本思想
费希尔判别法，又称Fisher LDA(Linear Discriminant Analysis）或Fisher 正则化，是一种多变量分类分析技术，是20世纪30年代由英国统计学家菲舍尔第一次提出的。
该技术具有某种正则属性，可实现二分类或多分类分析，并有助于综合对各个分类因素的重要性程度快速排序。
费希尔判别法最重要的特性在于它专注于各个分类变量之间的相关性，可生成一组权重因子，分析出最有价值的分类变量，并可以用权重因子对每个样本进行评分，使系统能够可靠地把新输入的样本归入不同分类范畴。
在高等教育中也可以使用费希尔判别法。
例如，学校可以使用费希尔判别法仔细评估潜在学生的申请材料，从而能够准确地确定学生的入学标准。
它还可以用于确定高考考生的排名，从而根据得分和预测可能的能力来确定学生的合格程度。
它还可以帮助学校确定最具有吸引力的课程，这些课程可能对学生有更多的吸引力，也可能带来更多的利益。
此外，费希尔判别法还可以帮助高校管理者评估校园安全情况，并减少校园内犯罪行为的发生，提升学生的学习环境。
费希尔判别法还可以用来及时识别学生表现出来的异常问题，从而及早发现学生在生活上表现出来的社会问题，从而及早给学生提供危机意识教育。
事实上，费希尔判别法是目前高等教育中被广泛应用的一种数据挖掘技术，可以帮助高校管理者更加精确地识别出进入学校的入学生，根据学生的资历做出正确的判断，确定最适合学生发展的课程，帮助学校管理者评估校园安全情况，并为高校提高学生的学习效率和学习质量做出贡献。
fisher判别的基本步骤
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
简述fisher判别的基本思想
简述fisher判别的基本思想一、关于fisher判别在零和博弈的环境下，当各自利益都为零时，会做出什么选择？其中，局中人A是指在与B的交易中获得好处的人，而B则指因此而损失的人。
不管从哪一个角度考虑，局中人A都不会自己吃亏，他一定会想办法将自己的损失补偿给对方。
因此，从A到B的行动是单方面的。
为了对这种行动作出客观评价，我们假定： 1、局中人A 获得正收益； 2、局中人B获得负收益。
在这样的背景下，博弈方应该如何评价局中人A的行为？这就需要引入一个分析工具——fisher判别法。
fisher判别方法要求：每个局中人都会选择和自己利益最大化相等的行动，而不管别人如何。
因此，一个局中人的行动仅仅取决于它对另一个局中人所得利益的期望。
因为B的利益和A的利益总是相等的，即B的收益为-0，因此B的行动对A而言无关紧要。
如果局中人A的行动对B来说有很大影响，那么即使B不采取任何行动，也能够保证A自己的利益最大化，那么它也会采取一些行动。
fisher分析是解决寡头垄断的重要手段。
上世纪70年代以前，荷兰的壳牌公司(荷兰皇家石油公司)是唯一一家占有全国市场的企业。
通过在全国建立广泛的销售网络，荷兰皇家石油公司控制了几乎全部的石油产品市场。
为了反击荷兰皇家石油公司对竞争者的排挤，其他公司纷纷效仿荷兰皇家石油公司，设立全国性销售网络，实现地区范围内的联合销售，并在若干个城市设立销售公司。
这样，一个庞大的跨地区石油销售网络就形成了，而原先各企业各自为战的情况也逐渐改变，甚至消失。
荷兰皇家石油公司从独霸市场到“共存共荣”，完全是由于fisher分析技术的发展。
可见， fisher分析方法的实质是：在一个竞争性环境中，博弈各方最优决策问题可表述为：对于各博弈方而言，如何做出各自最优的个人决策？fisher分析主要适用于零和博弈情形。
如果存在多个纳什均衡点，但这些均衡点没有明显的共同点，而是由局中人的个人偏好、资源约束和实际可能达成的结果共同决定的。
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
费希尔判别费希尔判别（或称典型判别）的基本思想是投影（或降维）：用p维向量x （X i,X2, X p）的少数几个线性组合（称为费希尔判别函数或典型变量）y i a i x, y2 a?x, y x （—般r明显小于p ）来代替原始的p个变量X i,X2, X p，以达到降维的目的，并根据这r个判别函数y i,y2, *对样品的归属做出判别或将各组分离。
成功的降维将使样品的归类或组的分离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。
在降维的过程中难免会有部分有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保留尽可能多的有用信息，即关于能够反点画于直角坐标系上，一组的样品点用“肿表示，另一组的样品点用“c”表示。
假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进行判别，则投影到不同的直线上，判别的效果一般是不同的。
从图中可见,如果两组的点都投影到直线 z 上则这两组的投影点在该直线上的分布几乎无任何差异，他们完全混合在一起，我们无法将这两组的点区别开来， 这样的降维把 反应两组间差异的信息都给损失了， 显然是不可取的。
事实上，最好的投影是投 影到直线y 上，因为它把两组的投影点很清楚地区分了开来， 这种降维把有关两 组差异的信息很好地保留了下来，几乎没有任何损失，如此就完全可以在一维的 直线上作判别分析。
我们现考虑在R p中将k 组的p 维数据向量投影到某个具有最佳方向的 a 上, 即投影到a 上的点能最大限度地显现出各组之间的差异。
设来自组i 的p 维观测值为X j ，j=1,2, ,n i ，i=l,2, ,k ，将它们共同投影 到某一 p 维常数向量a 上，得到的投影点可分别对应线性组合y j =a x 0，j=1,2, ,n i ，i=1,2, ,k 。
这样，所有的p 维观测值就简化为一维观测值。
下面 我们用％表示组i 中y j 的均值，y 表示所有组k 组的y 0的总均值，即对于任一用来投影的a ，我们需要给出一个能反映组之间分离程度的度量 比较图 中的上、下半图，上半图三组均值之间的差异程度与下半图是相同的，而前者组之间的分离程度却明显高于后者， 原因就在于前者的组内变差要远小于 后者，后者组之间有较多重叠。
因此，可以考虑将组之间的分离程度度量为相对 其组内变差的组间变差。
在以下的讨论中，我们需假定各组的协方差矩阵相同，n i j iy ja X i式中nX i1 nixij， n j 1a X i1 k- n i X i o n i 1n in可用来度量y j 的组之间分离程度的一个量是(a)达到最大。
由于对任意非零常数c ，用ca 代替上式中的a ， (a)将保持不变，故考虑对a 加以约束。
我们希望判别函数y ax 具1S p — E 替代，所以a 的约束条件实际应为a S p a 1，即判别函数的联合样本 n k方差为1。
y j 的组间平方和SSTRk ___式中 H n i (X i x)(x ii 1SSEk式中E(n i i 11)SmWy)2k__口 (a X i a x)2aHax)为组间平方和及叉积和矩阵。
y j 的组内平方和n __kn i (y ij y i )2j 1山__(a x ij a X i )2 a Eaj 1ni ____(X ij X i )(X ij X i ) i 1 j 1为组内平方和及叉积和矩阵。
(a)SSTR a Ha SSE a Ea我们应选择这样的a ，使得有单位方差，即V(ax) a a 1，但因未知，于是用其联合无偏估计图三组之间的分离程度设E 1H的全部非零特征值依次为i 2 s 0，这里s ran k（H），且有s min（k 1, p）（ 5.4.2 ）（通常情况下上式等号成立），相应的特征向量依次记为 t1,t2, ,t s （标准化为 t j S p t j 1 , i 1,2, ,s ）。
由（1.8.5）式知，当 a i t i 时（aj 达到最大值i。
所以，选择投影到t i上能使各组的投影点最大限度地分离，称y i=t i x为费希尔第一线性判别函数，简称第一判别函数。
在许多情况下（如组数 k 是大的，或者原始的数据向量维数 p 是大的），仅仅使用第一判别函数也许不够，因为仅在这一个投影方向上组之间的差异可能还不够清晰，各组未能很好地分开。
这时，我们应考虑建立第二线性组合y2=a2 x，为使降维最具效率，应要求y2 （在线性关系的意义上）不重复 y i 中的信息，即Co（v y i,y2）=Co（v t i x,a2 x）=t i a2 0用S p代替未知的，于是我们在约束条件t i S p a20（或 t| Ea20）下寻找a2，使得（a?）达到最大。
按（1.8.6）式，当a? t?时（a?）达到最大值2，称y2=t 2 x为第二判别函数。
如还不够，可再建立第三判别函数 y3，依次类推。
一般地，我们要求第i个线性组合y i=a i x不重复前i 1个判别函数中的信息，即Co（v y j ,y i）=Co（v t j x,a i x）=t j a i 0， j= i,2, ,i i用S p代替，上式变为t j Spq 0（或 -Eq 0），j=1,2, ,i 1我们希望在约束条件（）下寻找a i，使得（a）达到最大。
由（1.8.6）式知，当 a i t i时（a）达到最大值i，称y i=t i x为第i判别函数，i=2,3, ,s。
附：1.85-1.86设A 是p 阶对称矩阵，B 是p 阶正定矩阵，i 2p是B 1A 的p 个特征值，相应的一组特征向量t it , ,t p ，满足t i Bt j =0 , 1 i j p ，则(i)x Ax max — x 0 x Bx(ii)max xAx= i(当x=t i 时达到)，i=2,3, , pxBtk 0 、=1, ,i 1 x 0综上所述，费希尔判别函数具有这样一些特点：（1）各判别函数都具有单位 （联合样本）方差；（2）各判别函数彼此之间不相关（确切地说，是彼此之间的 联合样本协方差为零）；（3）判别函数方向t 1,t 2, ,t s 并不正交，但作图时仍将它 们画成直角坐标系，虽有些变形，但通常并不严重。
依（5.4.2 ）式可知，组数k=2时只有一个判别函数，k=3时最多只有两个判 别函数。
这从直观上也不难理解，（不重合的）两个组重心（即组均值点）可在 （一维）直线上有最大分离，（不在一直线上的）三个组重心也可在（二维）平 面上有最大分开。
一般地，由全部 s 维空间可最大限度地分离k 个组重心。
（t i ） i 表明了第i 判别函数y i 对分离各组的贡献大小，y i 在所有s 个判别函数中的贡献率为s i /i jj=1而前r （ s ）个判别函数y 1,y 2, ,y r 的累计贡献率为（当x=t 1时达到） .x Ax min x 0 x Bx（当x=t p 时达到）si=1它表明了 ％肆2, ,y 「能代表wz, ,y 进行判别的能力。
在实际应用中，通常我 们并不使用所有s 个判别函数，除非s 很小，因为费希尔判别法的基本思想就是 要降维。
如果前 r 个判别函数的累计贡献率已达到了一个较高的比例（如 75%~95% ），则就采用这r 个判别函数进行判别。
在确定了需使用的r 个判别函数Y I ，Y 2, ,y r 之后，可制定相应的判别规则。
由于各判别函数都具有单位方差且彼此不相关，故此时的马氏距离等同于欧式距那一组，即判别规则为如果只使用一个判别函数进行判别（即r=1），则（5.4.6 ）式可简化为x l ，若 y Y I = mW y 耳 （5.4.7）1 i k式中 y 和 y i （i=1,2, ,k ）分别是（5.4.6）式中的 ％和 % （i= 1,2, , k ）。
有时我们也使用中心化的费希尔判别函数，即y i =t i （x x ），i=1,2, ,s1 k ni式中x=2X ij 为k 个组的总均值，仍使用（5.4.6）式进行判别。
n i= 1 j=1r i=1 离。
我们米用距离判别法，依据（y i ,y 2.,y r ）值，判别新样品归属离它最近的xl ，若r(y j j=1Y u )2r 吧j1(yj汀(546 )1 ni其中 y ij =t j x ， x=X j n i j=1，y ij 为第判别函数在组i 的样本均值y i =（y i , y i2, ,%）的平方欧式距离, i=1,2, ,k 。
（5.4.6）式也可表达为X l ，若[t j (x X l )]j=1mi n k[t j (x x)]2j 1例5.4.1 （有用结论）组数k=2时的费希尔判别E 1H= 1(x i x 2)(x i x 2) m n 2有唯一的非零特征值此，费希尔判别函数为y=(又 X 2) S p 1x由于x=n 1x 1 n i门2乂 2 n 2故组间矩阵 x-i x= n2 (X |n j n 2X 2) , X 2x= ni (X 2 X) n j n 2H n 1(x 1 X)(£ x) n 2(x 2 x)(x 2 x)niPn 1 n 2 (x-x 2 )(x - %)假设组内矩阵E 是可逆的（必须有n i n 2 2 p ）,则有1.6一中的性质（2）知门小2n n(% 1 -X 2) E (人 X 2)这是一个正数（因为E>0 ）。
令a 为相应的特征向量，它应满足(H E)a 0即于是Ha= Ea门小2n 1门 2(X 1 X 2)(X 1 X 2)a 二 (X 1 1 x 2) E (x 1 x 2)Ea 易见，a=S p 1(x 1X 2）满足上述方程, 这里S p =n 1 n 2尹为联合协方差矩阵按（547 ）式，判别规则为其中 y i =(X i X 2) S p 1X i , V 2=(X iV 2= (X i X 2) S p 1(X i X 2)0 ,y i >y 2。
因此，上述判别规则等价于也可以表达为11 1,右(X X 2)S p 1[X 2(X i卄 __11 _2，右(E X 2)S p [X(X 1 2此正为（5.2.6）式。
上例表明，对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判别, 对两个正态组也等价于协方差相等且先验概率和误判代价也均相同的贝叶斯判 别。
当使用的判别函数个数r=2时，可将各样品的两个判别函数得分画成平面直 角坐标系上的散点图，用目测法对新样品的归属进行判别或对来自各组样品的分 离情况及结构进行观测评估。
当r=3时，可利用SAS 的交互式数据分析菜单系 统，让样本中来自不同组的样品点呈现不同颜色（或不同形状）以区分各组，然 后作（三维）旋转图从多角度来辨别新样品的归属或观测评估各组之间的分离效 果，但其目测效果一般明显不如r=2时清楚。