Fisher判别-jing
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
2
∑( y
i =1
na
ai
− y a ) + ∑ ( y bi − y b ) 2
2 i =1
nb
类内散度足够小 类间散度足够大
= max na
(c1 xA1 + L+ cm xAm − c1 xB1 − L− cm xBm)2
两总体的Fisher判别法 判别法 两总体的
m 1 m 2( ∑ c j d j )d j = 2∑ c l s jl I j =1 l =1
令 有 亦即
β=
∑c d
l =1 l
m
l
I
m
βd j = ∑ c l s jl
l =1
( j = 1,2,L , m )
s11 c1 + s12 c 2 + L + s1m c m = βd 1 s 21 c1 + s 22 c 2 + L + s 2 m c m = βd 2 M L M M M s m 1 c1 + s m 2 c 2 + L + s mm c m = βd m
） ( i = 1,2, L , na )（4.3） 的重心， 的重心，记为 （4.4） ）
y( X )平面上投影点 y ai ( i = 1,2, L , na )
ya =
1 ( y a 1 + L + y ana ) = c1 x A1 + L + c m x Am na
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
fisher判别准则
fisher判别准则
Fisher判别准则是一种分类算法，主要用于将多维数据分为两
个类别。
该算法的核心是通过最大化类别间距离和最小化类别内部距离来确定决策边界，从而实现对新数据的分类。
具体来说，该算法首先计算每个类别的均值向量和协方差矩阵，然后通过类别间距离和类别内部距离的比值来确定最佳的决策边界。
决策边界可以用一个线性方程表示，因此该算法也称为线性判别分析（LDA）。
由于Fisher判别准则考虑了类别间的差异和类别内部的相似性，因此在处理高维数据时表现出色。
同时，该算法还可以用于特征选择和降维，有助于简化数据处理过程。
总之，Fisher判别准则是一种有效的分类算法，可用于处理多
维数据和进行特征选择。
在实际应用中，可以根据具体问题的性质选择适合的分类算法并进行实验验证。
- 1 -。
数据挖掘——Fisher判别课件
组A
A A ( x11 , x12 ,, x1Ap ) A A A ( x 21 , x 22 ,, x 2 p ) A A ( x sA , x , , x ) 1 s 2 sp
组B
B B B ( x11 , x12 ,, x1 p ) B B B ( x , x , , x ) 21 22 2p B B ( x tB , x , , x ) 1 t 2 tp
9 8.29 7 8.29 10 8.29 A 8 8.29 9 8.29 8 8.29 7 8.29 8 6.43 7 6.00 6 6.43 6 6.00 7 6.43 8 6.00 4 6.43 5 6.00 9 6.43 3 6.00 6 6.43 7 6.00 5 6.43 6 6.00
x2
X X X
X X X X o o o X X
X X X X o o o o o o
？
o o o o o o o
若我们能找到分界直线 C0+c1x1+c2x2=0 则可用其进行预测。即判断（价格， 收入）点落在什么区域。
x1
判别分析的基本思想
假设有p个预测因子
x1, x2 ,, x p
,有n组观测值，
A B c x x 1 0.128 1 1 c S 1 x A x B 0.072 2 2 2 A B 0.099 c x x 3 3 3
Fisher线性判别
3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。
这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。
（R.A.Fisher，1936）下面我们用表示待求的。
图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。
为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。
我们的目标是，求使最大。
（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。
对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。
由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。
这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。
关于fisher判别的一点理解
关于fisher判别的⼀点理解最近⼀个朋友问这⽅⾯的⼀些问题，其实之前也就很粗略的看了下fisher，真正帮别⼈解答问题的时候才知道原来⾃⼰也有很多东西不懂。
下⾯⼩结下⾃⼰对fisher判别的理解：其实fisher和PCA差不多，熟悉PCA的⼈都知道，PCA其实就是在寻找⼀个⼦空间。
这个空间怎么来的呢，先求协⽅差矩阵，然后求这个协⽅差矩阵的特征空间（特征向量对应的空间），选取最⼤的特征值对应的特征向量组成特征⼦空间（⽐如说k个，相当于这个⼦空间有k 维，每⼀维代表⼀个特征，这k个特征基本上可以涵盖90%以上的信息）。
那么我们把样本投影在这个⼦空间，原来那么多维的信息就可以⽤这k维的信息代替了，也就是说降维了。
⾄于PCA为啥要⽤求协⽅差矩阵然后求特征⼦空间的⽅法，这个数学上有证明，记得在某篇⽂章上看过，有兴趣的可以找找，看看证明。
那么fisher空间⼜是怎么⼀回事呢，其实fisher判别和PCA是在做类似的⼀件事，都是在找⼦空间。
不同的是,PCA是找⼀个低维的⼦空间，样本投影在这个空间基本不丢失信息。
⽽fisher是寻找这样的⼀个空间，样本投影在这个空间上，类内距离最⼩，类间距离最⼤。
那么怎么求这个空间呢，类似于PCA，求最⼤特征值对应的特征向量组成的空间。
当我们取最⼤⼏个特征值对应的特征向量组成特征空间时（这⾥指出，最佳投影轴的个数d<=c-1，这⾥c是类别数），最佳投影矩阵如下：其实在⽂章Eigenfaces vs Fisherfaces ：recognition using class specific linear projection中给出了PCA和LDA⽐较直观的解释，⽂中对⼀个⼆维的数据进⾏分析,PCA和LDA都是把⼆维数据降到⼀个⼀维空间，那么其实PCA使得数据投影在这个⼀维空间总的离散度最⼤，我的理解是这样的，如果数据在某⼀维上⽐较离散，说明这维特征对数据的影响⽐较⼤，也就是说这维特征是主成分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
判别分析— Fisher判别
景元萍 数理部
一.判别问题 二.两组判别分析基本思想 三.Fisher判别准则和判别函数 四.计算步骤 五.判别函数的检验 六.应用举例
一.判别问题
在我们的日常生活和工作实践中，常常会遇到判别分 析问题，即根据历史上划分类别的有关资料和某种最优准 则，确定一种判别方法，判定一个新的样本归属哪一类。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等 病人的资料，记录了每个患者若干项症状指标数据。现在 想利用现有的这些资料找出一种方法，使得对于一个新的 病人，当测得这些症状指标数据时，能够判定其患有哪种 病。又如，在天气预报中，我们有一段较长时间关于某地 区每天气象的记录资料（晴阴雨、气温、气压、湿度等）， 现在想建立一种用连续五天的气象资料来预报第六天是什 么天气的方法。这些问题都可以应用判别分析方法予以解 决。
1）当 y A y0 时，若 y y0 则判别该对象属于组A，若 y y0 判别该对象属于组B。 2）当 yB y0 时，若 y y0 判别该对象属于组B，则若 y y0 则判别该对象属于组A。
五.判别函数的检验
前面已经说过，在进行两组判别时，首先要求来自两 组的原始数据必须有明显的区别，或者说从统计意义上 讲，两组应给有明显的不同，否则我们所作的判别就没
三.Fisher判别准则和判别函数
假设预测因子有p个指标，即 x1 , x2 , x p ，有n组 观察或调查得到的数据。判别分析就是要根据这些数 据，在适当的判别准则下，确定判别函数：
y c1 x1 c2 x2 c p x p 并找出临界值 y0 。 我们将要判别的两组分别标记为A和B（如A代表 畅销，B代表滞销）.对于p个判别指标。不妨设组A有 s组数据，组B有t组数据，n=s+t，现将数据分组如下：
这种预测分析的方法就是判别分析法。在利用这种方 法时必须要求畅销期的数据和滞销期的数据之间有一条较 明显的分界线，对这一点，我们后面将进一步阐述。 我们令
y c1 x1 c2 x2
称此函数为线性判别函数，称 y0 c0为临界值。 进行判别分析就是要在某种最优准则下，确定线性判
别函数的系数 c1 , c2 以及临界值 c0 。
把这类问题用数学语言来表达，可以叙述如下： 设有n个样本，对每个样本测得p项指标（变量）的数 据，已知每个样本属于k个类别（或总体）G1，G2， …，Gk 中的某一类，且它们的分布函数分别为F1(x)，F2(x)， …，
Fk(x)。我们希望利用这些数据，找出一种判别函数，使得这
一函数具有某种最优性质，能把属于不同类别的样本点尽可 能地区别开来，并对测得同样p项指标（变量）数据的一个新 样本，能判定这个样本归属于哪一类。
即
x10 x11 c1 0 1 c2 x2 x2 S 1 0 c x x1 p p p
（5）写出判别函数
y c1 x1 c2 x2 c p x p
（6）算出组A，组B的代表的判别值
下面反过来思考整个问题，假定用 y l1 x1 l2 x2 l p x p 作为判别函数，则组A的数值对应的判别值为
0 0 y10 l1 x11 l2 x12 l p x10p
0 0 0 0 y2 l1 x21 l2 x22 l p x2 p
二.两组判别问题的基本思想
例如 设某种产品的市场情况有“畅销”，“滞 销”两种，我们要预测产品在一个时期是“畅销” 还是“滞销”。
根据过去的销售情况可知，该产品销路好坏与价格有 关，也和市民的收入有关，因此可以用产品的价格和市民 的收入这两个量去预测该产品的销路的好坏。 以 x1 代表产品的价格，以 x2 表示市民的收入。现在 假定调查了n个时期，得到n组数据。这n组数据反应的有 畅销的也有滞销的，不妨设有r组畅销，l组滞销（l=n-r）， 则可将n组数据分组如下：
0 ys0 l1 xs01 l2 xs02 l p xsp
组B的数值对应的判别值为
1 1 1 1 y1 l1 x11 l2 x12 l p x1 p
y1 l1 x1 l2 x1 l p x1 p 2 21 22 2
1 y l x l2 xt12 l p xtp 1 t 1 1 t1
y1 2 又 y10 , y20 , ys0 同属于组A， 1 , y1 , yt1 同属于组B我们 希望它们于期其代表之间的差距越小越好，即
（2） ( y y ) ( yi1 y 1 )2 越小越好。
s
t
上述（1），（2）就是Fisher提出的最优判别准则。
i 1
0 i
0 2
S1 AA, S2 BB, S S1 S2
（4）可以证明，最优判别函数系数 c1 , c2 , c p 为下 述方程的解
c1 x10 x11 0 1 c2 x2 x2 S 0 c x x1 p p p
0 y A c1 x10 c2 x20 c p x p
1 1 yB c1 x11 c2 x2 c p x p
sy A tyB y0 st
（7）作判别。有一判别的对象若其数据为 ( x01 , x02 ,, x0 p ) ， 则其判别值为
y c1 x01 c2 x02 c p x0 p
有意义，为此需进行统计检验。
首先检验两组在统计意义上是否有明显区别是有一定 困难的，通常转化成检验最优判别函数是否有效。步骤
如下：
（1）计算统计量
s t s t p 1 F y A yB st p
（2）对给定的显著性水平 ，从F分布表里查出
F ( p, s t p 1)
（3）检验结果：若 F F ( p, s t p 1) ，说明所作的判别函 数有效，从而可以用来作判别；若 F F ( p, s t p 1) 说明所作的判别函数无效，不能用来作判别分析。
六.应用举例
例
设某外贸公司生产一种产品，为正式上式之前，将样 品寄往12个国家的进口代理商，并附意见调查表，要求对 该产品进行评估。评估的内容有式样，包装，耐久性三个 方面。评估的结果采用10分制计分，评估后并被要求说明 是否愿意购买，调查结果列入表1中，表中的分数，高者 表示代理商认为其特性良好，否则即较差。 今有第13个国家的进口代理商对该产品的评分分别是： 式样9分，包装5分，耐久性4分，要预测该国是否愿意购 买该产品。
0 0 ( x11 , x12 )
1 1 ( x11 , x12 )
畅销组
(x , x )
0 21 0 r1
0 22
滞销组
( x1 , x1 ) 21 22
( x , xl12 )
1 l1
(x , x )
0 r2
将这n组数据标在平面上，以“ ”表示畅销组所对 应的点，以“ ”表示滞销数据对应的点，若能得到如图 所示的点聚图，即产品畅销时期的数据和滞销时期的数据 x2 有较为明显的区别 l
又作
y0
1 yi0 s i 1
s
，
1 t 1 y 1 yi t i 1
0 1 即 y 为组A的代表， y 为组B的代表。
我们通过判别值y来进行判别，为使组A同组B之间有 明显的区别，自然希望它们的代表值之间的差距越大越 好。即 （1） y 0 y 1 )2 越大越好； (
1
1
1
（2）算出各组数据的代表，即平均值
1 s 0 x xij s i 1 1 s 1 1 x j xij s i 1