fisher判别准则
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
2
∑( y
i =1
na
ai
− y a ) + ∑ ( y bi − y b ) 2
2 i =1
nb
类内散度足够小 类间散度足够大
= max na
(c1 xA1 + L+ cm xAm − c1 xB1 − L− cm xBm)2
两总体的Fisher判别法 判别法 两总体的
m 1 m 2( ∑ c j d j )d j = 2∑ c l s jl I j =1 l =1
令 有 亦即
β=
∑c d
l =1 l
m
l
I
m
βd j = ∑ c l s jl
l =1
( j = 1,2,L , m )
s11 c1 + s12 c 2 + L + s1m c m = βd 1 s 21 c1 + s 22 c 2 + L + s 2 m c m = βd 2 M L M M M s m 1 c1 + s m 2 c 2 + L + s mm c m = βd m
） ( i = 1,2, L , na )（4.3） 的重心， 的重心，记为 （4.4） ）
y( X )平面上投影点 y ai ( i = 1,2, L , na )
ya =
1 ( y a 1 + L + y ana ) = c1 x A1 + L + c m x Am na
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
简述fisher判别的基本思想
简述fisher判别的基本思想一、关于fisher判别在零和博弈的环境下，当各自利益都为零时，会做出什么选择？其中，局中人A是指在与B的交易中获得好处的人，而B则指因此而损失的人。
不管从哪一个角度考虑，局中人A都不会自己吃亏，他一定会想办法将自己的损失补偿给对方。
因此，从A到B的行动是单方面的。
为了对这种行动作出客观评价，我们假定： 1、局中人A 获得正收益； 2、局中人B获得负收益。
在这样的背景下，博弈方应该如何评价局中人A的行为？这就需要引入一个分析工具——fisher判别法。
fisher判别方法要求：每个局中人都会选择和自己利益最大化相等的行动，而不管别人如何。
因此，一个局中人的行动仅仅取决于它对另一个局中人所得利益的期望。
因为B的利益和A的利益总是相等的，即B的收益为-0，因此B的行动对A而言无关紧要。
如果局中人A的行动对B来说有很大影响，那么即使B不采取任何行动，也能够保证A自己的利益最大化，那么它也会采取一些行动。
fisher分析是解决寡头垄断的重要手段。
上世纪70年代以前，荷兰的壳牌公司(荷兰皇家石油公司)是唯一一家占有全国市场的企业。
通过在全国建立广泛的销售网络，荷兰皇家石油公司控制了几乎全部的石油产品市场。
为了反击荷兰皇家石油公司对竞争者的排挤，其他公司纷纷效仿荷兰皇家石油公司，设立全国性销售网络，实现地区范围内的联合销售，并在若干个城市设立销售公司。
这样，一个庞大的跨地区石油销售网络就形成了，而原先各企业各自为战的情况也逐渐改变，甚至消失。
荷兰皇家石油公司从独霸市场到“共存共荣”，完全是由于fisher分析技术的发展。
可见， fisher分析方法的实质是：在一个竞争性环境中，博弈各方最优决策问题可表述为：对于各博弈方而言，如何做出各自最优的个人决策？fisher分析主要适用于零和博弈情形。
如果存在多个纳什均衡点，但这些均衡点没有明显的共同点，而是由局中人的个人偏好、资源约束和实际可能达成的结果共同决定的。
Fisher判别-jing
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
数据挖掘——Fisher判别课件
组A
A A ( x11 , x12 ,, x1Ap ) A A A ( x 21 , x 22 ,, x 2 p ) A A ( x sA , x , , x ) 1 s 2 sp
组B
B B B ( x11 , x12 ,, x1 p ) B B B ( x , x , , x ) 21 22 2p B B ( x tB , x , , x ) 1 t 2 tp
9 8.29 7 8.29 10 8.29 A 8 8.29 9 8.29 8 8.29 7 8.29 8 6.43 7 6.00 6 6.43 6 6.00 7 6.43 8 6.00 4 6.43 5 6.00 9 6.43 3 6.00 6 6.43 7 6.00 5 6.43 6 6.00
x2
X X X
X X X X o o o X X
X X X X o o o o o o
？
o o o o o o o
若我们能找到分界直线 C0+c1x1+c2x2=0 则可用其进行预测。即判断（价格， 收入）点落在什么区域。
x1
判别分析的基本思想
假设有p个预测因子
x1, x2 ,, x p
,有n组观测值，
A B c x x 1 0.128 1 1 c S 1 x A x B 0.072 2 2 2 A B 0.099 c x x 3 3 3
Fisher线性判别
3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。
这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。
（R.A.Fisher，1936）下面我们用表示待求的。
图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。
为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。
我们的目标是，求使最大。
（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。
对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。
由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。
这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
fisher判别准则
Fisher判别准则是一种分类算法，主要用于将多维数据分为两
个类别。
该算法的核心是通过最大化类别间距离和最小化类别内部距离来确定决策边界，从而实现对新数据的分类。
具体来说，该算法首先计算每个类别的均值向量和协方差矩阵，然后通过类别间距离和类别内部距离的比值来确定最佳的决策边界。
决策边界可以用一个线性方程表示，因此该算法也称为线性判别分析（LDA）。
由于Fisher判别准则考虑了类别间的差异和类别内部的相似性，因此在处理高维数据时表现出色。
同时，该算法还可以用于特征选择和降维，有助于简化数据处理过程。
总之，Fisher判别准则是一种有效的分类算法，可用于处理多
维数据和进行特征选择。
在实际应用中，可以根据具体问题的性质选择适合的分类算法并进行实验验证。
- 1 -。