Fisher判别
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
Fisher判别法课程设计
Fisher判别法课程设计一、教学目标本节课的教学目标是使学生掌握Fisher判别法的基本原理和应用方法。
知识目标包括：了解Fisher判别法的数学背景和原理，掌握Fisher判别函数的推导过程，理解Fisher判别法的应用场景。
技能目标包括：能够运用Fisher判别法解决实际问题，能够使用相关软件进行Fisher判别法的计算和分析。
情感态度价值观目标包括：培养学生的数据分析能力和科学思维，激发学生对统计学的兴趣和热情。
二、教学内容本节课的教学内容主要包括Fisher判别法的原理和应用。
首先，介绍Fisher判别法的基本概念和数学背景，解释判别函数的推导过程。
然后，通过实例分析，展示Fisher判别法在实际问题中的应用，如分类问题和判别分析。
最后，结合教材和课外资料，进行深入学习，探讨Fisher判别法的优缺点和适用条件。
三、教学方法为了达到本节课的教学目标，将采用多种教学方法相结合的方式进行教学。
首先，采用讲授法，系统地讲解Fisher判别法的原理和推导过程。
其次，通过案例分析法，引导学生运用Fisher判别法解决实际问题，培养学生的应用能力。
此外，还采用讨论法，鼓励学生积极参与课堂讨论，提出问题和观点，培养学生的思考能力和团队合作精神。
最后，利用实验法，让学生亲自动手进行实验，验证Fisher判别法的有效性，提高学生的实践能力。
四、教学资源为了支持本节课的教学内容和教学方法的实施，将准备以下教学资源。
首先，教材和相关参考书籍，为学生提供系统的学习材料。
其次，多媒体资料，如PPT和教学视频，用于辅助讲解和展示Fisher判别法的原理和应用。
此外，实验设备，如计算机和统计软件，用于学生进行实验和实践操作。
最后，网络资源，如学术期刊和在线课程，为学生提供更多的学习参考和拓展资料。
五、教学评估本节课的教学评估将采用多元化的评估方式，以全面、客观地评价学生的学习成果。
评估方式包括平时表现、作业和考试。
4-3_Fisher判别
3
13 44.12 15.02 1.08 15.15 103.12 64.8
3
14 54.17 25.03 2.11 25.15 110.14 63.7
3
15 28.07 2.01 0.07 3.02 81.22 68.3
3
待判 50.22 6.66 1.08 22.54 170.6 65.2
.
待判 34.64 7.33 1.11 7.78 95.16 69.3
在此最大特征值所对应的特征向量这里值得注意的是本书有几处利用极值原理求极值时只给出了不要条件的数学推导而有关充分条件的论证省略了因为在实际问题中往往根据问题本身的性质就能肯定有最大值或最小值如果所求的驻点只有一个这时就不需要根据极值存在的充分条件判定它是极大还是极小而就能肯定这唯一的驻点就是所求的最大值或最小值
从而， uBu 的极大值为 。再用 E1 左乘（4.25）式，有
(E1B I)u 0
（ 4.27）
由（4.27）式说明 为 E1B 特征值， u 为 E1B 的特征向量。在此
最大特征值所对应的特征向量 u (u1, u2 ,, u p ) 为我们所求结果。
这里值得注意的是，本书有几处利用极值原理求极值时，只
函数后，对于一个新的样品，将它的 p 个指标值代入线性 判别函数（4.19）式中求出U (X) 值，然后根据判别一定
的规则，就可以判别新的样品属于哪个总体。
二、Fisher判别函数的构造
1、针对两个总体的情形
假设有两个总体 G1, G2 ，其均值分别为 μ1 和 μ 2 ，协方差矩阵为 Σ1 和 Σ 2 。当 X Gi 时，我们可以求出 uX 的均值和方差，即
令
k
b (uμi uμ)2 i 1
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
Fisher判别函数
Fisher 判别函数的使用具体步骤Fisher 多类判别模型假定事物由p 个变量描述, 即: x=(p x x x ,...,,21)T该种事物有G 个类型, 从每个类型中顺次抽取p n n n ,...,,21个样品, 共计n=∑=Gi i1n个样品。
即从第g 类取了g n 个样品, g=1,2,⋯, G, 第g 类的第i 个样品, 用向量:gi x =(pgi gi gi x x ,...,,x 21)T (1)( 1) 式中, 第一个下标是变量号, 第二个下标是类型号,第三个下标是样品号。
设判别函数为:T x p p v x v x v x v =+++=...y 2211 （2）其中: V=(p v v v ,...,21)T按照组内差异最小, 组间差异最大同时兼顾的原则, 来确定判别函数系数。
（中间推导过程不在这里介绍了）最终就有个判别函数:,y x V Tj j=1,...,2,1s j = 一般只取前M=min(G- 1,p)个, 即:M j x v x v x v y p pj j j j ,...,2,1,...2211=+++= （3）根据上述M 个判别函数, 可对每一个待判样品做出判别。
),...,,(x 020100p x x ｘ=其过程如下:1、把x0 代入式(3) 中每一个判别函数, 得到M 个数,,...,2,1,...y 202101j 0M j x v x v x v p pj j j =+++=记：TM y y y y ),...,,(020100= 2、把每一类的均值代入式（3）得Gg y y y y G g M j x v x v x v y M gggg pg pg g g g g j g ,...,2,1),,...,,(,...2,1,,...,2,1,...212211====+++=3、计算：∑=-=Mj j j g gy y D 1202)(，从这G 个值中选出最小值：)(min 212g Gg h D D ≤≤=。
Fisher判别法
������1 ������ (1) + ������2 ������ (2) = 10.89718 ������1 + ������2
(3) 判别准则 因为：������ 1 > ������ 2 所以判别准则为：当 y>y0 时，判X ∈ ������1 当 y<������0 时，判X ∈ ������2 当 y=������0 时，待判 (4) 对已知类别的样品判别归类 序号 1 2 3 4 5 6 7 8 9 10 国家 美国 日本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2
判别结果与实际情况吻合。
(1) 建立判别函数 ������1 ������1 0.081341 ������2 = ������ −1 ������2 = 0.001664 ������3 ������3 0.001092 所以判别函数为：
y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人均gdp.
344.228
-252.240
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.006 5 .654 .231
86.057 5 -.119 .848
-63.060 5 1
发达国家
fisher判别的基本步骤
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
Fisher判别-jing
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
u 1 aX 1 , u 2 aX 2 1 1 临界值可取为u u 1 u 2 aX 1 aX 2 2 2 ˆ1u 1 ˆ 2u 2 也可取临界值u ˆ1 ˆ2
1 ni i i ˆi u u j ni 1 j 1
则判X G2
若第二个判别函数仍不能确定，再利用第三个判别函数。，直到确定了每个样本的 归属。
判别能力：pl
λ1
λ
i 1
r
，l 1,2， ，r
i m
累计判别能力： pm pl
i 1
m
λ λ
i 1 i 1 r
i
i
如果m个判别函数的累计判别能力达到所要求的值（比如90%），则认为m 个判别函数就够了。
Fisher判别准则 一、两个总体
当仅仅有两个总 时， B的秩为1，A1 B的非零特征值只有一个 记为，对应特征向量记为 a, 则线性判别函数为 u X aX
aBa
X t 和X分别为 Gt t 1,...,k ，的样样本均值和总样 均值，并记
1 k nt t X X j n t 1 j 1
组间离差阵B nt X t -X X t -X
i 1
k nt
k
t j t
合并的组内离差平方和 为A0 aX - aX
Fisher判别法
基本思想：通过将多维数据投影到某一 方向上，使得投影后类与类之间尽可能 的分开，然后再选择合适的判别准则。 费歇尔判别法就是要找一个由p个变量 组成的线性函数，使得各类内点的函数 值尽可能接近，而不同类之间的函数值 尽可能的远离
设从总体 Gt t 1,...,k 分别抽取p元样本如下：
2
ni 1 i i i i a ( X j X )( X j X ) a ni 1 j 1
Fisher判别准则
当u 1 u 2，若u X u （或u ），则判X G1 若u X u （或u ），则判X G2 若u X u （或u ），则X待判。 当u 1 u 2，若u X u （或u ），则判X G2 若u X u （或u ），则判X G1 若u X u （或u ），则X待判。
根据极值的必要条件 0 a
2 Ba 2 Aa 2 Ba 2 Aa aBa aAaaBa 0 2 2 a aAa aAa aAa aAa aAa 2 Ba 2Aa 即 0， aAa aAa Ba Aa， ABa a
即为AB的最大特征根， a为对应的特征向量。 记AB的1 2 ... r 0，对应特征向量a1 , a2 ,...,ar， 于是可以构造 r个判别函数ut X at X，， 1,2， ，r
二、多个总体
首先取判别效率最大的 1的判别函数u1 X a1' X。
’ i K个总体的均值在 a1上的投影为u1i a1 X , i 1,2,...,k，
对待判别样本X，计算其在a1上的投影，若存在唯一 i1 , 使 u1 X u1i1 ˆi
1
min
u1 X u1j ˆj
j 1, 2 ,..., k
则判X G1
如果有t个总体，使其与 u1 X 的距离相等且最小，再 利用判别函数
' u2 X a2 X来判断归属。
用T表示这t个总体的序号集，若在t个总体中，有唯一i2，使
u2 X u2i2 ˆi
2
min
j T
u2 X u2j ˆj
t 1 j1
2
k nt a nt X tj - X t X tj - X t a t 1 j1
aAa
因此，若k个总体的均值有显著差异，则比值
aBa ˆ a 应充分大。转化为求该比值的最大值。 aAa
线性判别函数的求法
1 X nt
t
1 X j , t 1,...,k j 1
nt
每个总体的数据投影后均为一元数据。对这k组一元数据进行一元方差分 析，其组间平方和为：
B0 nt aX -aX
t t 1
k
2
k a nt X t -X X t -X a i 1
X x ,...,xห้องสมุดไป่ตู้
t i t i1
t ip
, t 1,2,...,k; i 1,...,n
t
a a1 ,...,a p 为p维空间的任意向量，
u X aX 为X向以a为法线方向上的投影。 上述k个组中的p元数据投影为：
1 1 k k G1 : aX1 ,...,aX n ;..., G : a X ,..., a X 1 k 1 nk