Fisher判别函数
Fisher判别分析原理详解
Fisher判别分析原理详解说起Fisher判别分析，不得不提到一个大神级人物！Ronald Aylmer Fisher (1890～1962)英国统计学家和遗传学家主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。
他一生在统计生物学中的功绩是十分突出的。
•生平1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。
1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。
他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。
1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。
1943年任剑桥大学遗传学教授。
1957年退休。
1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。
大神解决的问题•Fisher 线性判别函数的提出：在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，就是解决维数压缩问题。
对xn的分量做线性组合可得标量yn=wTxn,n=1,2,…,Ni得到N个一维样本yn组成的集合。
从而将多维转换到了一维。
考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变换就是要寻求的解向量w*。
这两个问题就是Fisher方法要解决的基本问题。
•判别分析的一些基本公式Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。
Fisher判别函数表达式（多元线性函数式）：判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。
Fisher判别准则：判别临界点：Fisher判别分析思想：1. 类间差异大，类内变异小，最大2. 方差分析的思想：以下值最大•Fisher判别的原理分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。
4-3_Fisher判别
3
13 44.12 15.02 1.08 15.15 103.12 64.8
3
14 54.17 25.03 2.11 25.15 110.14 63.7
3
15 28.07 2.01 0.07 3.02 81.22 68.3
3
待判 50.22 6.66 1.08 22.54 170.6 65.2
.
待判 34.64 7.33 1.11 7.78 95.16 69.3
在此最大特征值所对应的特征向量这里值得注意的是本书有几处利用极值原理求极值时只给出了不要条件的数学推导而有关充分条件的论证省略了因为在实际问题中往往根据问题本身的性质就能肯定有最大值或最小值如果所求的驻点只有一个这时就不需要根据极值存在的充分条件判定它是极大还是极小而就能肯定这唯一的驻点就是所求的最大值或最小值
从而， uBu 的极大值为 。再用 E1 左乘（4.25）式，有
(E1B I)u 0
（ 4.27）
由（4.27）式说明 为 E1B 特征值， u 为 E1B 的特征向量。在此
最大特征值所对应的特征向量 u (u1, u2 ,, u p ) 为我们所求结果。
这里值得注意的是，本书有几处利用极值原理求极值时，只
函数后，对于一个新的样品，将它的 p 个指标值代入线性 判别函数（4.19）式中求出U (X) 值，然后根据判别一定
的规则，就可以判别新的样品属于哪个总体。
二、Fisher判别函数的构造
1、针对两个总体的情形
假设有两个总体 G1, G2 ，其均值分别为 μ1 和 μ 2 ，协方差矩阵为 Σ1 和 Σ 2 。当 X Gi 时，我们可以求出 uX 的均值和方差，即
令
k
b (uμi uμ)2 i 1
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
线性判别函数-Fisher
Fisher线性判别
问题中的维数问题
降低维数
把d维空间中的样本 投影到一条直线上
Fisher线性判别
把同一组样本点向两个不同的方向作投影。 （右图更易分开）
始于R.A.Fisher(1936年）
Fisher法解决的基本问题：
如何根据实际情况找到一条最好的、最易于分类的投 影线。
d维到一维的数学变换
1
2
1
2
b
化简分母：
S~2 y m~ 2 wT x wT m 2
i
yYi
i
xX i
i
wT x m x m T w wT S w
xX i
i
i
i
S~2 S~2 wT S S w wT S w
1
2
1
2
w
w
b
w* S S 1 w* S m 1 m R
w
b
w
1
2
忽略比
w* R S 1 m m 例因子
w
1
2
w* S m 1 m
w
1
2
w*为准则函数的极大值解，即为X空间到Y空间的最佳投影方向。
根据变换公式：
y wT x , n 1,2,..., N
广义线性判别函数
在一维空间中，线性函数不能解决下述分类问题 （黑红各代表一类数据），可见线性判别函数有一 定的局限性。
为解决上述分类问题，我们建立一个二次 判别函数
g(x)=(x–a)(x–b)
=c0+c1x + c2x*x 决策规则仍是：如果g(x)>=0，则判定x属
fisher判别式
Fisher 线性判别式前面讲过的感知器准则、最小平方和准则属于用神经网络的方法解决分类问题。
下面介绍一种新的判决函数分类方法。
由于线性判别函数易于分析，关于这方面的研究工作特别多。
历史上，这一工作是从R.A.Fisher 的经典论文（1936年）开始的。
我们知道，在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高(d )维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
另外，即使样本在高维空间里聚集成容易分开的群类，把它们投影到一条任意的直线上，也可能把不同的样本混杂在一起而变得无法区分。
也就是说，直线的方向选择很重要。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w 。
1．线性投影与Fisher 准则函数在21/w w 两类问题中，假定有n 个训练样本),....,2,1(n k x k =其中1n 个样本来自i w 类型，2n 个样本来自j w 类型，21n n n +=。
两个类型的训练样本分别构成训练样本的子集1X 和2X 。
令：k Tk x w y =，n k ,...,2,1= (4.5-1)k y 是向量k x 通过变换w 得到的标量，它是一维的。
实际上，对于给定的w ，k y 就是判决函数的值。
由子集1X 和2X 的样本映射后的两个子集为1Y 和2Y 。
因为我们关心的是w 的方向，可以令1||||=w ，那么k y 就是k x 在w 方向上的投影。
使1Y 和2Y 最容易区分开的w 方向正是区分超平面的法线方向。
如下图：图中画出了直线的两种选择，图(a)中，1Y 和2Y 还无法分开，而图(b)的选择可以使1Y 和2Y 区分开来。
典则判别函数和fisher判别函数
典则判别函数和fisher判别函数
典则判别函数和Fisher判别函数是模式分类中常用的两种算法。
它们都是通过选择合适的决策边界来对数据进行分类。
但是它们的实
现方式和应用场景有所不同。
典则判别函数是一种基于贝叶斯分类规则的判别函数。
它将数据
集分为多个类别，并计算每个类别的先验概率。
在观察到新的数据时，典则判别函数将计算各类别的后验概率并选择概率最大的类别作为分
类结果。
这种算法相对简单，但需要事先知道每个类别的先验概率。
Fisher判别函数则是一种基于判别分析的算法，它用于确定分类数据的最佳线性投影。
这个投影可以最大化类别之间的差异性，同时
最小化类别内部的差异性。
因此，Fisher判别函数在处理大量特征或
类别未知时效果更好。
它可以用于二分类和多分类问题，并且可以通
过聚类算法来确定类别数量。
总体而言，典则判别函数是一种简单而直接的方法，而Fisher
判别函数则更适合于处理高维数据和未知类别的情况。
但无论是哪种
算法，在实际应用中都需要根据具体的问题选择合适的算法，并根据
数据集进行调整。
判别分析公式Fisher线性判别二次判别
判别分析公式Fisher线性判别二次判别判别分析是一种常用的数据分析方法，用于根据已知的类别信息，将样本数据划分到不同的类别中。
Fisher线性判别和二次判别是两种常见的判别分析方法，在实际应用中具有广泛的应用价值。
一、Fisher线性判别Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类别间离散度最大和类别内离散度最小的原则下实现判别。
其判别函数的计算公式如下：Fisher(x) = W^T * x其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。
具体来说，Fisher线性判别的步骤如下：1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；3. 求解Fisher准则函数的最大值对应的投影方向W；4. 将样本数据投影到求得的最优投影方向上。
二、二次判别二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。
二次判别的判别函数的计算公式如下：Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。
具体来说，二次判别的步骤如下：1. 估计每个类别的均值向量μk和协方差矩阵Σk；2. 计算每个类别的先验概率P(Ck)；3. 计算判别函数Quadratic(x)；4. 将样本数据划分到概率最大的类别中。
判别分析公式Fisher线性判别和二次判别是常见的判别分析方法，它们通过对样本数据的投影或概率计算，实现对样本数据的判别。
Fisher线性判别
3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。
这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。
（R.A.Fisher，1936）下面我们用表示待求的。
图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。
为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。
我们的目标是，求使最大。
（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。
对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。
由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。
这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Fisher 判别函数的使用具体步骤
Fisher 多类判别模型
假定事物由p 个变量描述, 即: x=(p x x x ,...,,21)T
该种事物有G 个类型, 从每个类型中顺次抽取p n n n ,...,,21个样品, 共计n=
∑=G
i i
1
n
个样品。
即从第g 类取了g n 个样品, g=1,2,⋯, G, 第g 类的第i 个样品, 用向量:
gi x =(pgi gi gi x x ,...,,x 21)T (1)
( 1) 式中, 第一个下标是变量号, 第二个下标是类型号,第三个下标是样品号。
设判别函数为:
T x p p v x v x v x v =+++=...y 2211 （2）
其中: V=(p v v v ,...,21)T
按照组内差异最小, 组间差异最大同时兼顾的原则, 来确定判别函数系数。
（中间推导过程不在这里介绍了）
最终就有个判别函数:,y x V T
j j
=1,...,2,1s j = 一般只取前M=min(G- 1,p)个, 即:
M j x v x v x v y p pj j j j ,...,2,1,...2211=+++= （3）
根据上述M 个判别函数, 可对每一个待判样品做出判别。
),...,,(x 020100p x x ｘ=
其过程如下:
1、把x0 代入式(3) 中每一个判别函数, 得到M 个数
,,...,2,1,...y 202101j 0M j x v x v x v p pj j j =+++=
记：T
M y y y y ),...,,(020100= 2、把每一类的均值代入式（3）得
G
g y y y y G g M j x v x v x v y M g
g
g
g pg pg g g g g j g ,...,2,1),,...,,(,...2,1,,...,2,1,...212211====+++=
3、计算：∑=-=M
j j j g g
y y D 1
2
02
)(，从这G 个值中选出最小值：)(min 212g G
g h D D ≤≤=。
这样就把0
x 判为h 类。
根据上面的Fisher 多类判别模型的具体求解步骤：1、把聚类分析的所有归一化后的用户向量代入已得到的4个Fisher 判别函数中（因为本模型中的变量数和类型数都比较少，故将得到的判别函数都用于判别样品中），每一个用户都可以得到4个数
T i i i i i f f f f ),,,(F 4321=，其中），（4,3,21
j f =j
i 代表第i 个手机用户的用户向量代入到第j 个判别函数的函数值；2、把每一类的均值代入已得到的4个Fisher 判别函数中，
得到4,3,2,1,),,,(F 4321g ==g f f f f T g g g g ，其中），（4,3,21
j f g =j
代表第g 类均值用户向量代入到第j 个判别函数的函数值；3、计算每一个用户的∑=-=M
j j i j g g
f f
D 1
22)(，
分别从每个用户的四个值中选出最小值：)(min 2
4
12
g g h D D i ≤≤=。
这样就把每一个用户判为i h 类(i h 表示第i 个用户被判的类)。