fisher判别的决策面方程
Fisher判别法
������1 ������ (1) + ������2 ������ (2) = 10.89718 ������1 + ������2
(3) 判别准则 因为：������ 1 > ������ 2 所以判别准则为：当 y>y0 时，判X ∈ ������1 当 y<������0 时，判X ∈ ������2 当 y=������0 时，待判 (4) 对已知类别的样品判别归类 序号 1 2 3 4 5 6 7 8 9 10 国家 美国 日本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2
判别结果与实际情况吻合。
(1) 建立判别函数 ������1 ������1 0.081341 ������2 = ������ −1 ������2 = 0.001664 ������3 ������3 0.001092 所以判别函数为：
y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人均gdp.
344.228
-252.240
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.006 5 .654 .231
86.057 5 -.119 .848
-63.060 5 1
发达国家
模式识别复习重点总结
模式：存在于时间，空间中可观察的事物，具有时偶尔空间分布的信息； 模式识别：用计算机实现人对各种事物或者现象的分析,描述,判断,识别。
模式识别的应用领域： (1)字符识别； (2) 医疗诊断； (3)遥感； (4)指纹识别 脸形识别； (5)检测污染分析，大气，水源，环境监测； (6)自动检测； (7 )语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断； (8)军事应用。
(1) 信息的获取：是通过传感器，将光或者声音等信息转化为电信息；(2) 预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理； (3) 特征抽取和选择： 在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征； (4) 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； (5) 分类决策：在特征空间中对被识别对象进行分类。
(1)模式(样本)表示方法： (a )向量表示； (b )矩阵表示； (c )几何表示； (4)基元(链 码)表示； (2)模式类的紧致性：模式识别的要求:满足紧致集，才干很好地分类；如果不满足紧 致集，就要采取变换的方法,满足紧致集(3)相似与分类； (a)两个样本x i ，x j 之间的相似度量满足以下要求：① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的单调函数 (b) 用各种距离表示相似性(4)特征的生成:特征包括： (a)低层特征;(b)中层特征;(c)高层特征 (5) 数据的标准化:(a)极差标准化； (b)方差标准化二维情况： (a )判别函数： g(x) = w x + w x + w ( w 为参数， x , x 为坐标向量)1 12 23 1 2(b )判别边界： g(x)=0;(c )判别规则： (> 0, Xg i(x) =〈< 0, X1 n 维情况： (a )判别函数： g(x) = w 1x 1 + w2 x 2 + ...... + w n x n + w n +1也可表示为： g(x) = W T XW = (w , w ,..., w , w )T 为增值权向量，1 2 n n +1X ＝(x , x ,..., x ，x +1)T 为增值模式向量。
模式识别期末试题
模式识别期末试题1.模式识别系统的基本构成单元包括模式采集、特征提取与选择和模式分类。
这些构成单元一起协作，以确定输入模式的类别或特征。
2.统计模式识别中，描述模式的方法一般使用特征向量；而句法模式识别中，模式描述方法一般有串、树、网等。
3.聚类分析算法属于无监督分类；判别域代数界面方程法属于统计模式识别方法。
4.若描述模式的特征量为0-1二值特征量，则一般采用匹配测度进行相似性度量。
5.准则函数可以作为聚类分析中的判别标准，常用的有距离准则、均值准则和连通性准则。
6.Fisher线性判别函数的求解过程是将N维特征向量投影在一维空间中进行。
7.感知器算法只适用于线性可分情况；而积累位势函数法既适用于线性可分，也适用于线性不可分情况。
8.满足文法定义的四元组包括：起始符号、非终结符号集合、终结符号集合和产生式规则集合。
其中，第一、二、四个四元组满足文法定义。
9.影响层次聚类算法结果的主要因素包括计算模式距离的测度、聚类准则、类间距离门限和预定的类别数目。
10.欧式距离具有平移不变性和旋转不变性；马式距离具有平移不变性、旋转不变性、尺度缩放不变性和不受量纲影响的特性。
11.线性判别函数的正负和数值大小的几何意义是正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。
12.感知器算法适用于线性可分和线性不可分的情况。
13.积累位势函数法相较于H-K算法的优点是该方法可用于非线性可分情况，也可用于线性可分情况。
位势函数K(x,xk)与积累位势函数K(x)的关系为K(x) = ∑αkK(x,xk)，其中xk∈X。
14、XXX判决准则适用于一种判决错误比另一种判决错误更为重要的情况，而最小最大判决准则适用于先验概率未知的情况。
15、特征个数越多并不一定有利于分类。
特征选择的主要目的是从n个特征中选出最有利于分类的m个特征（m<n），以降低特征维数。
在可分性判据对特征个数具有单调性且特征个数远小于样本数的情况下，可以使用分支定界法以减少计算量。
Fisher判别-jing
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
典则判别函数和fisher判别函数
典则判别函数和fisher判别函数
典则判别函数和Fisher判别函数是模式分类中常用的两种算法。
它们都是通过选择合适的决策边界来对数据进行分类。
但是它们的实
现方式和应用场景有所不同。
典则判别函数是一种基于贝叶斯分类规则的判别函数。
它将数据
集分为多个类别，并计算每个类别的先验概率。
在观察到新的数据时，典则判别函数将计算各类别的后验概率并选择概率最大的类别作为分
类结果。
这种算法相对简单，但需要事先知道每个类别的先验概率。
Fisher判别函数则是一种基于判别分析的算法，它用于确定分类数据的最佳线性投影。
这个投影可以最大化类别之间的差异性，同时
最小化类别内部的差异性。
因此，Fisher判别函数在处理大量特征或
类别未知时效果更好。
它可以用于二分类和多分类问题，并且可以通
过聚类算法来确定类别数量。
总体而言，典则判别函数是一种简单而直接的方法，而Fisher
判别函数则更适合于处理高维数据和未知类别的情况。
但无论是哪种
算法，在实际应用中都需要根据具体的问题选择合适的算法，并根据
数据集进行调整。
第3章 线性判别函数
判别规则： x w g ( x ) 0 1 , 若 ,则 （3-2） g ( x) 0 ,则 x w2 , g ( x) 0 ,则可将x分到任一类, 或拒绝
方程 g(x)=0 定义了一个决策面。当 g(x) 为线性函 数时，这个决策面便是超平面。
假设
x1
和
T
x2
都在决策面H上，则有
g ( x) ( x a)( x b)
决策规则是
（3-9）
g ( x) 0, 则决策x 1 g ( x) 0, 则决策x 2
二次判别函数可写成
g ( x) c0 c1 x c2 x
T 3
2
（3-10）
适当选择从x到y的影射，则可把函数化成y的线性函数
g ( x) a y ai yi
3.Fisher算法步骤
由Fisher线性判别式求解向量的步骤： ① 把来自两类 w1 / w2 的训练样本集X分成 w1和w2两 个子集 X 1和 X 2。
1 ② 由 mi Ni
③ 由 Si
xX i
T ( x m )( x m ) , i 1, 2 计算各类的类 i i
T
w x1 w0 w x2 w0
或
（3-3） （3-4）
w ( x1 x2 ) 0
T
这表明，w和超平面H上任一向量正叫交，即w是 H的法向量。
判别函数 g(x) 可以看成是特征空间中某点 x 到超 平面的距离的一种代数度量，见图4.1。
若把x表示成
w x xp r w
（3-5）
在图3.3中，分析w1方向之所以比w2方向优越，
可以归纳出这样一个准则，即向量W的方向选择应 能使两类样本投影的均值之差尽可能大些，而使类 内样本的离散程度尽可能小。这就是Fisher准则函 数的基本思路。为了将这个思路变为可计算的函数 值，我们先对一些基本参量下定义。
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
fisher判别的决策面方程
Fisher判别的决策面方程是一种常用的分类算法，在模式识别和机器学习领域有着广泛的应用。
它通过线性判别分析来寻找一个最优的超平面，将不同类别的样本点尽可能地分开。
本文将介绍Fisher 判别的决策面方程及其原理，以及在实际应用中的一些注意事项。
Fisher判别的决策面方程可以表示为：
w^T * x + b = 0
其中，w是一个n维的权重向量，x是一个n维的输入向量，b是一个常数。
决策面方程将输入向量映射到一个超平面上，根据超平面上的位置来判断输入向量属于哪个类别。
Fisher判别的原理是寻找一个投影矩阵W，通过将输入数据映射到一个低维的子空间中，使得同类样本点的投影尽可能的靠近，不同类样本点的投影尽可能的分开。
具体的步骤如下：
1. 计算各个类别的均值向量：m1, m2, ..., mc。
其中c表示类别的个数，m表示均值向量。
2. 计算类内离散度矩阵Sw和类间离散度矩阵Sb。
类内离散度矩阵Sw表示类别内部的散布情况，计算公式为：Sw = Σ(xi - mi)(xi - mi)^T
类间离散度矩阵Sb表示不同类别之间的散布情况，计算公式为：Sb = Σ(Ni)(mi - m)(mi - m)^T
其中，xi表示第i个样本点，mi表示第i类样本的均值向量，N 表示每个类别的样本个数，m表示所有样本的总体均值向量。
3. 计算特征值和特征向量。
将Sw的逆矩阵与Sb相乘，得到矩阵M = Sw^(-1) * Sb。
计算矩阵M的特征值和特征向量，选择特征值最大的k个特征向量作为投影矩阵W。
4. 根据投影矩阵W，将输入向量x映射到低维的子空间中。
计算投影后的向量y = W^T * x，其中y是一个k维的向量。
5. 根据投影后的向量y，通过线性判别分析找到一个最优的超平面。
根据训练样本的类别信息，通过最小化类内离散度和最大化类间离散度的准则函数来确定超平面的权重向量w和常数b。
Fisher判别的决策面方程可以通过上述步骤得到，它能够有效地将不同类别的样本点分开，提高分类的准确性。
在实际应用中，我们需要注意以下几点：
1. 数据预处理：在使用Fisher判别算法之前，需要对输入数据进行
预处理，包括数据清洗、特征选择、归一化等操作，以提高算法的稳定性和准确性。
2. 类别不平衡问题：当训练样本中不同类别的样本个数相差较大时，需要考虑类别不平衡问题对分类结果的影响，可以使用加权Fisher 判别或者选择合适的评价指标来解决该问题。
3. 维度灾难：当输入数据维度较高时，Fisher判别算法可能会遇到维度灾难的问题，导致计算复杂度增加和分类性能下降。
可以通过降维技术，如PCA、LDA等来解决该问题。
4. 非线性问题：Fisher判别算法是一种线性分类算法，对于非线性问题的分类效果可能不理想。
可以通过核技巧、集成学习等方法来处理非线性问题。
总结起来，Fisher判别的决策面方程是一种通过线性判别分析来寻找最优超平面的分类算法。
它在模式识别和机器学习领域有广泛的应用，能够有效地将不同类别的样本点分开，提高分类的准确性。
在实际应用中，我们需要注意数据预处理、类别不平衡问题、维度灾难和非线性问题等因素，以获得更好的分类结果。