判别分析(第3节_贝叶斯判别法1)
判别分析贝叶斯判别
ql
fl
(x0
)
max
1ik
qi
fi
(x0 ),
则x0判给 Gl。
若fi
(x)
(2
1 i
)1
2
exp[
1 2
(
x
(i)
)i
1 ( x
(i)
)]
则,
qi
fi
(
x)
qi
(2
1 i
)1
2
exp[
1 2
(
x
(i)
)i 1 ( x
(i)
)]
上式两边取对数 ln(qi fi (x))
ln
qi
1 ln 2
2
1 ln 2
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
1 (x μ(i) )Σ1(x μ(i) ) 2
1 [2 ln 2
qi
(x
μ(i)
)Σ 1 (x
μ(i) )]
令 Fi (x) 2ln qi (x μ(i) )Σ1(x μ(i))
2 ln qi x' Σ1x μ(i)' Σ1x x' Σ1μ(i) μ(i)' Σ1μ(i)
令 Pi (x) 2ln qi 2μ(i)Σ1x μ Σ μ (i) 1 (i)
q2C(1/ 2) f2 (x) q1C(2 /1) f1(x) 0
03判别分析
判别分析专题5.1引言有一些昆虫的性别很难看出，只有通过解剖才能够判别；但是雄性和雌性昆虫在若干体表度量上有些综合的差异。
于是统计学家就根据已知雌雄的昆虫体表度量（这些用作度量的变量亦称为预测变量）得到一个标准，并且利用这个标准来判别其他未知性别的昆虫。
这样的判别虽然不能保证百分之百准确，但至少大部分判别都是对的，而且用不着杀死昆虫来进行判别了。
在科学研究和日常生活中，我们经常会遇到对观测到的样品数据进行判别分类的问题。
例如，在经济学中，可根据各国的人均国民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的所属类型；在人口学中，可根据平均预期寿命、经济水平和婴儿死亡率等因素来判定这个地区人口死亡水平的所属类型；在医学上，经常要根据患者的不同症状和化验结果等多项指标来诊断其患病类型；在气象学中，要根据最近的一些气象资料来判断明天是否会下雨；等等。
所有这些问题一般都可以应用统计学中的判别分析方法予以解决。
由于判定一个样品的归属一般需要依据样品的多项指标，其统计推断及分析也是按这些指标来进行的，所以将判别分析放在多元分析中讨论是合适的。
判别分析要解决的问题是在已知历史上用某些方法已把研究对象分成若干组的情况下，来判定新的观测样品应归属的组别。
从概率统计的角度来看，判别分析问题可以归结为：设有k 个组（或总体）k πππ,,,21 ，所有组的样品都测量了相同的p 个指标，可表示为一个p 维向量，这k 个组的分布函数分别是)(,),(),(21x F x F x F k ，均为p 元分布函数，对于给定一个新样品x ，要求判断它属于哪一组。
本章将介绍距离判别、贝叶斯（Bayes ）判别和典型判别等几种常用的判别分析方法。
5.2距离判别一、马氏距离的概念通常情况下，我们所说的距离一般是指欧氏距离，即p 维欧氏空间p R 中两点),,,(21'=p x x x x 和),,,(21'=p y y y y 之间的平方距离度量为22222112)()()(),(p p y x y x y x y x d -++-+-=（5.2.1）但是在统计学，特别是在多元分析中，有时用欧氏距离显得不太合适，下面我们用一个例子来说明之。
201103-判别分析
> y ∈G1， 如W（y） 0， < y ∈G2 ， 如W（y） 0。 待判， 如W(Y ) = 0 α = Σ−1 (µ1 − µ2 )是一个已知的p 当 µ1, µ2 和Σ已知时， 维向量，W（y）是y的线性函数，称为线性判别函数。α 称为判别系数。用线性判别函数进行判别分析非常直观， 使用起来最方便，在实际中的应用也最广泛。
d 2 ( y , Gi ) = (y − µ i )′Σ (y − µ i )
判别分析例子
例 中小企业的破产模型
为了研究中小企业的破产模型，选定4个经济指标： X1总负债率（现金收益/总负债） X2收益性指标（纯收入/总财产） X3短期支付能力（流动资产/流动负债） X4生产效率性指标（流动资产/纯销售额） 对17个破产企业（1类）和21个正常运行企业 （2类）进行了调查，得如下资料：
判别分析和聚类分析有何异同？ 判别分析和聚类分析有何异同？ • 判别分析和聚类分析都是分类. 判别分析和聚类分析都是分类. • 但判别分析是在已知对象有若干类型和一批已知样 品的观测数据(训练样本) 品的观测数据(训练样本)后的基础上根据某些准则 建立判别式.在聚类分析中， 建立判别式.在聚类分析中，人们一般事先并不知道 应该分成几类及哪几类，全根据数据确定。 应该分成几类及哪几类，全根据数据确定。 • 可以先聚类以得知类型,再进行判别. 可以先聚类以得知类型,再进行判别.
短期支付能力 1.09 1.51 1.01 1.45 1.56 .71 .22 1.31 2.15 1.19 1.88 1.99 1.51 1.68 1.26 1.14 1.27 2.49 2.01
生产效率指标 .45 .16 .40 .26 .67 .28 .18 .25 .70 .66 .27 .38 .42 .95 .60 .17 .51 .54 .53
贝叶斯判别分析ppt课件
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25
第4章 判别分析2
k i 1
μμi
k i 1
μμ u
k
u[ μiμi kμμ kμμ kμμ]u i 1
k
u[ μiμi kμμ]u
12
i 1
k
b u[ μiμi kμμ]u
i 1
k
u[
i 1
μiμi
1 k
X1、X2为横、纵坐标轴构建一 个平面，若能设法找到一个y
轴，使得当X1X2平面上的散点
投射到y轴上时，两组观察值
的重叠程度最小，则综合指标
x2
y的区分能力显然大于原先的
X1、X2 。
3
y
一、Fisher判别的基本思想
从 k 个 P 维总体中抽取一个具有 p 个指标的样品观测数据，借
助方差分析的思想构造一个线性判别函数：
i 1
其中 μ
1 k
k
μ i ，代表全部 k 个总体的集．中．趋势；
i 1
k
E Σi ，代表各个总体内．部．的离散程度。 i 1
(μi μ) 代表总体 i 与其他各组之．间．的平均差距。9
这里 b 相当于一元方差分析中的组间差； e 相当于组内差。 应用方差分析的思想，选择 u 使得目标函数
i
Qr
Ri
i 1 s
i 1
i
i 1
它表明了全部 r 个判别式的判别能力。
实际应用中，我们一般不会使用全部 s 个判别式，因为费希尔判别法的基
本思想就是要降维。因此，如果前 r 个判别式的累计贡献率已达到一个较
高的比例（一般 75％至 95％即可），则可采用这 r 个判别式进行判别。 18
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。
第三节 贝叶斯准则下的两类线性判别模型
以样本频率代替 各类相等 人为给定
无论哪种，都应有
g =1
∑q
G
g
= 1
5) 对样品进行判别(计算后验概率) 公式
p A g | x) = (
e
G h =1
yg(x) y h(x)
∑e
对每一个样品，先计算yg(x) g=1,2,…,G 挑出最大的g*,则判别样品属于g*类，
后验概率
p A g * | x) = (
i =1 G
因为比较时只要比较x属于某类母体的大小， 因而只要比较qgfg(x)即可
四、计算
由于Ｇ个母体Ａg 服从正态分布N(ag,∑)(g=1,2,…G), 所以其概率分布密度函数为
f g ( X ) = (2π )
−
p 2
1 ′Σ −1 ( x − a g )] | Σ | exp[− ( X − a g ) 2
S
−1
= [s ]p × p
kj
4) 求判别函数系数
Cg = x s
cgj =
cg0
p k =1
T −1 g
kj
= [cg1, cg2,..., cgp]
xgk
xgj
∑s
p j= 1
1 = − 2
∑c
gj
判别函数
y g(x) = ln q g + cg0 +
j= 1
∑c
p
gp
xj
qg
ng n 1 = G q g
x 111 x 121 ... x 1n11 x 211 x 221 ... x 2n 2 1 ... x G 11 x G 21 ... x Gn G 1 x 112 x 122 ... x 1n1 2 x 212 x 222 ... x 2n 22 ... x G 12 x G 22 ... x Gn G 2 ... ... ... ... ... ... ... ... ... ... ... ... ... x 11 p x 12 p ... x 1n1p x 21 p x 22 p ... x 2n 2p ... x G1p x G2p ... x Gn G p
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的判别方法，用于对数据进行分类和判别。
本文将对这三种方法进行比较分析，探讨它们的原理、特点和适用范围，以及各自的优势和局限性。
1. 距离判别法距离判别法是一种基于样本间距离的判别方法。
它的核心思想是通过计算待分类样本与各个已知类别样本之间的距离，将待分类样本归入距离最近的类别。
距离判别法常用的距离度量有欧氏距离、曼哈顿距离和马氏距离等。
优势：- 简单直观，易于理解和实现。
- 不依赖于概率模型，适用于各种类型的数据。
- 对异常值不敏感，具有较好的鲁棒性。
局限性：- 忽略了各个特征之间的相关性，仅考虑样本间的距离，可能导致分类效果不佳。
- 对数据的分布假设较强，对非线性分类问题表现较差。
- 对特征空间中的边界定义不明确。
2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别方法。
它通过建立样本的概率模型，计算待分类样本的后验概率，将其归入后验概率最大的类别。
贝叶斯判别法常用的模型包括朴素贝叶斯和高斯混合模型等。
优势：- 考虑了样本的先验概率和类条件概率，能够更准确地对样本进行分类。
- 可以灵活应用不同的概率模型，适用范围广。
- 在样本量不充足时，具有较好的鲁棒性和泛化能力。
局限性：- 对特征分布的假设较强，对非线性和非正态分布的数据表现较差。
- 需要估计大量的模型参数，对数据量要求较高。
- 对特征空间中的边界定义不明确。
3. 费歇尔判别法费歇尔判别法是一种基于特征选择的判别方法。
它通过选择能够最好地区分不同类别的特征，建立判别函数进行分类。
费歇尔判别法常用的特征选择准则有卡方检验、信息增益和互信息等。
优势：- 基于特征选择，能够提取最具有判别性的特征，减少了特征维度，提高了分类性能。
- 不对数据分布做假设，适用于各种类型的数据。
- 可以灵活选择不同的特征选择准则，满足不同的需求。
局限性：- 特征选择的结果可能受到特征相关性和重要性的影响，选择不准确会导致分类效果下降。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三节 贝叶斯（BAYES）判别法
贝叶斯判别准则 ● 基本问题 设有 k 个总体 G1 , G2 , ,G k ，其各自的分布密 度函数 f1 ( x), f 2 ( x), , f k ( x) 互不相同的，假设 k 个总体各自 出 现 的 概 率 分 别 为 q1 , q2 ,,q k （ 先 验 概 率 ） ， qi 0 ，
所以，
P( X Gi | X已知） = qi fi ( x)
k i i i 1
就是广义平 方距离Di2 ( x)
exp(0.5Di2 ( x))
k 2 i i 1
q f ( x) exp(0.5D ( x))
采用后验概率的判别准则为： 判 X Gh , 当 P(Gh | X ) P(Gi | X ) 时，(i h, i 1,, k ).
本章主要内容
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
贝叶斯判别法的基本思想
从第二节中可以看出：距离判别法虽然 简单，便于使用（对总体只涉及均值向量和协方差阵， 而对总体的分布类型不作要求）。但是该方法也有它 明显的不足之处： 首先，判别方法与总体各自出现的概率的大小无关；
② 利用训练样本中各类样品所占比例 ni 作为 qi ；即 qi ni n n k q 1 则 i 这时要求训练样本是通过随机抽样得到，各类样品被 i 1 抽中的机会大小就是“验前概率”； ③ 假定 q1 q2
qk
1 k
第三节 贝叶斯（BAYES）判别法
● 广义平方距离 设有k个总体 G1 , G2 , , Gk ，考虑个先验概率及其各组内协差阵的 不同，定义样品X到 G (i 1, 2, , k ) 的广义平方距离 D ( X , G ) 定义为
i 1
q1 , q2 , qk 为 G1 , G2 ,, Gk 的先验概率。
（2）先验概率的确定方法 先验概率是一种权重。所谓“先验” 是指先于我们抽取样本（做分析）之前，对总体“信息”的认知， 如：qi 是总体 Gi 出现的概率，其赋值方法可有一下常用方法：
① 利用历史资料及经验进行估计；
第三节 贝叶斯（BAYES）判别法
就是马氏 距离d i2 ( x)
fi ( x) (2 )
p/2
| i |
1/ 2
exp[0.5( X i ) ( X )]
1
P( X Gi | X已知） =
qi fi ( x)
k i i i 1
q f ( x) exp(0.5D ( x))
2 i i 1
第三节 贝叶斯（BAYES）判别法
● 先验概率（先知知识） （1）先验概率概念 设有k个总体 G1 , G2 ,.Gk ，假设对所研究的
问题有一定的认识，这种认识常用先验概率来描述，即已知这 k个 k q1 , q2 ,, qk ( qk 1) ，则称 总体各自出现的概率（先验概率）为：
exp(0.5Di2 ( x))
k
事实上，
第三节 贝叶斯（BAYES）判别法
qi fi ( x) (2 ) p / 2 | i |1/ 2 qi exp(0.5di2 ( x)) (2 ) p / 2 exp(0.5ln | i |) exp(0.5 (2 ln qi )) exp(0.5di2 ( x)) (2 ) p / 2 exp[0.5(di2 ( x) ln | i | 2 ln qi )] (2 ) p / 2 exp[0.5Di2 ( x)]
2
i
i
D2 ( X , Gi ) d 2 ( X , Gi ) g1 (i) g2 (i),
其中
g1 (i )
ln | i |, 若各组协差阵i不全相等， 0， 0，
若各组协差阵i 全相等； 若先验概率全相等.
g 2 (i )
-2 ln | qi |, 若先验概率不全相等，
● 问题引入
其次，判别方法与错判之后所造成的损失无关。
贝叶斯判别法就是为了解决这些问题而提出的一种判 别方法。
第三节 贝叶斯（BAYES）判别法
● 贝叶斯统计思想
在讨论问题之前，总是假定对研究对象已有一定的认 识，这种认识常用先验概率分布来描述。然后抽取一个 样本，用样本信息来修正已有的认识（即先验概率分 布），得到后验概率分布。各种统计推断都析就得 到贝叶斯判别法。
注：当总体协方差阵未知时，可用样本协差阵S i 代替 i 。
第三节 贝叶斯（BAYES）判别法
● 后验概率 标准的贝叶斯判别法应该计算后验概率分布，即计算当样品 X被 选取时，它来源于总体 G 的概率 P(Gi | X ) ，这个概率作为判别归 i 类的准则，其概率意义更加直观。现假定总体 Gi 的概率密度函数 为 fi ( x)，由条件概率的定义可以导出所谓“贝叶斯公式”：
■
q
i 1
k
i
1 。假设已知观测到一个样品 x 的情况下，应把它归
于哪个总体 Gi ？
第三节 贝叶斯（BAYES）判别法
（1）首先看一下利用后验概率给出的一个判别准则。 观测到一个样品时，可用著名的 Bayes 公式计算它 来自第i个总体的“后验概率”：
P( x Gi | x)
这时如果有
P( X Gi | X已知） = qi fi ( x)
q f ( x)
i i i 1
k
其中，条件概率 P(Gi | X ) 称为X属于第i组（或第i个总体）的后验 概率。
第三节 贝叶斯（BAYES）判别法
◆
例
若假设 Gi ~ N p ( i , i ) ，且其密度函数 fi ( x) 为
qi fi ( x)
q f ( x)
i i i 1
1 h k
k
,
i 1, 2,
,k
P( x Gh | x) max P( x Gh | x)
则判别样品 X 属于第 h 个总体