9-判别分析

由Bayes公式, Bayes公式
P (ω i / x)=
P (x / ω i ) P (ω i )
j
Σ P (x / ω j ) P (ω j
)
i = 1, 2
定所属的类别… 由此可确x定所属的类别…
2) 判别规则
Bayes公式是通过待识样本提供的模式特征信息 Bayes公式是通过待识样本提供的模式特征信息x 公式是通过待识样本提供的模式特征信息x 将类先验概率 P ( ωi )转化为类后验概率P (ω i / x) )转化为类后验概率 转化为类后验概率P 这样, 这样,基于最小错误率的贝叶斯判别规则为 若 P (ω 1 / x) > P (ω 2 / x) 若 P (ω 2 / x) > P (ω 1 / x) 若 P (ω 1 / x) = P (ω 2 / x) 则判 x ∈ ω 1 则判 x ∈ ω 2 不能判定, 不能判定, 拒判
ωi
x
■
★
D i( x) = (x － µ i) T C －1 ( x － µ i) (x = x T C －1 x － 2 µ i T C －1 x ＋ µ i T µ
忽略i 忽略i与无关的项 记 g i( x) = 2 µ i T C －1 x － µ i T µ , 显然, 显然, g i( x)为线性函数 决策规则为 若gi (x) > gj (x) , j≠i , i, j＝l，2，…, .m j＝ 则判x属于ω 则判x属于ω i类 注：当C= I时，马氏距离与欧氏距离相等 I时
其中 w = 2 µ i T , w0 = － µ i T µ 所以最小距离判别法实质上是一种线性函数判别法 所以最小距离判别法实质上是一种线性函数判别法
最小欧氏距离分类器构造简便，使用方便, 但是分类效果 最小欧氏距离分类器构造简便，使用方便, 常常不理想。分类效果不好的原因在于判别函数的权向量 常常不理想。 及阈值仅仅利用了各类样本的均值信息，而没有充分利用 及阈值仅仅利用了各类样本的均值信息， 样本的其它信息。 样本的其它信息。
1) 最小欧氏距离准则
d 维空间中两个向量之间的欧氏距离
(y 设 x = ( x 1 , x 2 , … , x d) T , y = ( y
y 2 , … , y d )T 1,
则x, y之间的欧氏距离D为 D 2 = (x －y ) T ( x － y) y之间的欧氏距离 之间的欧氏距离D 同类模式在模式空间中应相互靠近, 根据这一特点, 同类模式在模式空间中应相互靠近, 根据这一特点, 我们可利用距离最小准则 距离最小准则来设计分类器 我们可利用距离最小准则来设计分类器 设有m 类已知类别的模式(样本) 设有m 类已知类别的模式(样本)集。计算ω i类 中所有样本 计算ω 记样本x 的均值 µ i, 记样本x到ω i类的距离为 D i( x) = (x － µ i) T ( x － µ i) , i = 1, 2, …, m (x
等价的判别规则
① x ∈ ω * = Arg Max { P (ω i / x) }
ωi
② x ∈ ω * = Arg Max { P (x/ ω i) P (ω i )}
ωi ③ l ( x ) = P (x/ ω 1 ) ＞ P (ω 2 ) P (x/ ω 2 ) ＜ P (ω 1 )
＜ ln P (ω 1) ＞ P (ω 2 )
第九章 判别分析
1 贝叶斯判别法 2 距离判别法 3 Fisher 准则
引言
判别分析就是解决分类问题， 判别分析就是解决分类问题，模式识别的分类问题就是 根据待识别对象的特征向量值及其它约束条件将其分到 某个类别中去。统计判别分析理论是模式分类问题的基 判别分析理论是模式分类问题的基 某个类别中去。统计判别分析 本理论之一, 本理论之一,它对模式分析和分类器的设计有着实际的 指导意义,贝叶斯(Bayes) 指导意义,贝叶斯(Bayes)决策方法是统计模式识别中的 (Bayes)决策方法是统计模式识别中的 一个重要方法,是处理模式分类问题的基本理论之一。 一个重要方法,是处理模式分类问题的基本理论之一。 本节要讨论的贝叶斯分类器在统计模式识别中被称为最 优分类器。 优分类器。
2 最小距离准则
最小欧氏距离准则 最小马氏距离准则
基本思想：首先根据已知分类的数据， 基本思想：首先根据已知分类的数据，分别计算各 类的重心即分组（类）的均值，判别准则是对任给 类的重心即分组（ 的均值， 的一次观测，若它与第i类的重心距离最近， 的一次观测，若它与第i类的重心距离最近，就认 为它来自第i 为它来自第i类。 距离判别法对各类（或总体）的分布， 距离判别法对各类（或总体）的分布，并无特定 的要求。 的要求。
2) 最小马氏距离准则
设有m 类已知类别的模式(样本) 设有m 类已知类别的模式(样本)集。 ω i类中所有样 本的均值 µ i 样本协方差矩阵为C ，样本协方差矩阵为C i 样本x 样本x到ω i类的马氏距离为 D i( x) = (x － µ i) T C i－1 ( x － µ i) , i = 1, 2, …, m (x 按最小距离分类原理， 按最小距离分类原理，决策规则为 若D i(x) < D j (x) ,则判x属于ω i类 ,则判 属于ω 则判x j ≠ i , j＝l，2，…, .m j＝ 当各类的协方差矩阵相等时 C1= C2＝ … = C m = C
例1 癌细胞识别问题: 如何区分正常细胞与癌细胞? 癌细胞识别问题: 如何区分正常细胞与癌细胞? 差异描述, 差异描述,特征选择 x1 圆形度 x2 形心偏差度 正常细胞 癌细胞 记 x = ( x1, x2 )
T
为细胞的特征向量 称x为细胞的特征向量 为细胞的
x2
或称模式 或称模式x 模式 正常细胞类用ω 正常细胞类用ω1表示 癌细胞类用ω2表示 癌细胞类用ω
i
3 Fisher 准则
Fisher判别法要解决的问题 Fisher判别法要解决的问题 必要的基本参量 Fisher准则函数 Fisher准则函数
1) Fisher判别法要解决的问题 Fisher判别法要解决的问题
x2
x1
错识率 也称错误率,是判别分类器好坏的重要依据 也称错误率,
1 Bayes判别法 Bayes判别法
最小错误率判别规则 参数估计 计算实例
最小错误率判别规则
1) 问题描述 2) 判别规则 3) 参数估计 4) 计算实例
1) 问题描述
在模式分类问题中,人们往往希望尽量减少分类的错误. 在模式分类问题中,人们往往希望尽量减少分类的错误.从这样 的要求出发,利用Bayes公式 可得出使错误率最低的分类规则, 的要求出发,利用Bayes公式,可得出使错误率最低的分类规则, 公式, 称之为基于最小错误率的贝叶斯分类决策 癌细胞识别问题, 为待识别的细胞,ω为其类别. 癌细胞识别问题,设x为待识别的细胞,ω为其类别. ,ω为其类别 ω = ω 1 表示x为正常细胞 表示x ω = ω 2 表示x为癌细胞 表示x 如果只用类别先验概率P (ω 1) 和P (ω 2)来判别, 2)来判别 来判别, 会把所有的待识别细胞都归于正常类, 会把所有的待识别细胞都归于正常类,根本达不到 将正常细胞与癌细胞区分开来的目的
4) 计算实例
例1 有一家医院为了研究癌症的诊断，对一大批人作了 有一家医院为了研究癌症的诊断， 一次普查，给每人打了试验针，然后进行统计， 一次普查，给每人打了试验针，然后进行统计，得到如下统 计数字： 计数字： 人有5 ①这批人中，每1000人有5个癌症病人； 这批人中， 1000人有 个癌症病人； 个正常人有1 Байду номын сангаас这批人中，每100个正常人有1人对试验 这批人中， 100个正常人有 的反应为阳性， 的反应为阳性， ③这批人中，每100个癌症病人有95入对 个癌症病人有95 这批人中， 100个癌症病人有95入对 试 验的反应为阳性。 验的反应为阳性。 通过普查统计，该医院可开展癌症诊断。 通过普查统计，该医院可开展癌症诊断。 现在某人试验结果为阳性，诊断结果是什么? 现在某人试验结果为阳性，诊断结果是什么?
x ∈ ω1 x ∈ ω2
④ h(x) = - ln l ( x ) = -ln P (x/ ω 1) + ln P (x/ ω 2) x∈ω1 x∈ω2
3) 参数估计
利用最小错误率判别规则的关键是通过已知样本估计下列 概率. 概率.
①类别先验概率 P ( ωi ) i=1,2,…,m i=1,2,…,m
x1 5000个细胞的数据分布 5000个细胞的数据分布
模式识别问题
假设对象来自m个不同的类, 假设对象来自m个不同的类,用d个特征来描述对象. 个特征来描述对象. 特征向量 x= ( x1, x2, ... xd )T , x也称为模式. x也称为模式 也称为模式. 特征(模式) 特征(模式)空间 S 所有的特征(模式)构成的集合. 所有的特征(模式)构成的集合. S为d维空间R d的一个子集,模式x是S中的一个点. 维空间R 的一个子集,模式x 中的一个点. 模式识别问题 将模式空间划分为m 将模式空间划分为m个不同 的区域, 的区域,使得每个区域对应 到一个类
按最小距离分类原理， 按最小距离分类原理，决策规则为 若D i(x) < D j (x) , j≠i , j＝l，2，…, .m j＝ 则判x属于ω 则判x属于ω i类 如图, 如图, 各类的中心用黑点表示 ★ 表示待判样本
l
●
D i( x) = (x － µ i) T ( x － µ i) (x = x T x － 2 µ iTx ＋ µ iTµ
在癌细胞识别问题中,根据医院病理检查的大量统计资料, 在癌细胞识别问题中,根据医院病理检查的大量统计资料, 可以对某一地区正常细胞和癌细胞出现的比例作出估计. 可以对某一地区正常细胞和癌细胞出现的比例作出估计.