ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)
ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)解读
T
2
1
x 2 ln
1 2
1 0 x1 x2 0 4 x x1 x2 2 2
2019/2/25
四川大学、电气信息学院、余勤
2
• 二次或线性分类器的引出：
在一定的分布和条件下（如正态、等协方差 矩阵），贝叶斯决策可以导致二次或线性分 类器。
虽然贝叶斯决策（似然比检验）在错误率或 风险上是最优的，但必须知道类条件密度。 (在大多数应用场合，类条件密度函数是从有限的样本中估
• 上式是二次分类器。计算x到各类均值 i 的
1 Mahalanobis距离，然后和阈值 T ln 2 ln 2 (x ) (x )
T i 1 i i
相比较，决定 x 属于第一类或第二类。
2019/2/25
四川大学、电气信息学院、余勤
T 1 1 T
1
1
P (1 )
2
c 1 1 2 2
2019/2/25
1 2 ln 2
四川大学、电气信息学院、余勤
8
• 决策边界 h( x ) T 是二次曲面（超曲面）： 超椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
2.3.2 正态分布下的Bayes判据的 判别函数和决策面
(二次和线性分类器)
2019/2/25
四川大学、电气信息学院、余勤
1
• 前面讲的提供了设计各种特定形式分类器的 基础。 • 这一小节讲述二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。 • 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。
贝叶斯判别函数和决策面.docx
实验一贝叶斯判别函数和决策面一、实验结果1、第一种情况：^.= cr2/,z = 1,2,L决策面如图1所示:从图1可以看出，各类样木落入以坷为中心的同样大小的一些超球体内，两类的决策而是一个超平而。
当两类的先验概率相等，P(®) = P(®)二0.5时，决策面通过绚与叫连线屮点并与连线正交；当两类先验概率不相等，P(®) 二0.2 , P(®)二0.8时，决策面仍通过坷与弘2连线并与连线止交，但向先验概率较小的类偏移。
2、第二种情况：=； 2 ' i=l，2，如=；‘ “2 二决策面如图2所不:pv/1=0.2, pw2=0.8时'决策面pw1=0.2/ pw2=0.8时，槪率密度及次策面0.150.05pw1=0.5^ pw2=0.5时，槪率密度及次策面11=1,2,"产3从图2可以看出，各类样木落入以冷为中心的同样大小的一些超椭球内，两 类的决策面是一个超平面。
当两类的先验概率相等，P(®)二P(®)二0.5时，决 策血通过旳与u 2连线中点；当两类先验概率不相等，戶(©)二0・2,卩(5)二0・8 时，决策面仍通过绚与“2连线，但向先验概率较小的类偏移。
3、第三种情况： ,z, j = 1,2,L ,c'5 0__1 0_T_5_,11\ —，=0 5_厶2_0 11_3_Z_3_pw1=0.2, pw2=0.8时,槪潔密度及决策面pw1=0.2, pw2=0.8时，块策面pw1=0.5. pv/2=05时，槪潔密度及决策面如图3-1所示，当各个随机变量的方差类内相等、类间不相等时，决策而是是一个超球面，投影是圆，且将方差较小的类包围。
当两类先验概率和等时，决策面过吗与“2连线屮点，当两类先验概率不相等时，决策而偏向先验概率小 的类。
1u x =13如图3-2所示，当两个随机变量各类方差都不相等时，概率密度曲线是椭圆, 决策面也是椭圆。
两类正态分布模式的贝叶斯判别
两类正态分布模式的贝叶斯判别硕633 3106036072 赵杜娟一.实验目的1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。
二.实验原理（1）贝叶斯判别原则对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 )()()|()|(x p P x p x P i i i ωωω=式中，)|(i x p ω亦称似然函数。
把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： )()()|()|()(122112ωωωωP P x p x p x l >=则 1ω∈x )()()|()|()(122112ωωωωP P x p x p x l <=则 2ω∈x （1.2） 这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。
该式称为贝叶斯判别。
（2）正态分布模式的贝叶斯分类器判别原理具有M 种模式类别的多变量正态分布的概率密度函数为：)]()(21exp[)2(1)|(1212i i T i in i m x C m x C x P ---=-πω 2,1=i （1.3）式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ⨯协方差矩阵；i C 为矩阵i C 的行列式。
且有 {}i i m E x =； ()(){}Ti i i i m x m x E C --=；{}iE x 表示对类别属于i ω的模式作数学期望运算。
正态分布中的Bayes决策
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
正态分布中的Bayes决策
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
贝叶斯决策理论
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
Ch2 Bayes 决策理论( Bayes 分类器
最小错误率Bayes决策规则
基本假设：
假设要研究的分类问题有c个类别，各类别 状态用ωi表示，i=1,2,…,c; 假设待识别对象 的特征向量x所对应的后验概率用P(ωi/x) 是 已知的；或者，对应于各个类别的先验概率 P(ωi)和类条件给率密度函数p(ωi/x)是已知 的。
最小错误率Bayes决策规则
ω1 ，则 x ∈ ω 2
最小错误率Bayes决策规则
还可以得到下面的后验概率形式的规则：
P(ω1 / x) > or < P (ω 2 / x)
则
ω1 x∈ ω 2
请同学们思考下面的问题：对于多类分 类问题，最小错误率Bayes决策规则的形 式如何？
最小错误率Bayes决策规则
例题2.1
P(ω1 ) = 0.995; P(ω 2 ) = 0.005; p(阳 / ω1 ) = 0.01 p(阴 / ω1 ) = 0.99; p(阳 / ω 2 ) = 0.95; p(阴 / ω 2 ) = 0.05
问题：王某，测试结果为阳性，诊断结果是什么？
最小错误率Bayes决策规则
例题2.1 由于
思考题：如何将最小风险Bayes决策规则推广至多类分类 问题？
最小风险Bayes决策规则
例题2.2 在例题2.1的基础上，令L11=0, L21=3, L12=1, L22=0，按照最小风险Bayes决策规则为王某诊 断。 计算条件风险：
r1(x)=0.01325; r2(x)=0.00995 由于r1(x)> r2(x),所以x∈ω2 ，即王某属于癌症病人。
注意：若仅由先验概率进行决策，就会 把所有的细胞都判属正常类。 先验概率：由先验知识在识别前就得到 的概率P(ω1)称为状态的先验概率。
实验报告Bayes判别
实验十一Bayes判别实验目的和要求掌握Bayes判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：5.4 5.5 选一题data examp5_4。
input group $ x1-x7 @@。
cards。
G1 6.6 39 1.0 6.0 6 0.12 20G1 6.6 39 1.0 6.0 12 0.12 20G1 6.1 47 1.0 6.0 6 0.08 12G1 6.1 47 1.0 6.0 12 0.08 12G1 8.4 32 2.0 7.5 19 0.35 75G1 7.2 6 1.0 7.0 28 0.30 30G1 8.4 113 3.5 6.0 18 0.15 75G1 7.5 52 1.0 6.0 12 0.16 40G1 7.5 52 3.5 7.5 6 0.16 40G1 8.3 113 0.0 7.5 35 0.12 180G1 7.8 172 1.0 3.5 14 0.21 45G1 7.8 172 1.5 3.0 15 0.21 45G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40 G2 8.3 97 0.0 6.0 5 0.15 180 G2 8.3 97 2.5 6.0 5 0.15 180 G2 8.3 89 0.0 6.0 10 0.16 180 G2 8.3 56 1.5 6.0 13 0.25 180 G2 7.8 172 1.0 3.5 6 0.21 45run。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013-9-12
四川大学、电气信息学院、余勤
3
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。 • 因此我们有时考虑实际中更简便易行的分类 器设计方法。用二次、线性、分段线性分类 器。即先规定分类器的数学（函数）形式， 然后在适当的准则下，来确定这些函数中的 未知参数。 • 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，第四章再讨论当这些 条件不满足时，如何设计“性能好”的参数 2013-9-12 4 分类器(LDA判别式分析法）。 四川大学、电气信息学院、余勤
w 其中： 1 2 (2 97) 满足（2－96）的x的轨迹是一个超平面
该超平面过 x0 正交于 1 和 2 的连线。当 P ( 1 ) P ( 2 )时， x0 在 连线的中点，当 P ( 1 ) P ( 2 ) 时，x0 在连线上靠近先验概率小的 2013-9-12 15 一边。 四川大学、电气信息学院、余勤
二. 判别函数和多类分类器
1. 多类的判别函数 • 当模式有 N c 2 类，这时的最小错误率的 决策规则可以表示为：
若 g x max g x i k
k
ωi （3）
式中 g x p(ω x ) ，k 1， ， ，N 2 k k c
• g k x 称为判别函数（discriminant function）。它表示决策规则。
h x xT A x bT x c
2013-9-12
四川大学、电气信息学院、余勤
(2)
10
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
1 1 0 1 2 4 0
求 h x T 0
2013-9-12
• 后两项对所有类是共同的，可以省略。分母中的 也可以去掉，因而有等价的判别函数：
• 上式是二次分类器。计算x到各类均值 i 的
1 Mahalanobis距离，然后和阈值 T ln 2 2ln (x ) (x )
T i 1 i i
相比较，决定 x 属于第一类或第二类。
2013-9-12
四川大学、电气信息学院、余勤
2 pl ( x ) ω2 dx Neymen Pearson决策
2013-9-12
四川大学、电气信息学院、余勤
5
• 当各类的类条件密度是多元高斯分布时，
pi
x 2
d
p( x | i ) 1
2
i
1
2
T 1 exp x i i 1 x i (2 48) 2
T
2013-9-12
1
x k ln k
2lnP (ωk ) (4)
19
四川大学、电气信息学院、余勤
• 这是二次判别函数。当所有类的先验概率相等时， 可以省略 ln P ( k )。 • 前面已经证明，当两类的协方差矩阵相等时，二 次分类器退化为线性分类器。多类时也是如此。
P (ωk )
2
d
2
k
1
2
T 1 1 exp x k k x k 2
• 由于自然对数是单调增的，所以可以定义下面等价 的判别函数：
gk x 2ln gk x d ln2 x k k
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A的特征向量的方向。曲面的几何形状由A的 特征值决定。如果A的特征值全部是正的，则是超 椭球面；如果特征值有些正，有些负，则是超双曲 面；如果有些特征值是0，则是超抛物面。）
2013-9-12
四川大学、电气信息学院、余勤
9
• 当 x 落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。） • 任何具有（2）式的分类器都叫作二次分类 器。只有A、b、c是由高斯密度函数确定时， 才叫高斯分类器。
2013-9-12
四川大学、电气信息学院、余勤
14
h x xT Ax bT x c 中，如果两类，则矩阵 这时决策规则为:
h( x ) b
T
A 1 1 1 0 2
ω1 T
x c
b 2
2 2 2
x1 4 x 2 4 x1 x 2 4 x 2 4
2 2 2 2
3x1 3x 2 4 x 2 4
2 2
2013-9-12
四川大学、电气信息学院、余勤
12
4 2 4 2 3 x 2 x 2 x1 3 3
2 2 4 4 2 3 x 2 x1 3 3 9
2013-9-12
四川大学、电气信息学院、余勤
2
• 二次或线性分类器的引出：
在一定的分布和条件下（如正态、等协方差 矩阵），贝叶斯决策可以导致二次或线性分 类器。
虽然贝叶斯决策（似然比检验）在错误率或 风险上是最优的，但必须知道类条件密度。 (在大多数应用场合，类条件密度函数是从有限的样本中估
2.3.2 正态分布下的Bayes判据的 判别函数和决策面
(二次和线性分类器)
2013-9-12
四川大学、电气信息学院、余勤
1
• 前面讲的提供了设计各种特定形式分类器的 基础。 • 这一小节讲述二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。 • 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。
T
2
1
x 2 ln
1 2
1 0 x1 x2 0 4 x x1 x2 2 2
4 0 x1 14 0 1 x 2 ln 1 4 2
x1 4 x 2 4 x1 x 2 2x 2 2
• i (d d 维) 为协方差矩阵， i d维均值向量。 • 这时似然比为
lx
l x
p x ω2
p x ω1
ω1
2 1 1 T 1 T 1 exp x 1 1 x 1 x 2 2 x 2 1 2 2 ω2
• 这些性质可以使我们从一组判别函数推导 出另外的判别函数，以便计算上更加简单， 或者意义更清楚，便于理解。
2013-9-12
四川大学、电气信息学院、余勤
18
2. 多类的二次和线性分类器
• 当每类都是正态分布，其均值和协方差分别为 k 和 k 时， 这时的最小错误率决策规则的判别函数为：
gk x
gk x x x 2k x k 1 k ln 2lnP(ωk )
T 1 T 1 T
• 当 1 2 N c 时，（4）式化为：
• 上式中，由于第一项和第四项对所有的类都是相 同的，所以等价的一组判别函数为： （5）
1
2 1 c
T 1
1 1 2 1 2 ω2
T
• 这时的决策边界 h( x ) T 就退化为线性决策边界（超平面），相 应的分类器为线性分类器。
wT 特别地：当 2 I 时，决策面方程可化为： ( x x0 ) 0 (2 96)
2013-9-12
四川大学、电气信息学院、余勤
6
定义 h x 2ln l x ，-2倍自然对数,则:
ω1
T
T
h x x 1 1
1
x 1 x 2
2
1
h( x )是关于x的二次函数。
1 x 2 ln T 2ln 2 (1) ω2
gk x 2k x k 1 k 2lnP(ωk )，k 1， ， ，N c 2
T 1 T
• 上式是x的线性函数。
2013-9-12
四川大学、电气信息学院、余勤
20
• 例2：最小距离分类器。假定各类的先验概率相等， 2 而且各类 k 2 I，k 1， ， ，N c。即 x 的各个分量不 相关，且各类等方差。 解：这时的判别函数化为：
0 1 4 0 1
0 1 0 0 2 2
11
的分类边界，并画出其曲线。
四川大学、电气信息学院、余勤
• 解： h x x 1
h x x1
T
1
1
x 1 x 2
1
1
c 1 1 2 2
2013-9-12
1
1 2 ln 2
四川大学、电气信息学院、余勤
8
• 决策边界 h( x ) T 是二次曲面（超曲面）： 超椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
当T=0，h(x)=T=0化为：
2 4 ，是一双曲线。 2 x 2 x1 3 3
2013-9-12
四川大学、电气信息学院、余勤
2
2
13
2 1 2
• 当先验概率相等( T 0）时，最小错误率决策规则选择类条件概 率密度函数大的。 • 由于第二类在 x2 方向上的方差大于类1的，这样密度函数 p( x | 2 ) 在 x2 方向上将有较广的延伸。使得在左边 2区域内 p( x | 2 ) p( x | 1 ) 从而有 x 2 ，尽管这些点比较靠近类1的均值点。