ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)解读
T
2
1
x 2 ln
1 2
1 0 x1 x2 0 4 x x1 x2 2 2
2019/2/25
四川大学、电气信息学院、余勤
2
• 二次或线性分类器的引出：
在一定的分布和条件下（如正态、等协方差 矩阵），贝叶斯决策可以导致二次或线性分 类器。
虽然贝叶斯决策（似然比检验）在错误率或 风险上是最优的，但必须知道类条件密度。 (在大多数应用场合，类条件密度函数是从有限的样本中估
• 上式是二次分类器。计算x到各类均值 i 的
1 Mahalanobis距离，然后和阈值 T ln 2 ln 2 (x ) (x )
T i 1 i i
相比较，决定 x 属于第一类或第二类。
2019/2/25
四川大学、电气信息学院、余勤
T 1 1 T
1
1
P (1 )
2
c 1 1 2 2
2019/2/25
1 2 ln 2
四川大学、电气信息学院、余勤
8
• 决策边界 h( x ) T 是二次曲面（超曲面）： 超椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
2.3.2 正态分布下的Bayes判据的 判别函数和决策面
(二次和线性分类器)
2019/2/25
四川大学、电气信息学院、余勤
1
• 前面讲的提供了设计各种特定形式分类器的 基础。 • 这一小节讲述二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。 • 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。
一. 两类问题的二次和线性分类器
p x ω1 , 对于似然比检验的决策规则: l x p x ω2 P (ω2 ) ω2 最小错误率Bayes决策 ω1
P (ω1 ) P (ω2 ) 12 22 最小风险Bayes决策 P (ω1 ) 21 11
2 pl ( x ) ω2 dx Neymen Pearson决策
2019/2/25
四川大学、电气信息学院、余勤
5
• 当各类的类条件密度是多元高斯分布时，
pi
x 2
d
p( x | i ) 1
2
i
1
2
T 1 exp x i i 1 x i (2 48) 2
2019/2/25
四川大学、电气信息学院、余勤
6
定义 h x 2ln l x ，-2倍自然对数,则:
ω1 1 T T 1 1 h x x 1 1 x 1 x 2 2 x 2 ln T 2ln 2 (1) ω2 h( x )是关于x的二次函数。
7
• 在一维时，马氏距离 2 i 用方差标准化的一般距离。 • 展开(1)式，有
x i
ห้องสมุดไป่ตู้
2
，即比较
• 式中 1 1 A 1 2
ω1 T T h x x A x b x c T ω2 P ( )
(2)
T 2ln
1
b 2 2 2 1 1
h x xT A x bT x c
2019/2/25
四川大学、电气信息学院、余勤
(2)
10
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
1 1 0 1 2 4 0
求 h x T 0
2019/2/25
0 1 4 0 1
0 1 0 0 2 2
11
的分类边界，并画出其曲线。
四川大学、电气信息学院、余勤
• 解： h x x 1
h x x1
T
1
1
x 1 x 2
• i (d d 维) 为协方差矩阵，i d维均值向量。 • 这时似然比为
lx
l x
p x ω2
p x ω1
ω1
2 1 1 T 1 T 1 exp x 1 1 x 1 x 2 2 x 2 1 2 2 ω2
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A的特征向量的方向。曲面的几何形状由A的 特征值决定。如果A的特征值全部是正的，则是超 椭球面；如果特征值有些正，有些负，则是超双曲 面；如果有些特征值是0，则是超抛物面。）
2019/2/25
四川大学、电气信息学院、余勤
9
• 当 x 落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。） • 任何具有（2）式的分类器都叫作二次分类 器。只有A、b、c是由高斯密度函数确定时， 才叫高斯分类器。
计的。后面我们将讲一些密度函数估计的方法。但密度函数 的估计本身是一件复杂工作（其难度不低于分类）并且需要 大量样本。 )
2019/2/25
四川大学、电气信息学院、余勤
3
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。 • 因此我们有时考虑实际中更简便易行的分类 器设计方法。用二次、线性、分段线性分类 器。即先规定分类器的数学（函数）形式， 然后在适当的准则下，来确定这些函数中的 未知参数。 • 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，第四章再讨论当这些 条件不满足时，如何设计“性能好”的参数 2019/2/25 4 分类器(LDA判别式分析法）。 四川大学、电气信息学院、余勤
模式识别第二章
p(x)~N(μ,Σ)
第二章 贝叶斯决策理论
37
等概率密度轨迹为超椭球面
正态分布 Bayes决策
p ( x ) c ( x μ ) T 1 ( x μ ) 2
i
第二章 贝叶斯决策理论
9
分类器设计
判别 函数
分类器是某种由硬件或软件组成的“机器”：
➢计算c个判别函数gi(x)
➢最大值选择
x1
g1
x2
g2
ARGMAX
a(x)
.
.
.
.
.
.
xn
gc
多类识别问题的Bayes最大后验概率决策：gi(x) = P (ωi |x)
第二章 贝叶斯决策理论
10
2.3 Bayes最小错误率决策
根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
如何对细胞x进行分类？
第二章 贝叶斯决策理论
15
Bayes最小错误率决策例解（2）
最小错误 率决策
利用贝叶斯公式计算两类的后验概率：
P ( 1|x ) 2 P P ( ( 1)jp )( p x (x | | 1 )j)0 .9 0 0 ..9 2 0 0 ..2 1 0 .40 .8 1 8
j 1
P ( 2|x ) 2 P P ( ( 2)jp )( p x (x | | 2)j)0 .2 0 0 ..9 4 0 0 ..1 4 0 .1 0 .1 8 2
2Bayes决策理论
第九页，共66页。
前往(qiánwǎng)
第十页，共66页。
结 束放映 前往(qiánwǎng)本
3.2 最小风险(fēngxiǎn)的Bayes 决策
在上一节我们引见了最小错误率的Bayes决策，并 且证明了运用这种决策法那么时，平均错误概率是
最小的。但实际上有时需求思索一个比错误率更为 普遍的概念——风险(fēngxiǎn)，举例说明。无须置 疑，任何风险(fēngxiǎn)都会带来一定损失。看一个 普通的决策表。
前往(qiánwǎng)本
普通的多类效果(xiàoguǒ)中，设损失函数为0-1损失函
数
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
勇于开始，才能找到成功的路
i j
c
R(k x) min R(i x) P( j x)
0 p(t 1)
t
p(t 2 )
0
p(x 2 )dx 0
R1
勇于开始，才能找到成功的路
R1 ( t) R2 (t )
与最小错误率的Bayes决策(juécè)的比拟
P(1 x) P(2 x) P(1 x) P(2 x)
1 2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
bayes判别法
bayes判别法Bayes判别法Bayes判别法是一种基于贝叶斯定理的分类方法，它通过计算样本在各个类别下的后验概率来进行分类。
Bayes判别法在模式识别、机器学习和统计学等领域中得到了广泛应用。
一、贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下，某个事件发生的概率。
假设A和B是两个事件，P(A)和P(B)分别表示它们各自发生的概率，则有：P(A|B)=P(B|A)×P(A)/P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，称为后验概率；P(B|A)表示在事件A发生的条件下事件B发生的概率，称为似然函数；P(A)和P(B)分别表示事件A和事件B独立发生的概率。
二、Bayes判别法原理Bayes判别法是一种基于贝叶斯定理的分类方法。
假设有n个样本，每个样本可以被分为k类。
对于一个新样本x，我们需要将其归入其中一类。
Bayes判别法采用后验概率最大化准则进行分类，即将x归为后验概率最大的那一类。
具体地，对于一个新样本x，我们需要计算其在每个类别下的后验概率P(ci|x)，然后将x归为后验概率最大的那一类。
其中，ci表示第i类。
根据贝叶斯定理，我们可以将P(ci|x)表示为：P(ci|x)=P(x|ci)×P(ci)/P(x)其中，P(x|ci)表示在第i类下样本x出现的概率，称为类条件概率；P(ci)表示第i类出现的概率，称为先验概率；P(x)表示样本x出现的概率。
由于对于一个新样本来说，其出现的概率是相同的，因此可以忽略分母部分。
因此，我们只需要比较每个类别下的P(x|ci)×P(ci)，并选择最大值所对应的类别作为分类结果。
三、Bayes判别法实现Bayes判别法可以通过训练样本来估计先验概率和类条件概率。
具体地，在训练阶段中，我们需要统计每个类别下每个特征取值出现的次数，并计算相应的先验概率和类条件概率。
具体地：1. 先验概率先验概率指在没有任何信息或者证据的情况下，每个类别出现的概率。
第3章Bayes决策理论2
•（2）各类的协方差矩阵不相等
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.7 离散情况的Bayes决策
•前面我们我们介绍都是连续情况的Bayes决策理论，这 里我们看一下的离散情况。设 是离散型随机变量，从 而Bayes决策法则就是：
•（1）先验概率
；
•（2）条件概率密度函数
。
•先验概率的估计并不困难，关键是条件概率密度函数。
•这里我们以正态分布概率密度函数为主进行讨论，因为
•Ⅰ 在实际问题中，大量的随机变量都服从或近似地服 从正态分布；
•Ⅱ 即使统计总体不服从正态分布，但是它的许多重要 的样本特征可能是渐进正态分布的；
•Ⅲ 正态分布分析起来比较方便。
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.3 Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
第3章Bayes决策•返理论回2 本章首页
•用Lagrange乘子法建立其数学模型
• ，它对应于下式
•然后确定
第3章Bayes决策•返理论回2 本章首页
3.5 Bayes分类器和判别函数
•前面我们介绍了四种决策规则，这里结合第二章中介绍 的判别函数和决策面的概念来设计分类器。
•对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单 值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函 数，记为
第3章Bayes决策理论2
2020/11/26
第3章Bayes决策理论2
正态分布中的Bayes决策
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
正态分布中的Bayes决策
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
贝叶斯决策理论
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
Ch2 Bayes 决策理论( Bayes 分类器
最小错误率Bayes决策规则
基本假设：
假设要研究的分类问题有c个类别，各类别 状态用ωi表示，i=1,2,…,c; 假设待识别对象 的特征向量x所对应的后验概率用P(ωi/x) 是 已知的；或者，对应于各个类别的先验概率 P(ωi)和类条件给率密度函数p(ωi/x)是已知 的。
最小错误率Bayes决策规则
ω1 ，则 x ∈ ω 2
最小错误率Bayes决策规则
还可以得到下面的后验概率形式的规则：
P(ω1 / x) > or < P (ω 2 / x)
则
ω1 x∈ ω 2
请同学们思考下面的问题：对于多类分 类问题，最小错误率Bayes决策规则的形 式如何？
最小错误率Bayes决策规则
例题2.1
P(ω1 ) = 0.995; P(ω 2 ) = 0.005; p(阳 / ω1 ) = 0.01 p(阴 / ω1 ) = 0.99; p(阳 / ω 2 ) = 0.95; p(阴 / ω 2 ) = 0.05
问题：王某，测试结果为阳性，诊断结果是什么？
最小错误率Bayes决策规则
例题2.1 由于
思考题：如何将最小风险Bayes决策规则推广至多类分类 问题？
最小风险Bayes决策规则
例题2.2 在例题2.1的基础上，令L11=0, L21=3, L12=1, L22=0，按照最小风险Bayes决策规则为王某诊 断。 计算条件风险：
r1(x)=0.01325; r2(x)=0.00995 由于r1(x)> r2(x),所以x∈ω2 ，即王某属于癌症病人。
注意：若仅由先验概率进行决策，就会 把所有的细胞都判属正常类。 先验概率：由先验知识在识别前就得到 的概率P(ω1)称为状态的先验概率。
正态分布形状参数在不同损失下Bayes估计
正态分布形状参数在不同损失下Bayes估计正态分布形状参数在不同损失下的Bayes估计目录 1引言 5 1.1历史 5 2 经典统计学中的参数估计 6 2.1参数的矩估计 6 2.2 参数的最大似然估计 7 3不同损失函数下的贝叶斯估计 9 3.1 Linex损失函数下的贝叶斯估计10 3.2复合Linex对称损失函数的贝叶斯估计11 3.3 MLinex损失函数下的贝叶斯估计13 3.4复合MLinex损失函数下的贝叶斯估计 14 4实例分析与数据模拟 16 4.1 Linex损失函数下估计量的比较分析17 4.2 复合Linex损失函数下估计量的比较分析18 4.3 MLinex损失函数下估计量的比较分析18 4.4 复合MLinex损失函数下估计量的比较分析 19 结论 21 致谢 22 参考文献 23 正态分布形状参数在不同损失下的Bayes估计摘要所谓正态分布（Normal distribution）又被称作为高斯分布（Gaussian distribution），是一个在物理、数学及工程等相关领域都有着非常重要作用的概率分布，同时它在统计学的好多方面也有着颇为重要的影响力。
本篇论文在经典统计学的基础，首先对正态分布的参数进行了矩估计和最大似然估计；然后，在选取函数作为先验分布的条件下，研究了正态分布在、复合、和复合损失函数下的估计，最后，利用软件，产生了一组随机数，对在损失函数的情况下，比较了矩估计、最大似然估计和估计的三个估计的估计值；并且对不同损失函数下，不同参数值对正态分布矩估计和估计的估计值变化的影响进行了研究。
关键词正态分布估计损失函数软件Bayes Estimation of Shape Parameters of Normal Distribution under Different Losses AbstractNormal distribution, also known as Gauss distribution, is a very important probability distribution in the fields of mathematics, physics and engineering.It has great influence in many aspects of statistics.First, this paper in classical statistics, the parameters of the exponential distribution of momentestimation and maximum likelihood estimation;Then, under the condition of selecting the Gamma function as the prior distribution, exponential distribution is studied in Linex, composite Linex, MLinex and composite MLinexbayesian estimation under the loss function, and further to the parameters of the exponential distribution, the under composite Linex loss function and MLinex loss function of empirical bayes estimation and bayesian estimation research;Finally, using matlab software, a set of random Numbers is created, and the estimation values of the moment estimation, maximum likelihood estimation and bayesian estimation are compared in the case of Linex loss function.In addition, the moment estimation of the exponential distribution and the change of bayesian estimation are studied under different loss functions.Key words Loss function Bayesian estimation Experience bayesian estimation of Multilayer bayesian estimation Data simulation Matlab software 1 引言正态分布是自然科学和行为科学中一种方便的定量现象模型。
实验报告Bayes判别
实验十一Bayes判别实验目的和要求掌握Bayes判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：5.4 5.5 选一题data examp5_4。
input group $ x1-x7 @@。
cards。
G1 6.6 39 1.0 6.0 6 0.12 20G1 6.6 39 1.0 6.0 12 0.12 20G1 6.1 47 1.0 6.0 6 0.08 12G1 6.1 47 1.0 6.0 12 0.08 12G1 8.4 32 2.0 7.5 19 0.35 75G1 7.2 6 1.0 7.0 28 0.30 30G1 8.4 113 3.5 6.0 18 0.15 75G1 7.5 52 1.0 6.0 12 0.16 40G1 7.5 52 3.5 7.5 6 0.16 40G1 8.3 113 0.0 7.5 35 0.12 180G1 7.8 172 1.0 3.5 14 0.21 45G1 7.8 172 1.5 3.0 15 0.21 45G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40 G2 8.3 97 0.0 6.0 5 0.15 180 G2 8.3 97 2.5 6.0 5 0.15 180 G2 8.3 89 0.0 6.0 10 0.16 180 G2 8.3 56 1.5 6.0 13 0.25 180 G2 7.8 172 1.0 3.5 6 0.21 45run。