UCAS模式识别2-贝叶斯决策
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
模式识别第二章贝叶斯理论
4、分类器设计：
x1 x X 2 ... xn
g1(x) g2(x)
...
Max g(x)
x i
gn(x)
判别计算
最大值选择器
决策
特征向量
贝叶斯公式可以有几种形式的判别法则，针对具体问 题可以选取合适的形式。不管选取何种形式，其基本思想均 是要求判别归属时依概率最大作出决策，这样的结果就是分 类的错误率最小。
由上例中计算出的后验 概率：P (1 x) 0.818, P ( 2 x) 0.182 条件风险：R (1 x) 1 j P ( j x) 12 P( 2 x) 1.092
j 1 2
R ( 2 x) 21 P (1 x) 0.818 因为R (1 x) R ( 2 x) x 异常细胞,因决策1类风险大。 因12＝6较大，决策损失起决定 作用。
31
N-P决策规则 如果：
Px | 2
当
P x | 1
则：
N-P决策规则归结为找阈值
1 x 2
。
P ( x 1 ) 时, 作1 2的分界线. P( x 2 )
t
2 P ( x 2 ) dx, 为 2的函数在取 2为常数时， 可确定， 这时 2一定 1最小
1 j M
另一种形式： g i ( x ) ln P ( x i ) ln P ( i ) max ln P ( x j ) ln P ( i ) x i
1 j M
3、决策面方程： g i ( x )
g j ( x ), 即 g i ( x ) g j ( x ) 0
i , 1 i , 2
模式识别二分类方法
模式识别二分类方法
模式识别中的二分类方法是一种常见的分类问题，主要解决的是将数据分为两类的问题。
常见的二分类方法包括逻辑回归、支持向量机、朴素贝叶斯等。
在二分类问题中，我们通常会使用一些特征来描述数据，然后通过分类器将这些特征映射到两类标签中。
其中，逻辑回归是一种基于概率的二分类方法，通过计算给定特征下每个类别的概率，选择概率较大的类别作为预测结果。
支持向量机则是一种基于统计学习理论的分类方法，通过找到能够将两类数据点最大化分隔的决策边界来实现分类。
朴素贝叶斯则是一种基于概率论的分类方法，通过计算每个类别的条件概率，选择条件概率最大的类别作为预测结果。
除了以上提到的几种二分类方法外，还有许多其他的二分类方法，如随机森林、梯度提升等。
这些方法各有优缺点，需要根据具体的问题和数据特征选择适合的方法。
此外，对于二分类问题中的不平衡数据集问题，我们也可以采用一些特殊的方法进行处理，如过采样、欠采样、使用合成数据等。
这些方法可以帮助我们在处理不平衡数据集时提高分类准确率。
总之，二分类方法是模式识别中重要的组成部分，其应用范围广泛，选择适合的方法需要结合具体的问题和数据特征进行考虑。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告-贝叶斯分类一、实验目的通过使用贝叶斯分类算法，实现对数据集中的样本进行分类的准确率评估，熟悉并掌握贝叶斯分类算法的实现过程，以及对结果的解释。
二、实验原理1.先验概率先验概率指在不考虑其他变量的情况下，某个事件的概率分布。
在贝叶斯分类中，需要先知道每个类别的先验概率，例如：A类占总样本的40%，B类占总样本的60%。
2.条件概率后验概率指在已知先验概率和条件概率下，某个事件发生的概率分布。
在贝叶斯分类中，需要计算每个样本在各特征值下的后验概率，即属于某个类别的概率。
4.贝叶斯公式贝叶斯公式就是计算后验概率的公式，它是由条件概率和先验概率推导而来的。
5.贝叶斯分类器贝叶斯分类器是一种基于贝叶斯定理实现的分类器，可以用于在多个类别的情况下分类，是一种常用的分类方法。
具体实现过程为：首先，使用训练数据计算各个类别的先验概率和各特征值下的条件概率。
然后，将测试数据的各特征值代入条件概率公式中，计算出各个类别的后验概率。
最后，取后验概率最大的类别作为测试数据的分类结果。
三、实验步骤1.数据集准备本次实验使用的是Iris数据集，数据包含150个Iris鸢尾花的样本，分为三个类别：Setosa、Versicolour和Virginica，每个样本有四个特征值：花萼长度、花萼宽度、花瓣长度、花瓣宽度。
2.数据集划分将数据集按7:3的比例分为训练集和测试集，其中训练集共105个样本，测试集共45个样本。
计算三个类别的先验概率，即Setosa、Versicolour和Virginica类别在训练集中出现的频率。
对于每个特征值，根据训练集中每个类别所占的样本数量，计算每个类别在该特征值下出现的频率，作为条件概率。
5.测试数据分类将测试集中的每个样本的四个特征值代入条件概率公式中，计算出各个类别的后验概率，最后将后验概率最大的类别作为该测试样本的分类结果。
6.分类结果评估将测试集分类结果与实际类别进行比较，计算分类准确率和混淆矩阵。
模式识别_2贝叶斯决策理论_正态分布时的统计决策
(2) P Z i P Z j T -1 g i x x μ i Σ i x μ i
g i x
g i x ln 1
d 2
g i x w T i x wi 0
㓯ᙗ࠶㊫ಘ
x μ i
2
ᴰሿ䐍࠶㊫ಘ
54
2S 生课程 仅作本科生课程教学参考使用 本科 程
T
仅作本科生课程教学参考使用
56
2.4 ޣҾ࠶㊫ಘⲴ䭉䈟⦷䰞仈
ߣㆆ㿴ࡉˉ䭉䈟⦷ ㊫ᶑԦᾲ⦷ᇶᓖ৺ݸ傼ᾲ⦷ᐢ⸕ˉ䭉䈟⦷പᇊ
䭉䈟⦷ˉ࠶㊫䰞仈പᴹ༽ᵲᙗᓖ䟿
㺑䟿࠶㊫ಘᙗ㜭Ո࣓ 䇑㇇ഠ䳮ǃ䟽㾱
⨶䇪ޜᔿ ¾ 䭉䈟⦷к⭼ ¾ ᇎ傼ՠ䇑
¾
仅作本科生课程教学参考使用
57
仅作本科生课程教学参考使用
g i x ln
2S d 2
1
1 T -1 ln Σ i 1 x μ Σ i i x μ i ln P Z i 2 2
55
@
3. Σ iнㅹ
g i x g i x d x
g x g x
נሀཱ૨٩
BAYES DECISION THEORY
↓ᘱ࠶ᐳᰦⲴ㔏䇑ߣㆆ
仅作本科生课程教学参考使用
47
2.3 ↓ᘱ࠶ᐳᰦⲴ㔏䇑ߣㆆ ⢙⨶кⲴਸ⨶ᙗ
ᮠᆖкⲴᯩׯᙗ
仅作本科生课程教学参考使用
2.3.1 ↓ᘱ࠶ᐳᾲ⦷ᇶᓖ࠭ᮠⲴᇊѹ৺ᙗ䍘
1. অਈ䟿↓ᘱ࠶ᐳ ˉ ᵏᵋǃᯩᐞǃḷ߶ᐞ
p( x) ª 1 § x P ·2 º 1 exp « ¨ ¸ » 2 V 2S V © ¹ » « ¬ ¼
1 T -1 l ln Σ i 1 x μ Σ i i x μ i ln P Z i 2 2
《模式识别与机器学习》第2讲 贝叶斯学习基础
, =
贝叶斯决策
可能错分的情况存在 × ( − 1)种，涉及到的计算很多，
所以通常采样计算平均正确率()来计算()
= 1 −
= 1 − න , = 1 + න , = 2 + ⋯ + න , =
−
通过判别函数可以得到决策面g i = g j 为
−
1
− T Σ−1 − − −
2
第二讲 贝叶斯学习基础
T −1
Σ
−
+ ln
=
1 Σ
− ln
=0
=
2 Σ
基于高斯分布的贝叶斯决策器
考虑当所有类别的协方差矩阵都相等的情况下，即
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
贝叶斯决策
• 贝叶斯决策
贝叶斯决策（Bayesian decision）是概率框架下实施决策的
基本方法，它通过综合考虑决策的后验分布和错误决策的
损失来做出决策。其中，贝叶斯公式被用于计算后验分布。
=
≠
( = |)
= 1 − ( = |)
第二讲 贝叶斯学习基础
第二讲 贝叶斯学习基础
目录
• 贝叶斯公式
• 贝叶斯决策
• 分类器的相关概念
• 基于高斯分布的贝叶斯分类器
• 朴素贝叶斯分类器
• 参数估计
第二讲 贝叶斯学习基础
分类器的相关概念
二类分类问题：要机器来判断一张图像是大熊猫还是小熊猫
模式识别课件 第二章 贝叶斯决策论
• 2.3 最小误差率分类
• 当损失函数简化到所谓的“对称损失”或“0-1损失” 函数
i, j 1,2,c
0 ( i | j ) 1
i j i j
• 这个损失函数将0损失赋给一个正确的判决，而将一 个单位损失赋给任何一种错误判决，因此所有误判都是 等价的。与这个损失函数对应的风险就是平均误差概率。
i ;
b
左图说明，如果 引入一个0-1损失 或分类损失，那么 判别边界将由阈值 a 决定；而如果 损失函数将模式 2 判为 1 的惩罚大于 反过来情况，将得 到较大的阈值 使 b 得R1变小
2.3.1 极小极大化准则（先验概率未知情形） • 有时我们需要设计在整个先验概率范围内都能很好操作的 分类器。一种合理的设计方法就是使先验概率取任何一种
2
？
通常： (2,1 1,1 ) 0 (1,2 2,2 ) 0
结合贝叶斯公式，用先验概率与条件密度来表示 后验概率，等价规则为 如果 (2,1 1,1 ) P( x | 1 ) P(1 ) (1, 2 2,2 ) P( x | 2 ) P(2 )
p( x | i ) P(i ) p( x | j ) P( j )
j
g i ( x) P(i | x)
gi ( x) ln p( x | i ) ln P(i )
• 尽管判别函数可写成各种不同的形式，但是判决规则是相同的。 每种判决规则都是将特征空间划分c个判决区域， R1 , Rc 如果对于所有的 j i ，有 gi ( x) g j ( x) 那么x属于 Ri 。 要求我 们将x分给 i 。此区域由判决边界来分割，其判决边界即判决
注 : 假定的类条件概率密度函数图,显示了模式处于类别 i 时观察某 个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1
《模式识别与机器学习》习题和参考答案
(μ i , i ), i 1, 2 ，可得
r (x) ln p(x | w 1) ln p(x | w 2)
d
1
1
(x μ1 ) 1 (x μ1 ) ln 2 ln | |
2
2
2
d
1
1
(x μ 2 ) 1 (x μ 2 ) ln 2 ln | |
(2-15)可简化为
1
gi ( x) (x μi ) 1 (x μi ).
2
(2-17)
将上式展开，忽略与 i 无关的项 x 1x ，判别函数进一步简化为
1
gi (x) ( 1μi ) x μi 1μi .
2
(2-18)
此时判别函数是 x 的线性函数，决策面是一个超平面。当决策区域 Ri 与 R j 相邻时，
190%
(2-13)
最小风险贝叶斯决策会选择条件风险最小的类别，即 h( x) 1 。
3.
给出在两类类别先验概率相等情况下，类条件概率分布是相等对角协方差
矩阵的高斯分布的贝叶斯决策规则，并进行错误率分析。
答：
（1）首先给出决策面的表达式。根据类条件概率分布的高斯假设，可以
得到
p(x | w i )
2
2
2
1
1
1 ||
(x μ1 ) 1 (x μ1 ) (x μ 2 ) 1 (x μ 2 ) ln
2
2
2 ||
1
(μ 2 μ1 ) 1x (μ1 1μ1 μ 2 1μ 2 ).
2
(2-28)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13
• 决策面(Decision surface)
– 特征空间中二类判别函数相等的点的集合
正态分布下的 一个例子
1/e ellipse
14
Break
高斯密度函数
• Gaussian density (normal distribution)
– Mean – Variance 2 (standard deviation )
• Overall (expected) risk • Minimum risk decision (Bayes decision)
arg min R( i | x)
i
8
• Minimum risk decision: 2-class case
– Condition risk
– Decision rule
• 在给定均值和方差的所有分布中，正态分布的熵最大(Problem 20, Chapter 2) • 根据Central Limit Theorem，大量独立随机变量之和趋近正态分布 • 实际环境中，很多类别的特征分布趋近正态分布
16
• Multivariate normal density
– 公式要牢记 – Mean – Covariance matrix
Discriminative模型
(discriminant/decision function)
Parametric Gaussian Dirichlet Bayesian network Hidden Markov model
Non-Parametric Histogram density Parzen window K-nearest neighbor
• 一般情况
29
• 最大后验概率决策(0-1 loss)的情况
P(correct ) max P(x | i ) P(i )dx
x i
max P(i | x) P(x)dx
x i
P(error ) 1 max P(i | x) P(x)dx i x
中国科学院大学计算机与控制学院硕士课《模式识别》
第2章：贝叶斯决策理论
刘成林(liucl@)
2015年9月23日
助教：杨学行(xhyang@) 吴一超(yichao.wu@)
统计模式识别方法
生成模型
(Density-based, Bayes decision)
R(1 | x) R( 2 | x)
• Equivalently, decide ω1 if
9
最小错误率分类
• Zero-one loss
• Minimum error decision: Maximum a posteriori (MAP)
10
Likelihood ratio
• 2-class case
P(i | x)
p (x | i ) P(i ) p ( x)
p( x | i ) P(i )
p(x | ) P( )
j 1 j j
c
6
• Decision based on posterior probabilities
• Evidence (a.k.a. likelihood)
– 忽略与类别无关项，得到线性判别函数
– 二类决策面
20
– 1D, 2D, 3D的情况
• 当P(1)= P(2) ，决策面为二类均值的等分面
– 当先验概率变化，决策面发生平移
P(1)=0.8
P(1)=0.99
21
• Case 1: i=
– 展开二次式 线性判别函数！
– 二类决策面
• 注意跟1-2的关系，决策面不一定与之垂直 • 当P(1)= P(2) ，决策面经过(1+2)/2
p (x | i ) P(i ) p ( x)
– see
P(i | x)
7
最小风险决策
• 决策代价(loss)
– True class ωj, decided as αi
ij ( i | j )
• 有时2类代价相差很大，比如医疗诊断的场合、工业检测、自 动商店判断性别
• Condition risk
– decide ω1 if
11
带拒识的决策
• (Problem 13, Chapter 2)
– C+1 classes
0, i j ( i | j ) s , i j , reject r
r s
s [1 P(i | x)], i 1, Ri (x) r , reject
p( x | i ) P(i )
p(x | ) P( )
j 1 j j
c
P( | x) 1
i 1 i
4
2类的例子
• Salmon (ω1) and sea bass (ω2) • If we have only prior probability
– 例如，教室门口判断进来的是男生还是女生，没有任 何传感器 – Decide ω1 if P(ω1) >P(ω2) , otherwise ω2 – Minimum error decision
11 12 21 22 d 1 d 2
1d 2d
dd
– 等密度点轨迹：hyperellipsoid – Mahalanobis distance
17
• Covariance matrix eigenvalues & eigenvecters
32
下次课内容
• 第2章
– 离散变量的贝叶斯决策 – 复合模式分类
• 第3章
– 最大似然参数估计 – 贝叶斯估计
33
3
导论：问题表示
• 类别：
i , i 1,
,c
, xd ] R d
• 特征矢量 x [ x1 ,
• 先验概率 P(i )
P( ) 1
i 1 i
c
• 概率密度函数(条件概率) p(x | i ) • 后验概率
P(i | x)
c
p (x | i ) P(i ) p ( x)
1/2 1/2 I
18
高斯密度下的判别函数
• 判别函数
– Quadratic discriminant function (QDF)
– 在不同covariance假设条件下得到一些特殊形式
19
• Case 1: i=2I
– Euclidean distance – 展开二次式
22
23
• Case 3: i= arbitrary
– 二类决策面：g1(x)=g2(x), hyperquadratics
• 等均值的情况下，1D的例子
24
2D的例子
25
3D的例子
26
2D，4类的例子
27
• 一个具体例子
– 2类，2D
– 决策面
g1(x)=g2(x)
28
分类错误率
• 2类的情况
P(2 ) if we decide 1 P(error ) P(1 ) if we decide 2
– 教室门口判断性别的例子：错误率？
Байду номын сангаас
5
2类的例子
• Decision based on posterior probabilities
P(1 ) 2 / 3 P(2 ) 1/ 3
p(1 | x)
p(2 | x)
p( x | 1 )
p( x | 2 )
1 max P(i | x)
i
x
30
1 max P(i | x)
i
31
讨论
• 贝叶斯分类器(基于贝叶斯决策的分类器)是最优的吗？
– 最小风险、最大后验概率决策 – 最优的条件：概率密度、风险能准确估计
– 具体的参数法、非参数法是贝叶斯分类器的近似，实 际中难以达到最优 – 判别模型：回避了概率密度估计，以较小复杂度估计 后验概率或判别函数 – 什么方法能胜过贝叶斯分类器：在不同的特征空间！
t
[12
t I
d ]
diag[1 , 2 ,
, d ]
– Orthonormal
t 1
• 线性变换
– AtA=1: 正交变换(坐标轴旋转) – 变换后的分布仍为正态分布 – Whitening transform
t Aw Aw 1/2 t 1/2
,c
P(i | x), if max P(i | x) 1 r / s arg max i i arg min Ri (x) i reject, otherwise
12
判别函数、决策面
• 判别函数(Discriminant Function)
– – – – – 表征模式属于每一类的广义似然度gi(x), i=1,…,c 分类决策 arg max gi (x) E.g., conditional risk gi (x) R( i | x) Posterior probability gi (x) P(i | x) Likelihood gi (x) p(x | i ) P(i ) gi (x) log p(x | i ) log P(i )
Neural network Logistic regression Decision tree Kernel (SVM) Boosting
a.k.a. Non-parametric