哈工大模式识别课程期末总结分解

【基于最小风险的贝叶斯决策】
数学描述
【基于最小风险的贝叶斯决策】
条件期望损失：
R(i | x) E (i , j ) (i , j ) P( j | x), i 1, 2,..., a
j 1 c
期望风险：
R R ( ( x) | x) p ( x)dx
H( ) Nln 2 1
H( ) 1 N 1 2 1
, 1 x 2 其它
H( ) 1 N 2 2 1
不成功！
1 x ' x x '' 2
x ', x '' 1 2
2 x '',1 x '
p( | x)
p( x | ) p( )
p( x | ) p( )d
p( , x) p( | x) p( x) p( x | ) p( )
R
E
d


ˆ, ) p ( | x) p ( x)dபைடு நூலகம் dx (

ˆ, ) p( | x)d dx d p( x) (
E E
ˆ | x) p( x)dx d R(
一元参数
【最大似然估计】
多元参数
【最大似然估计】
例子（梯度法不适合）：
1 p( x | ) 2 1 0
,1 x 2 其它
1 p ( x , x ,..., x | , ) N 1 2 N 1 2 l ( ) 2 1 0
目的：期望风险最小化
【基于最小风险的贝叶斯决策】
最小风险贝叶斯决策规则:
R( k | x) min R( i | x)
i 1,2,..., a
a k
【基于最小风险的贝叶斯决策】
算法步骤:
【基于最小风险的贝叶斯决策】
例题2:
【基于最小风险的贝叶斯决策】
【基于最小错误率的贝叶斯决策与最小风险的贝 叶斯决策的关系】
第2章 贝叶斯决策理论
哈尔滨工业大学
概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计
正态分布时的统计决策
小结
贝叶斯决策基础知识
【贝叶斯决策基础知识】
贝叶斯决策理论
• 先验概率：
• 后验概率： • 类条件概率：
P i
P i x
P x i
• 贝叶斯公式：
P i x
P x i P i P x
基于最小错误率的贝 叶斯决策
【基于最小错误率的贝叶斯决策】
（4） h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
4
2.章节知识点整理
5
第1章 模式识别绪论
哈尔滨工业大学
模式识别基本概念 模式识别系统组成 模式识别基本问题
应用领域
小结
模式识别系统组成
【模式识别系统组成】
信息 获取 预处理
特征提取 与选择
模式识别系统组成框图
分类 决策
后处理
4. 分类决策：在特征空间中用统计方法把被识别对象归为某一类。 5.信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常 后处理：针对决策采取相应的行动。 1. 基本作法是在样本训练集基础上确定某个判决规则，使按这种判决 输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片 2. 预处理：去除噪声，加强有用的信息，并对输入测量仪器或其它 规则对被识别对象进行分类所造成的错误识别率最小或引起的损失 等）、一维波形（脑电图、心电图、机械震动波形等）、物理参量 3. 特征提取与选择：为了实现有效的识别分类，要对原始数据进行 因素造成的干扰进行处理。 最小。 和逻辑值（体检中的温度、血化验结果等） 变换得到最能反映分类本质的特征，此过程为特征提取和选择。
h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小风险的贝叶斯决策】
概念
决策 决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如 果把正常细胞判为癌症细胞，固然会给病人精神造成伤害， 但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会 使早期的癌症患者失去治疗的最佳时机，造成验证的后果。
定理：0-1风险
第3章 概率密度函数估计
哈尔滨工业大学
引言 参数估计 正态分布的参数估计
非参数估计
本章小结
参数估计
【参数估计】
最大似然估计
贝叶斯估计
贝叶斯学习
【最大似然估计】
基本假设
【最大似然估计】
基本概念
【最大似然估计】
基本原理
【最大似然估计】
估计量
估计值
【最大似然估计】
【贝叶斯估计】
采用最小风险贝叶斯决策
R(i | x) E (i , j ) (i , j ) P( j | x), i 1, 2,..., a
j 1 c
【贝叶斯估计】
R
E
d


ˆ, ) p( x, )d dx (
p( x | ) p( ) p ( x)
课程总复习
哈尔滨工业大学
1. 关于期末考试/考察 2. 章节知识点整理
2
1. 关于期末考试/考察
3
【关于期末考试】
1. 确认考试人员名单； 2. 考试/考察方式 • 学位课：考试70%+报告30%； • 选修课：报告100%（不用考试）。 3. 报告形式(见word文档) 4. 考试题目（100分） • 1．简答题（35分） 7*5’=35分 • 2．推导题（8分） • 3．证明题（8分） • 4．问答题（24分）3*8’=24分 • 5．计算题（25分） 9’+8’+8’=25分 （记得要带尺子，铅笔，橡皮擦）