第三章贝叶斯决策
模式识别作业题(2)
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到
λ11 P(ω1 | x) + λ12 P(ω2 | x) < λ21 P(ω1 | x) + λ22 P(ω2 | x) ( λ21 - λ11 ) P (ω1 | x) >( λ12 - λ22 ) P (ω2 | x) ( λ21 - λ11 ) P (ω1 ) P ( x | ω1 ) >( λ12 - λ22 ) P (ω2 ) P ( x | ω2 ) p( x | ω1 ) (λ 12 − λ 22) P(ω2 ) > 即 p( x | ω2 ) ( λ 21 − λ 11) P (ω1 )
6、设总体分布密度为 N( μ ，1)，-∞< μ <+∞,并设 X={ x1 ， x2 ，… xN }，分别用最大似然 估计和贝叶斯估计计算 μ 。已知 μ 的先验分布 p（ μ ）～N（0,1）。 解：似然函数为：
∧Байду номын сангаас
L（ μ ）=lnp(X|u)=
∑ ln p( xi | u) = −
i =1
N
模式识别第三章作业及其解答
第三章信息经济学的研究方法—博弈论
第一节 概述-人生处处皆博弈
人生是永不停歇的博弈过程，博弈意 略达到合意的结果。
作为博弈者，最佳策略是最大限度地 利用游戏规则，最大化自己的利益；
作为社会最佳策略，是通过规则使社 会整体福利增加。
一、博弈论的定义
博弈论（game theory，又译为对策论，游戏论）
定义：研究决策主体的行为在直接相互作用时，人们如 何进行决策、以及这种决策如何达到均衡。
五、博弈论与信息经济学
博弈论是给定信息结构求均衡结果，它实际上是一种均衡理论， 我们最终要找的是一个均衡的结果，博弈论是方法论导向的， 它实际上是一种解决问题的方法。它是一个实证的方法。
信息经济学是给定信息结构求契约的安排。它实际上是一种契 约设计理论，它是问题导向的。它是一个规范的方法。
石匠的决策与拳击手的决策的区别
一、博弈论的定义
2、理性人假设 理性人是指一个很好定义的偏好，在面临给定的约束条件下
最大化自己的偏好。
博弈论说起来有些绕嘴，但理解起来很好理解，那就是 每个对弈者在决定采取哪种行动时，不但要根据自身的利益 和目的行事，而且要考虑到他的决策行为对其他人可能的影 响，通过选择最佳行动计划，来寻求收益或效用的最大化。
（一）囚徒困境
假定： （1）每个局中人都知道博弈规则和博弈结果的支付
矩阵； （2）每个局中人都是理性的（个人理性和个人最优
决策）； （3）不能“串通”
（一）囚徒困境——纳什均衡
囚徒A
坦白
坦白 囚徒 B
-8，-8
抵赖 -10，0
抵赖 0，-10 -1，-1
-8大于-10 0大于-1
（坦白，坦白）是纳什均衡
第三章 信息经济学的研究方法 ——博弈论
手写体数字的识别
手写体数字识别第一章绪论 (3)1.1课题研究的意义 (3)1.2国内外究动态目前水平 (4)1.3手写体数字识别简介 (4)1.4识别的技术难点 (5)1.5主要研究工作 (5)第二章手写体数字识别基本过程： (6)2.1手写体数字识别系统结构 (6)2.2分类器设计 (7)2.2.1 特征空间优化设计问题 (7)2.2.2分类器设计准则 (7)2.2.3分类器设计基本方法 (8)3.4 判别函数 (9)3.5训练与学习 (10)第三章贝叶斯方法应用于手写体数字识别 (10)3.1贝叶斯由来 (10)3.2贝叶斯公式 (11)3.3贝叶斯公式Bayes决策理论： (12)3.4贝叶斯应用于的手写体数字理论部分： (15)3.4.1.特征描述： (15)3.4.2最小错误分类器进行判别分类 (17)第四章手写体数字识别的设计流程及功能的具体实现 (18)4.1 手写体数字识别的流程图 (18)4.2具体功能实现方法如下： (19)结束语 (25)致谢词 (25)参考文献 (26)附录 (27)摘要数字识别就是通过计算机用数学技术方法来研究模式的自动处理和识别。
随着计算机技术的发展，人类对模式识别技术提出了更高的要求。
特别是对于大量己有的印刷资料和手稿，计算机自动识别输入己成为必须研究的课题，所以数字识别在文献检索、办公自动化、邮政系统、银行票据处理等方面有着广阔的应用前景。
对手写数字进行识别，首先将汉字图像进行处理，抽取主要表达特征并将特征与数字的代码存储在计算机中，这一过程叫做“训练”。
识别过程就是将输入的数字图像经处理后与计算机中的所有字进行比较，找出最相近的字就是识别结果。
本文主要介绍了数字识别的基本原理和手写的10个数字字符的识别系统的设计实现过程。
第一章介绍了数字识别学科的发展状况。
第二章手写体数字识别基本过程。
第三章贝叶斯方法应用于手写体数字识别。
第四章手写体数字识别的设计流程及功能的具体实现，并对实验结果做出简单的分析。
贝叶斯统计-教学大纲
《贝叶斯统计》教学大纲“Bayesian Statistics” Course Outline课程编号：152053A课程类型：专业选修课总学时：48 讲课学时：48实验（上机）学时：0学分：3适用对象：金融学（金融经济）先修课程：数学分析、概率论与数理统计、计量经济学Course Code：152053ACourse Type：Discipline ElectiveTotal Hours：48 Lecture：48Experiment(Computer)：0Credit：3Applicable Major：Finance（Finance and Economics Experiment Class）Prerequisite：Mathematical Analysis, Probability Theory and Statistics, Econometrics一、课程的教学目标本课程旨在向学生介绍贝叶斯统计理论、贝叶斯统计方法及其在实证研究中的应用。
贝叶斯统计理论与传统统计理论遵循着不同的基本假设，为我们处理数据信息提供新的角度和解读思路，并在处理某些复杂模型上（如，估计动态随机一般均衡模型、带时变参数的状态空间模型等）相比传统方法具有相对优势。
本课程要求学生在选课前具备基本的微积分、概率统计以及计量经济学知识。
以此为起点，我们将主要就贝叶斯统计理论知识、统计模型的应用以及基于计算机编程的实证能力三方面对学生进行训练。
经过对本课程的学习，学生应了解贝叶斯框架的基本思想，掌握基本的贝叶斯理论方法及其主要应用，并掌握实证研究中常用的贝叶斯数值抽样方法以及相关的计算机编程技能。
特别地，学生应能明确了解贝叶斯统计方法与传统统计方法在思想和应用上的区别以及各自的优缺点，以便能在实际应用中合理选择统计分析工具。
This course introduces the basic concepts of Bayesian statistics and the use of Bayesian econometric methods in empirical study. Bayesian statistics has different fundamental assumptions from the classical (frequentist) framework, providing us with an alternative way in analyzing and interpreting data information. Bayesian methods also have relative advantages, and thus are widely used, in dealing with certain complicated models (for example, the estimation of Dynamic Stochastic General Equilibrium model, state space models with time-varying parameters, etc.).Students should have had basic trainings on calculus, probability theory and statistics, and preferably econometrics prior to this course. The major trainings offered in this course focus on Bayesian theories, Bayesian statistical models with applications and computational skills required for empirical analysis. After the course, students should develop their understanding on the philosophy of Bayesian framework, understand basic Bayesian theories, Bayesian estimation methods and their applications, and master the computer skills for the practical use of Bayesian methods. Specifically, students should understand the differences between the Bayesian viewpoint and the classical frequentist perspective in order to be able to choose appropriate analyzing tools in empirical use.二、教学基本要求贝叶斯统计学和计量方法在近年得到越来越广泛的关注和应用，主要得益于计算机技术的发展使得贝叶斯数值抽样方法在实际应用中得以实现。
模式识别总结
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
(完整版)贝叶斯统计-习题答案)
第一章 先验分布与后验分布1.1 解：令120.1,0.2θθ==设A 为从产品中随机取出8个，有2个不合格，则22618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有5418.03.02936.07.01488.07.01488.0)()|()()|()()|()|(2211111=⨯+⨯⨯=+=θπθθπθθπθθπA P A P A P A 4582.0)|(1)|(4582.03.02936.07.01488.03.02936.0)()|()()|()()|()|(122211222=-==⨯+⨯⨯=+=A A or A P A P A P A θπθπθπθθπθθπθθπ1.2 解：令121, 1.5λλ==设X 为一卷磁带上的缺陷数，则()XP λ∴3(3)3!e P X λλλ-==R 语言求：)4(/)exp(*)3(^gamma λλ-1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有111222(3)()(3)0.2457(3)(3)()(3)0.7543(3)P X X P X P X X P X λπλπλλπλπλ==========1.3 解：设A 为从产品中随机取出8个，有3个不合格，则3358()(1)P A C θθθ=-（1） 由题意知 ()1,01πθθ=<< 从而有.10,)1(504)|(504)6,4(/1)6,4(1)6,4()1()1()1()1()1()1()1()()|()()|()|(535311614531535315338533810<<-==-=--=--=--==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求（2）.10,)1(840)|(840)7,4(/1)7,4(1)7,4()1()1()1()1()1()1(2)1()1(2)1()()|()()|()|(636311714631636315338533810<<-==-=--=--=----==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求1.5 解：（1）由已知可得.5.125.11,110110/1)()|()()|()|(,2010,101)(5.125.111)|(2112211)|(12,2121,1)|(5.125.11201011111111<<===<<=<<=+<<-==+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθd d x p x p x x p x p x x x p ，，即，时，当（2）由已知可得.6.115.11,1010110/1)()|,,()()|,,(),,|(,2010,101)(6.115.111)|,,(,219.1121,214.1121,211.1121,217.1121215.11212112211)|,,(9.11,4.11,1.11,7.11,5.11,0.12,6,2,1,2121,1)|,,(6.115.112010621621621621621654321621<<===<<=<<=+<<-+<<-+<<-+<<-+<<-+<<-========+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθθθθθθθθθθθd d x x x p x x x p x x x x x x p x x x p x x x x x x i x x x x p i ，即，，时，当【原答案：由已知可得 ()1,0.50.5P x x θθθ=-<<+1(),102010πθθ=<< 11.611.51()0.0110m x d θ==⎰从而有()()()10,11.511.6()P x x m x θπθπθθ==<< 】1.6 证明：设随机变量()XP λ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则即得证！),(~),,|()()|,,(),,|(,0,)()(,!!)|,,(121)(121211112111βαλπλλπλλπλλαβλπλλλλβαβλααλλ++∑∑∝•∝>Γ=∑===+--+--=-=-==∏∏n x Ga x x x ex x x p x x x e x e x ex x x p ni i n n x n n ni in x ni i x n ni i ni ii【原答案： (),0!x e P x x λλλλ-=>1(),0()e ααβλβπλλλα--=>Γ 因此 11(1)()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝•∝= 所以 (,1)x Ga x λαβ++】 1.7 解：（1）由题意可知.1},max{,1)/(1)/(122)()|,,()()|,,(),,|(,10,1)(,,2,1,10,22)|,,(121},max{221},max{2121121212112122111<<∝===<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθπθθπθθπθθπθθθθn nx x nn x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 ()1,01πθθ=<< 因此122()12(1)xxm x d x θθ=•=-⎰因此 2()()1(),1()1P x x x x m x x θπθπθθθ==<<- （实质是新解当n=1的情形）】（2） 由题意可知.1},max{,1)/(1)/(13232)()|,,()()|,,(),,|(,10,3)(,,2,1,10,22)|,,(12-21},max{2-22-21},max{2212211212121212122111<<∝=⨯⨯==<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθθθπθθπθθπθθθπθθθθn n x x n n x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 1222()36xm x d x θθθ=•=⎰因此 ()()()1,01()P x x m x θπθπθθ==<<】 1.8 解：设A 为100个产品中3个不合格，则3397100()(1)P A C θθθ=-由题意可知 199(202)()(1),01(200)πθθθθΓ=-≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝•∝--=- 由上可知)297,5(~)|(Be A θπ1.9 解：设X 为某集团中人的高度，则2(,5)XN θ∴25(,)10XNθ ∴2(176.53)5()p x θθ--=由题意可知 2(172.72)5.08()θπθ--=又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222(176.53)(172.72)(174.64)55.0821.26eeeθθθ------⨯∝•∝因此 (174.64,1.26)x N θ1.10 证明：设22(,),,N u u θσσ其中为已知又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222222251()()11252()11225252u x x u eeeσθθθσσσ+----+⨯--⨯+⨯∝∝因此 222251(,)112525u x xN σθσσ+++又由于21112525σ≤+ 所以 θ的后验标准差一定小于151.11 解：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)X U θ.8,861)/(1192192)()|,,()()|,,(),,|(,4,192)(.81)|,,(8,8,5.3,2,1,0,1)|,,(768778774321321321433213213321>⨯====≥=>=====<<=⎰⎰⎰∞∞∞θθθθθθθθθθπθθπθθπθθθπθθθθθθd d d x x x p x x x p x x x x x x p x x x i x x x x p i ，时，当【原答案：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)XU θ∴1(),0p x x θθθ=<<当8θ>时，31()p x θθ=43819211()8192m x d θθθ+∞==⎰从而有 7()()3()()128p x x m x θπθπθθ==, 计算错误】1.12 证明：由题意可知 1(),0,1,2,...,i np x x i n θθθ=<<=从而有 ()()()()x x p x πθπθθπθ∝•00111n n n ααααθθθθθ++++∝•∝ 因此 θ的后验分布仍是Pareto 分布。
《数理统计》课程教学大纲
《数理统计》课程教学大纲Mathematica1Statistics一、课程基本信息学时：48学分：3考核方式：考试。
期末成绩、平时成绩各占总成绩的70%和30%课程简介：数理统计是统计学专业的一门专业基础课，在教学计划中列为主干课程。
通过本课程的学习，可以使学生初步掌握处理随机现象的基本方法，掌握随机变量理论和基本的统计推断方法，提高学生分析问题解决问题的能力，为学生进一步学习数据分析、统计学原理等后续课程打下良好的基础。
二、课程性质与教学目的本课程是统计学专业学生必修的一门专业基础主干课程；数理统计是研究随机现象统计规律的学科，是培养学生掌握、解决、处理随机现象的一门课程。
本课程的教学目的为，通过本课程的学习，使学生初步掌握掌握随机变量四大理论,分布函数理论、分布律理论、概率密度理论和数字特征理论；掌握基本的统计推断方法,参数估计方法、假设检验方法和回归分析方法，提高学生分析问题解决问题的能力，拓展学生创新能力。
本课程将为后续课程的学习以及相关课程设计、毕业设计等奠定重要的基础。
三、教学方法与手段教学方法方面，本课程思维方式独特，还需要学生有一定的微积分基础。
教学中应注意概率意义的解释和学生基础情况的把握，处理好抽象与具体，偶然与必然、一维与多维，理论与实践的关系。
采用启发式教学，培养学生思考问题、分析问题和解决问题的能力；引导和鼓励学生通过自学获取知识，培养学生的自学能力；增加讨论课，调动学生学习的主观能动性，培养学生的创新能力。
教学手段方面，本课程属于理论基础课，在教学中采用多媒体课件及多媒体教学系统等先进教学手段，以确保在有限的学时内，全面、高质量地完成课程教学任务。
五、推荐教材和教学参考斐源推荐教材：《概率论与数理统计教程》，蔚诗松、程依明、濮晓龙编著，高等教育出版社，2004教学参考资源1.沈恒范，《概率论与数理统计教程》，高等教育出版社，20052.盛骤等，《概率论与数理统计》，高等教育出版社，20083.华东师范大学数学系，《概率论与数理统计教程》，高等教育出版社，19804.张玉春、刘玉凤，《概率论与数理统计学习指导》，国防工业出版社，2008。
模式识别第2章 非监督学习方法
当特征只有两个状态（0，1）时，常用匹配测度。 0表示无此特征 1表示有此特征。故称之为二值特征。 对于给定的x和y中的某两个相应分量xi与yj 若xi=1,yj=1 ，则称 xi与yj是 (1-1)匹配； 若xi=1,yj=0 ，则称 xi与yj是 (1-0)匹配； 若xi=0,yj=1 ，则称 xi与yj是 (0-1)匹配； 若xi=0,yj=0 ，则称 xi与yj是 (0-0)匹配。
青蛙
无肺
有肺
14
特征选取不同对聚类结果的影响
(c) 按生活环境分
羊,狗,猫 蜥蜴,毒蛇 麻雀,海鸥
金鱼 绯鲵鲣
蓝鲨
青蛙
陆地
水里
两栖
15
特征选取不同对聚类结果的影响
(d) 按繁衍后代方式和肺是否存在分
蜥蜴,毒蛇 麻雀,海鸥
青蛙
金鱼 绯鲵鲣
非哺乳且有肺 非哺乳且无肺
羊,狗,猫
哺乳且有肺
蓝鲨
哺乳且无肺
p
q
最近距离法
1/2
1/2
0
-1/2
最远距离法
1/2
1/2
0
1/2
中间距离法 重心距离法 平均距离法 可变平均法 可变法 离差平方和法
1/2
np n p nq
np n p nq
(1 ) np np nq
1
2
nk n p nk nl
1/2
nq n p nq
nq n p nq (1 ) nq
48
2·3 类的定义与类间距离
49
2·3 类的定义与类间距离
w j 的类内离差阵定义为
S ( j) W
1 nj
nj
(
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最小错误率准则
❖ 数学表示：
Ω：表示类别这一随机变量 ω1：表示患病 ω2：表示不患病
X：表示白细胞浓度这一随机变量 x： 表示白细胞浓度值
最小错误率准则
❖ 医生根据已经掌握的知识知道类别的先验 分布：
P 1 P 1 0.5% P 2 P 2 99.5%
①样本从总体中抽取，特征值都是随机变量，在相 同条件下重复观测取值不同，故x为随机向量。 ②特征选择的不完善引起的不确定性； ③测量中有随机噪声存在。
⑵另一方面从样本的可分性来看： ❖ 当各类模式特征之间有明显的可分性时，可用
直线或曲线(面)设计分类器，有较好的效果。 ❖ 当各类别之间出现混淆现象时，则分类困难。
故判决： y 1
Bayes决策准则
❖ 最小错误率准则
最小错误率准则
❖ 先验概率： P i 未获得观测数据之前类别的分布
❖ 类条件概率：P x i 观测数据在各类别种情况下的分布
❖ 后验概率： Pi x X属于哪一类的概率
❖ 贝叶斯公式
P i
x
Px
i P i
Px
c
其中： P x P x i P i i1
最小错误率准则
例：医生要根据病人血液中白细胞的浓度来判断病 人是否患血液病。
这时需要采用统计方法，对模式样本的统计特 性进行观测，分析属于哪一类的概率最大。此 时要按照某种判据分类，如，分类错误发生的 概率最小，或在最小风险下进行分类决策等。
贝叶斯决策理论
❖ 引言
❖ 贝叶斯决策常用的准则 ❖ 分类器，判别函数，决策面 ❖ 正态分布的判别函数
引言
❖ 机器自动识别分类，能不能避免错分类，做到百分 之百正确？怎样才能减少错误？
P i x
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
Py
1
x
38
px
38 y 1 P y
p x 38
1
0.16 0.5 0.16 0.5 0.04 0.5
0.8
P y 2 x 38 0.2
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
❖ 特例2：
最小错误率准则
❖ 形式逻辑（经典确定性推理）
以鲈鱼和鲑鱼分类为例：
假言：如果鱼的长度 x 大于45cm，则该鱼为
鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某性推理）
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2,L , xd T x Rd 为d维特征向量。
第2章 贝叶斯决策理论
Bayesian Decision Theory
❖ 模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征 空间，在特征空间一个 x 称为一个模式样本。
❖ Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性：
以后验概率作为类 别判断的依据
贝叶斯公式保证了 错误率最小
最小错误率准则
❖ 最小错误率的贝叶斯决策 规则为： 如果 P 1 x 大于P 2 x ， 则把x归于患病状态，反之 则归于未患病状态。（最 大后验概率决策）
x1=x2 ?
最小错误率准则
❖ 最小错误率准则的平均错误率：
x =x x2和x3 都是 p(x, ω1)= p(x, ω2) 的根 ，因此 2 3 是两类分界
❖ 引言
❖ 贝叶斯决策常用的准则
❖ 分类器，判别函数，决策面 ❖ 正态分布的判别函数
Bayes决策准则
❖ 最小错误率准则
❖ 最小风险准则 ❖ Neyman-Pearson准则 ❖ 最小最大决策准则
最小错误率准则
黑色：第一类
粉色：第二类
绿色：哪一类？
统计决策理论就是 根据每一类总体的 概率分布决定未知 类别的样本属于哪 一类！
❖ 错分类往往难以避免，因此就要考虑减小因错分类 造成的危害损失，那么有没有可能对危害大的错误 严格控制？
❖ 什么是先验概率、类概率密度函数和后验概率？它 们的定义和相互关系如何?贝叶斯公式正是体现三 者关系的式子。
引言
❖ 贝叶斯决策理论
贝叶斯统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器（Classifier）的设 计起指导作用。
❖ 假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 ,L ,i L ,c
引言
❖ 评价决策有多种标准，对于同一个问题，采用不同 的标准会得到不同意义下“最优”的决策。
❖ 贝叶斯决策常用的准则：
最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则
贝叶斯决策理论
最小错误率准则
❖ 最小错误率准则的平均错误率： 记平均错误率为P(e)，令 t = x2=x3，则
最小错误率准则
❖ 平均错误率是否最小？
最小错误率准则
❖ 似然比公式
P i
x
Px
i P i
Px
则： P 1 x P 2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
先验概率分布：未获得观测数据（病人白 细胞浓度）之前类别的分布。
最小错误率准则
❖ 观测数据白细胞浓度分别在两种情况下的类 条件概率分布：
❖ 已知先验分布和观测值的类条件概率分布，
就可以用贝叶斯理论求得x属于哪一类的后
验概率：
和 P 2 x
最小错误率准则
❖ 最小错误率准则
以先验概率、类条 件概率密度、特征 值（向量）为输入
两类识别问题：患病，未患病
根据医学知识和以往的经验，医生知道：
❖患病的人，白细胞的浓度服从均值2000方差1000的正 态分布；未患病的人，白细胞的浓度服从均值7000， 方差3000的正态分布；（类条件概率）
❖一般人群中，患病的人数比例为0.5%；（先验概率） ❖一个人的白细胞浓度时3100，医生应该做出怎样的判