贝叶斯决策(1)
实验一贝叶斯决策教材
实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则：对于两类问题，最小错误率贝叶斯决策有以下裁决规则：P( 1 | x) P( 2 | x),则 x 1 ; 反之，则 x 2。
因为先验概率 P( i ）可以确立，与当前样本 x 没关，因此决策规则也可整理成下边的形式：若l (x) P( x | 1 ) P( 2 ) ，则 x1 ,不然 x 。
P(x |2 ) P( 1) 22. 均匀错误率决策界限把 x 轴切割成两个地域，分别称为第一类和第二类的决策地域 .样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率， 再考虑到样本自己的分布后就是均匀错误率：t P( 2 | x) p( x)dx P( 1 | x) p( x)dxP(e)t tp( x | 2 ) P( 2 )dx p( x | 1 ) P( 1 )dx t3. 此实验中的裁决门限和均匀错误率（1）裁决门限假设随机脉冲信号 f 中 0 的概率为 ,高斯噪声信号 n 服从,信号叠加时的放大倍数为 a ，叠加后的信号为s f * a n 。
由最小错误率贝叶斯决策可得：P( 1 ) p( x | 1 )P( 2 ) p( x |2)a2 2a2 2 (ln(1 p0 ) ln p0 )化简计算得： t2a（2）均匀错误率由上述积分式可计算。
二、实验内容1、已知均值和方差，产生高斯噪声信号，计算其统计特征实验中利用 MATLAB产生均值为 0，方差为 1 的高斯噪声信号，信号统计分布的程序和结果以下：%产生高斯噪声并统计其特征x=0;%均值为 0y=1;%方差为 1n=normrnd(x,y,[1 1000000]);%产生均值为 0，方差为 1 的高斯噪声m1=mean(n);%高斯噪声的均值v1=var(n); %高斯噪声的方差figure(1)plot(n(1:400)); title( '均值为 0，方差为 1 的高斯噪声 ');figure(2)hist(n,10000); title('高斯噪声的统计特征 ');获得 m1=-4.6534e-005 ；v1= 0.9971 。
贝叶斯决策方法
max（ E（A1）、 E（A2）） = E（A1） = 34.15 （万元） 即 A*=A1，新产品投产。
（2）后验分析
修正先验概率，现已知P(x),P(z/x)，利 用贝叶斯公式，计算P(x / z)。
1
2
3
s1
0 .3 0 0 .1 5 0 .0 5
s2
0 .0 9 0 .1 2 0 .0 9
s3
0 .0 2 0 .0 8 0 .1 0
0 .4 1 0 .3 5 0 .2 4
S
P (s/ )= p ( /s)/ p ( ,s)
1
2
3
S 1 0 .7 3 1 7 0 .4 2 8 6 0 .2 0 8 3
-70
20 S1(0.5)
钻井
7 S2(0.3) 50 S3(0.2) 200
20 3
0 不钻井 -40 S1(0.7317)
-80
不勘探
8 S2(0.2195) 40
22.5
-10 钻井
S3(0.0488) 190
-10
决 策1
4 1 =0.41 22.9
不钻井 钻井
22.9 S1(0.4286) 9 S2(0.3428)
（1）进行贝叶斯决策；
（2）计算出补充情报价值与全 情报价值；
（3）用决策树表示决策过程。
解：（1）求后验概率P（Si/j）
s
P (s)
P ( /s)
1
2
3
s1 0 .5 0 .6 0 .3 0 .1
贝叶斯决策
一、什么是贝叶斯决策在以上所述的一般风险性决策问题中，自然状态的概率是作为已知条件给出的。
但是，在现实经济生活中，事先给出的各种状态的概率（又称为先验概率）常常是不准确的。
因此，需要通过进一步的试验和调查，收集补充信息，并利用补充信息，对原来估计的概率进行修订，从而求得更接近实际的新概率（利用补充信息修订的概率又称为后验概率）。
所谓贝叶斯决策，就是利用补充信息，根据概率计算中的贝叶斯公式来估计后验概率，并在此基础上对备选方案进行评价和选择的一种决策方法。
利用贝叶斯决策方法，可以将先验的信息和补充的信息结合在一起进行分析与判断，从而提高了决策的可靠性。
同时，利用该方法，还可以对信息的价值以及是否需要采集新的补充信息作出科学的判断。
二、贝叶斯公式与后验概率的估计设某种状态θj的先验概率为P(θj)，通过调查获得的补充信息为e k ,θj给定时，e k的条件概率（似然度）为，则在给定信息e k的条件下,θj 的条件概率即后验概率可用以下贝叶斯公式计算：(9.14)【例9-10】某空调机生产厂家拟向另一电子元件厂购买某种电子元器件，根据过去的经验,该电子元件厂产品发生不同次品率的概率分布如表9-5第二栏所示。
但据说，该厂的产品质量最近有所提高。
现从市场上该电子元件厂出售的该种元器件中，随机抽取了10件，结果未发现次品。
试根据这一信息，对以往元器件厂次品率的概率分布进行修正。
解：以往的概率分布可视为先验概率。
在各种不同次品率给定条件下，抽查10件发生0件次品(发生0件为)的概率近似地服从于二项分布，其似然度可按以下方式计算：(9.15)在Excel 中，利用BINOMDIST函数可以方便地计算二项分布的概率。
表9-5的第3栏，给出了按照上式计算的结果。
将似然度代入贝叶斯公式（9.4）式，可求得不同状态下的后验概率,结果如表9-5中最后一栏（第5栏）所示。
例如，次品率为0.05状态的后验概率为：从表中结果可以看出：由于实际抽查的次品率为0,因此，次品率为0.05这种状态的后验概率大于先验概率，而次品率为0.15和 0.20这两种状态的后验概率小于先验概率。
贝叶斯决策方法的步骤
贝叶斯决策方法的步骤贝叶斯决策方法是一种基于贝叶斯定理的决策方法，其原理是通过先验概率和后验概率来进行决策。
它在众多领域中得到了广泛的应用，比如机器学习、金融领域、医疗诊断等。
下面就让我们来详细了解一下贝叶斯决策方法的步骤。
步骤一：建立概率模型贝叶斯决策方法首先需要建立一个概率模型，包括先验概率、条件概率等。
先验概率是指在没有任何其他信息的情况下，某一事件发生的概率；条件概率是指在已经发生的其他事件的前提下，某一事件发生的概率。
通过收集数据、统计分析等方法，可以得到所需的概率模型。
步骤二：收集样本数据在进行贝叶斯决策之前，需要收集样本数据，以便用于更新概率模型中的参数。
样本数据的收集应当具有代表性，并且需要足够的量来进行统计分析，以准确地估计概率参数。
步骤三：计算先验概率在得到样本数据之后，需要根据这些数据计算先验概率。
先验概率是在考虑其他任何信息之前，某一事件发生的概率。
通过对样本数据进行统计分析，可以得到相应的先验概率。
步骤四：计算条件概率条件概率是在已知其他事件发生的前提下，某一事件发生的概率。
在得到先验概率之后，需要根据样本数据计算条件概率，以便进行后续的决策过程。
步骤五：应用贝叶斯定理进行决策在建立好概率模型并计算好相应的概率之后，可以应用贝叶斯定理进行决策。
贝叶斯定理是通过先验概率和条件概率来计算后验概率，从而做出最优的决策。
根据后验概率的大小，可以确定最优的决策方案。
步骤六：不断更新概率模型随着新的样本数据的不断积累，概率模型中的参数也需要不断地更新。
通过将新的样本数据融入到原先的概率模型中，可以得到更为准确的概率参数，从而提高决策的准确性。
在实际应用中，贝叶斯决策方法需要根据具体问题对概率模型进行适当的建立和调整，同时也需要根据具体的样本数据来进行概率参数的估计。
在处理一些复杂的实际问题时，可能还需要采用一些先进的数学方法来优化概率模型和提高决策的准确性。
贝叶斯决策方法是一种灵活、有效的决策方法，在实际应用中有着广泛的用武之地。
中科大模式识别贝叶斯决策答案
其中是一个 似然函数
维的向量，Σ是一个
维的对称矩阵
对上式取对数，并去掉常数项−
log
之后，得到对数似然函数为
(1) 参数 的最大似然估计 由矩阵代数理论知，对于实对称矩阵 ，有 于是可得 = 成立
令
= 0，解得
(2) 参数Σ的最大似然估计 相关公式：
关于以上公式的详细讨论，请参考 多元正态分布.pdf 13.5 节 对 Σ 稍作变形
令
Σ−
= 0，解得
，将未知样本预测为
预测为
= = 0， = ， =t 2. 如果： 请按照最小风险贝叶斯决策对上题的待识别细胞进行分类。 【解】 最小风险贝叶斯决策需要比较条件平均风险 和 ，将未知样本预测为条件平均风险 小的那一类 P P P P = 0 0. 0.9 t 0.4 0. = 0. 4 = P P P P = 0. 0.9 0 0.4 0. = 0. = 由于 ，因此将细胞 预测为 3. 多维正态分布的最大似然估计推导。 【解】 数据集 = ， ∈ 多维正态分布的参数化表达形式为
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
机器学习——基础整理（一）贝叶斯决策论；二次判别函数；贝叶斯错误率；生成式模型的参数方法
机器学习——基础整理（⼀）贝叶斯决策论；⼆次判别函数；贝叶斯错误率；⽣成式模型的参数⽅法本⽂简单整理了以下内容：（⼀）贝叶斯决策论：最⼩错误率决策、最⼩风险决策；经验风险与结构风险（⼆）判别函数；⽣成式模型；多元⾼斯密度下的判别函数：线性判别函数LDF、⼆次判别函数QDF（三）贝叶斯错误率（四）⽣成式模型的参数估计：贝叶斯学派与频率学派；极⼤似然估计、最⼤后验概率估计、贝叶斯估计；多元⾼斯密度下的参数估计（五）朴素贝叶斯与⽂本分类（挪到了下⼀篇博客）（⼀）贝叶斯决策论：最⼩风险决策（Minimum risk decision）贝叶斯决策论（Bayesian decision theory）假设模式分类的决策可由概率形式描述，并假设问题的概率结构已知。
规定以下记号：类别有c个，为\omega_1,\omega_2,...,\omega_c；样本的特征⽮量\textbf x\in\mathbb R^d；类别\omega_i的先验概率为P(\omega_i)（prior），且\sum_{i=1}^cP(\omega_i)=1；类别\omega_i对样本的类条件概率密度为p(\textbf x|\omega_i)，称为似然（likelihood）；那么，已知样本\textbf x，其属于类别\omega_i的后验概率P(\omega_i|\textbf x)（posterior）就可以⽤贝叶斯公式来描述（假设为连续特征）：P(\omega_i|\textbf x)=\frac{p(\textbf x|\omega_i)P(\omega_i)}{p(\textbf x)}=\frac{p(\textbf x|\omega_i)P(\omega_i)}{\sum_{j=1}^cp(\textbfx|\omega_j)P(\omega_j)}分母被称为证据因⼦（evidence）。
后验概率当然也满⾜和为1，\sum_{j=1}^cP(\omega_j|\textbf x)=1。
第四章 贝叶斯决策
第四章贝叶斯决策决策的科学化就是90%的信息加上10%的判断，信息必须要全面、准确、及时，否则就会造成决策的失误，只有最大限度地获取信息和利用信息，才能最大限度地提高决策的正确性。
在风险型决策中，假设各个结局R的发生概率是已知的，一j总是根据历史经验，统计资般Pj料由决策者估计的，又称为“先验概率”。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●先验概率，即前述给出的自然状态出现的概率只是一种比较粗糙地调研而获得的自然状态的概率分布。
●解：（1）先验分析根据题意可列出该问题的收益矩阵表：E(Q(a 1))＝1000×0.6－500×0.4＝400万元；E(Q(a 2))＝0表1 收益矩阵表j θ：天气状况 天气好 天气坏先验概率P(j θ)0.6 0.4 方案9月施工 a 1 10月施工 a 2 1000 －500 0 0●【例】某水利工程公司拟对大江截流的施工工期做出决策。
贝叶斯决策分析课件
02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中，先验概率是指根据历史数据或其他 信息，对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源，对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维，提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险，如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型，对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合，实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用，尤其是在处理不确 定性和主观概率的情况下。
在预测模型中，后验概率可以 用于预测未来的事件或结果。
在分类问题中，后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中，后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据，构建贝叶 斯网络结构，确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理， 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类，如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析，如高斯混合模型 。
实验一贝叶斯决策
实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则：对于两类问题，最小错误率贝叶斯决策有如下判决规则：1212(|)(|),;P x P x x x ωωωω>∈∈则反之，则。
由于先验概率i (P ω）可以确定，与当前样本x 无关，所以决策规则也可整理成下面的形式：121212(|)()(),()(|)P x P l x x x P P x ωωωωωω=>∈∈若，则否则。
2. 平均错误率决策边界把x 轴分割成两个区域，分别称为第一类和第二类的决策区域.样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率，再考虑到样本自身的分布后就是平均错误率：212211()(|)()(|)()(|)P()(|)P()ttt tP e P x p x dx P x p x dxp x dx p x dxωωωωωω∞-∞∞-∞=+=+⎰⎰⎰⎰3. 此实验中的判决门限和平均错误率 （1） 判决门限假设随机脉冲信号f 中0的概率为,高斯噪声信号n 服从,信号叠加时的放大倍数为a ，叠加后的信号为*s f a n =+。
由最小错误率贝叶斯决策可得：1122()(|)()(|)P p x P p x ωωωω→→>化简计算得：220022(ln(1)ln )2aa a p p t μσ+---=（2） 平均错误率 由上述积分式可计算。
二、 实验内容1、 已知均值和方差，产生高斯噪声信号，计算其统计特性 实验中利用MATLAB 产生均值为0，方差为1的高斯噪声信号，信号统计分布的程序和结果如下：%产生高斯噪声并统计其特性x=0;%均值为0 y=1;%方差为1n=normrnd(x,y,[1 1000000]);%产生均值为0，方差为1的高斯噪声 m1=mean(n);%高斯噪声的均值 v1=var(n); %高斯噪声的方差 figure(1)plot(n(1:400)); title('均值为0，方差为1的高斯噪声'); figure(2)hist(n,10000); title('高斯噪声的统计特性');得到m1=-4.6534e-005；v1= 0.9971。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
贝叶斯决策(1)
基于最小风险的贝叶斯决策
上述分类基于错误率最小化的所得到规则，但有
时要考虑比错误率更广泛的概念-----风险。风险与
损失密切相连。
比如对细胞分类固然尽可能正确判断，但判错了 的后果将怎样？
正常异常：精神负担； 异常正常：失去进一步治疗的机会。
显然这两种不同的错误判断所造成损失的严重程 度是有显著差别的，后者的损失比前者更严重。
v 决策：是从样本空间S，到决策空间Θ的一个 映射，表示为：D: S -> Θ。
v 评价决策有多种标准，对于同一个问题，采 用不同的标准会得到不同意义下“最优”的 决策。
贝叶斯决策(1)
Bayes决策常用的准则
v 主要有：
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
在限定一类错误率条件下使另一类错误率为最小的 两类别决策(Neyman—Pearson决策)
贝叶斯决策(1)
2. 利用后验概率P(j/x)与损失函数，计算出 每个条件期望风险R(i/x)(一共有a个决策)。
3. 在a个R(i/x)相互比较，找出最小的决策k， 完成最小风险贝叶斯决策。
贝叶斯决策(1)
❖ 注意：最小风险贝叶斯决策除了先验概
率 P(j) 和 类 条 件 概 率 密 度 p(x/j) 外 ， 还需要有合适的损失函数(j,j)。
1、先验形式
贝叶斯决策(1)
2、似然比 似然比
似然比阈值
由先验形式易知： 即：
贝叶斯决策(1)
3、似然对数
贝叶斯决策(1)
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 解：先计算后验概率：
贝叶斯决策(1)
基于最小错误率的贝叶斯决策
v 引例：癌细胞的识别。（每个细胞抽象为d维 向量 x = （x1,x2,x3,…,xd），识别的目的是 要将x分类为正常细胞或异常细胞。
贝叶斯决策(1)
先验概率 类条件概率密度：
p(x | w1)
p(x | w2)
x 类条件概率密度
贝叶斯决策(1)
贝叶斯公式：
MAX
a(x)
. .
. . .
最大值选择器 决策
.
xn
gc
多类分类器的构成
贝叶斯决策(1)
两类情况
贝叶斯决策(1)
3. 分类器设计
…
判别计算
阈值单元
两类分类器的构成
决策
贝叶斯决策(1)
举例： 对例2.1和例2.2分别写出其判别函数和决策面方程
贝叶斯决策(1)
贝叶斯决策(1)
3rew
演讲完毕，谢谢听讲!
的最小风险贝叶斯决策就等价于
的最小错误率贝叶斯决策。 因此，在0-1损失函数条件下最小错误率贝叶斯决 策就是的最小风险贝叶斯决策。
贝叶斯决策(1)
Neyman—Pearson决策
❖ Neyman—Pearson决策即限定一类错误率条件下使 另一类错误率为最小的两类别决策。
❖ 在两类别决策问题中，有犯两种错误分类的可能性， 这两种错误的概率分别是P(ω2)P2(e)和 P(ω1)P1(e)， 由于先验概率对具体问题来说是确定的，所以一般 称P1(e)，P2(e)为两类错误率。
贝叶斯决策(1)
因此，条件错误概率： P(e|x) = min [P(1|x), P(2|x)]
模式特征x 是一个随机变量，在应用Bayes法则时， 每当观察到一个模式时，得到特征x，就可利用后验 概率作出分类的决策，同时也会带来一定的错误概 率。若观察到大量的模式，对它们作出决策的平均 错误概率P(e)应是P(e|x)的数学期望。
v 判别函数：用于表达决策规则的一些函数。
贝叶斯决策(1)
贝叶斯决策(1)
贝叶斯决策(1)
1.判别函数
多类情况
贝叶斯决策(1)
2.决策面方程 各决策域被决策面所 分割，这些决策面是 特征空间中的超平面， 相邻决策域在决策面 上的判别函数值相等。
贝叶斯决策(1)
3.分类器设计
x1
g1
x2
g2
最小风险贝叶斯决策正是考虑各种错误造成损失 不同而提出的一种决策规则。
贝叶斯决策(1)
几个基本概念：
状态空间：设{1,2,…,c}是c个类别的集合。 决策空间：设{1,2,…,a}是a种决策行为。 损失函数：记 (i|j) 是类别状态为j时采用决
策行为为i时所带来的损失(风险) 。
引入损失概念，考虑错判所造成损失，不 能只由后验概率的大小来决策，而应考虑所 采取决策是否使损失最小。
贝叶斯决策(1)
2020/12/10
贝叶斯决策(1)
内容
v 引言 v 几种常用的决策准则 v 分类器设计
贝叶斯决策(1)
基本概念
v 模式分类：根据识别对象的观测值确定其类 别
v 样本与样本空间：
v 类别与类别空间：c个类别（类别数已知）
贝叶斯决策(1)
决策
v 把x分到哪一类最合理？理论基础之一是统计 决策理论
❖ 在实际中，要列出合适的决策表很不容 易，要根据所研究的具体问题，分析错 误决策造成损失的严重程度，与有关的 专家共同商讨来确定。
贝叶斯决策(1)
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞？
后验概率
P(1|x) 1.0
0.5 P(2|x)
0.0
后验概率
x
对于2分类问题： P(1|x) +P(2|x)=1
贝叶斯决策(1)
决策规则： 如果P(1 | x) > P(2 | x) 如果P(1 | x) < P(2 | x)
简写为：
类别状态= 1 类别状态 = 2
后验形式
贝叶斯决策(1)
几种等价形式：
贝叶斯决策(1)
平均错误率
在整个d维特征空间上的积分
从上式可知，如果对每次观察到的特征值x，
P(e|)是尽可能小的话，则上式的积分必定是尽
可能小的这就证实了最小错误率的Bayes决策法则。
贝叶斯决策(1)
下面以两类模式为例，从理论上给予证明：
贝叶斯决策(1)
也可以写为：
对应图中黄色和 橘红色区域面积
❖ 实际中，有时要求限制其中某一类错误率不得大于 某个常数而使另一类错误率尽可能小。
贝叶斯决策(1)
假设P2（e）很小，使P2（e）=ε0， ε0是一个很小的
常数，在这种条件下再要求尽可能小。 如图所示：
贝叶斯决策(1)
这样的决策可看成是在P2（e）=ε0条件下，求极小值 的条件极值问题，用Lagrange乘子法建立数学模型：
贝叶斯决策(1)
错误率分析
因为决策规则为：
如果P(1 | x) > P(2 | x) 如果P(1 | x) < P(2 | x)
类别状态= 1 类别状态 = 2
因此，无论何时观测到某一个特定值x，概率 误差为：
P(e|x)=P(1|x) 判定为2 (错误选择1);
P(e|x)=P(2|x) 判定为1(错误选择2 );
再见，see you again
2020/12/10
贝叶斯决策(1)
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
贝叶斯决策(1)
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
贝叶斯决策(1)
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
贝叶斯决策(1)
最小风险贝叶斯决策步骤 1. 已 知 先 验 概 率 P(j) 、 类 条 件 概 率 密 度
p(x/j),并给出待识别的x，根据贝叶斯公 式，计算出后验概率P(j/x)。
贝叶斯决策(1)
最小错误率决策与最小风险决策之间的关系
“0-1”损失函数定义：在c个类别只有c个决策时， 如果正确决策，则损失函数的值为0；如果错误决策， 则损失函数的值为1。公式表示为：
贝叶斯决策(1)
此时的条件风险为： 表示对x采取决策i的条件错误概率
贝叶斯决策(1)
所以在0-1损失函数时，使
贝叶斯决策(1)
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一： 形式二：
贝叶斯决策(1)
多类别决策过程中，要把特征空间分割成c个 区域，可能错分的情况很多，平均错误概率 P(e)将由c(c-1)项组成。 直接求P(e)的计算量较大，将代之计算平均正 确分类概率P(c),则：
贝叶斯决策(1)
对于i = 1,…,a，条件风险R(i|x) 定义为：
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
贝叶斯决策(1)
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
贝叶斯决策(1)
贝叶斯决策(1)
整理得： 取得极小值的边界条件（对t和λ求导）
满足上述两式的λ和边界面就能使γ极小。