ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)解读
合集下载
模式识别第二章
多元正态分布由n+n(n+1)/2个参数所完全决 定
p(x)~N(μ,Σ)
第二章 贝叶斯决策理论
37
等概率密度轨迹为超椭球面
正态分布 Bayes决策
p ( x ) c ( x μ ) T 1 ( x μ ) 2
i
第二章 贝叶斯决策理论
9
分类器设计
判别 函数
分类器是某种由硬件或软件组成的“机器”：
➢计算c个判别函数gi(x)
➢最大值选择
x1
g1
x2
g2
ARGMAX
a(x)
.
.
.
.
.
.
xn
gc
多类识别问题的Bayes最大后验概率决策：gi(x) = P (ωi |x)
第二章 贝叶斯决策理论
10
2.3 Bayes最小错误率决策
根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
如何对细胞x进行分类？
第二章 贝叶斯决策理论
15
Bayes最小错误率决策例解（2）
最小错误 率决策
利用贝叶斯公式计算两类的后验概率：
P ( 1|x ) 2 P P ( ( 1)jp )( p x (x | | 1 )j)0 .9 0 0 ..9 2 0 0 ..2 1 0 .40 .8 1 8
j 1
P ( 2|x ) 2 P P ( ( 2)jp )( p x (x | | 2)j)0 .2 0 0 ..9 4 0 0 ..1 4 0 .1 0 .1 8 2
p(x)~N(μ,Σ)
第二章 贝叶斯决策理论
37
等概率密度轨迹为超椭球面
正态分布 Bayes决策
p ( x ) c ( x μ ) T 1 ( x μ ) 2
i
第二章 贝叶斯决策理论
9
分类器设计
判别 函数
分类器是某种由硬件或软件组成的“机器”：
➢计算c个判别函数gi(x)
➢最大值选择
x1
g1
x2
g2
ARGMAX
a(x)
.
.
.
.
.
.
xn
gc
多类识别问题的Bayes最大后验概率决策：gi(x) = P (ωi |x)
第二章 贝叶斯决策理论
10
2.3 Bayes最小错误率决策
根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
如何对细胞x进行分类？
第二章 贝叶斯决策理论
15
Bayes最小错误率决策例解（2）
最小错误 率决策
利用贝叶斯公式计算两类的后验概率：
P ( 1|x ) 2 P P ( ( 1)jp )( p x (x | | 1 )j)0 .9 0 0 ..9 2 0 0 ..2 1 0 .40 .8 1 8
j 1
P ( 2|x ) 2 P P ( ( 2)jp )( p x (x | | 2)j)0 .2 0 0 ..9 4 0 0 ..1 4 0 .1 0 .1 8 2
2Bayes决策理论
第九页，共66页。
前往(qiánwǎng)
第十页，共66页。
结 束放映 前往(qiánwǎng)本
3.2 最小风险(fēngxiǎn)的Bayes 决策
在上一节我们引见了最小错误率的Bayes决策，并 且证明了运用这种决策法那么时，平均错误概率是
最小的。但实际上有时需求思索一个比错误率更为 普遍的概念——风险(fēngxiǎn)，举例说明。无须置 疑，任何风险(fēngxiǎn)都会带来一定损失。看一个 普通的决策表。
前往(qiánwǎng)本
普通的多类效果(xiàoguǒ)中，设损失函数为0-1损失函
数
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
勇于开始，才能找到成功的路
i j
c
R(k x) min R(i x) P( j x)
0 p(t 1)
t
p(t 2 )
0
p(x 2 )dx 0
R1
勇于开始，才能找到成功的路
R1 ( t) R2 (t )
与最小错误率的Bayes决策(juécè)的比拟
P(1 x) P(2 x) P(1 x) P(2 x)
1 2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
bayes判别法
bayes判别法Bayes判别法Bayes判别法是一种基于贝叶斯定理的分类方法，它通过计算样本在各个类别下的后验概率来进行分类。
Bayes判别法在模式识别、机器学习和统计学等领域中得到了广泛应用。
一、贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下，某个事件发生的概率。
假设A和B是两个事件，P(A)和P(B)分别表示它们各自发生的概率，则有：P(A|B)=P(B|A)×P(A)/P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，称为后验概率；P(B|A)表示在事件A发生的条件下事件B发生的概率，称为似然函数；P(A)和P(B)分别表示事件A和事件B独立发生的概率。
二、Bayes判别法原理Bayes判别法是一种基于贝叶斯定理的分类方法。
假设有n个样本，每个样本可以被分为k类。
对于一个新样本x，我们需要将其归入其中一类。
Bayes判别法采用后验概率最大化准则进行分类，即将x归为后验概率最大的那一类。
具体地，对于一个新样本x，我们需要计算其在每个类别下的后验概率P(ci|x)，然后将x归为后验概率最大的那一类。
其中，ci表示第i类。
根据贝叶斯定理，我们可以将P(ci|x)表示为：P(ci|x)=P(x|ci)×P(ci)/P(x)其中，P(x|ci)表示在第i类下样本x出现的概率，称为类条件概率；P(ci)表示第i类出现的概率，称为先验概率；P(x)表示样本x出现的概率。
由于对于一个新样本来说，其出现的概率是相同的，因此可以忽略分母部分。
因此，我们只需要比较每个类别下的P(x|ci)×P(ci)，并选择最大值所对应的类别作为分类结果。
三、Bayes判别法实现Bayes判别法可以通过训练样本来估计先验概率和类条件概率。
具体地，在训练阶段中，我们需要统计每个类别下每个特征取值出现的次数，并计算相应的先验概率和类条件概率。
具体地：1. 先验概率先验概率指在没有任何信息或者证据的情况下，每个类别出现的概率。
第3章Bayes决策理论2
第3章Bayes决策•返理论回2 本章首页
•（2）各类的协方差矩阵不相等
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.7 离散情况的Bayes决策
•前面我们我们介绍都是连续情况的Bayes决策理论，这 里我们看一下的离散情况。设 是离散型随机变量，从 而Bayes决策法则就是：
•（1）先验概率
；
•（2）条件概率密度函数
。
•先验概率的估计并不困难，关键是条件概率密度函数。
•这里我们以正态分布概率密度函数为主进行讨论，因为
•Ⅰ 在实际问题中，大量的随机变量都服从或近似地服 从正态分布；
•Ⅱ 即使统计总体不服从正态分布，但是它的许多重要 的样本特征可能是渐进正态分布的；
•Ⅲ 正态分布分析起来比较方便。
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.3 Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
第3章Bayes决策•返理论回2 本章首页
•用Lagrange乘子法建立其数学模型
• ，它对应于下式
•然后确定
第3章Bayes决策•返理论回2 本章首页
3.5 Bayes分类器和判别函数
•前面我们介绍了四种决策规则，这里结合第二章中介绍 的判别函数和决策面的概念来设计分类器。
•对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单 值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函 数，记为
第3章Bayes决策理论2
2020/11/26
第3章Bayes决策理论2
•（2）各类的协方差矩阵不相等
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.7 离散情况的Bayes决策
•前面我们我们介绍都是连续情况的Bayes决策理论，这 里我们看一下的离散情况。设 是离散型随机变量，从 而Bayes决策法则就是：
•（1）先验概率
；
•（2）条件概率密度函数
。
•先验概率的估计并不困难，关键是条件概率密度函数。
•这里我们以正态分布概率密度函数为主进行讨论，因为
•Ⅰ 在实际问题中，大量的随机变量都服从或近似地服 从正态分布；
•Ⅱ 即使统计总体不服从正态分布，但是它的许多重要 的样本特征可能是渐进正态分布的；
•Ⅲ 正态分布分析起来比较方便。
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.3 Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
第3章Bayes决策•返理论回2 本章首页
•用Lagrange乘子法建立其数学模型
• ，它对应于下式
•然后确定
第3章Bayes决策•返理论回2 本章首页
3.5 Bayes分类器和判别函数
•前面我们介绍了四种决策规则，这里结合第二章中介绍 的判别函数和决策面的概念来设计分类器。
•对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单 值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函 数，记为
第3章Bayes决策理论2
2020/11/26
第3章Bayes决策理论2
正态分布中的Bayes决策
贝叶斯定理的公式为：P(A|B) = (P(B|A) * P(A)) / P(B)，其中P(A|B)是在B发生的条件下P(A)是A发生的概率，P(B)是B发生的概率。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
正态分布中的Bayes决策
如果取0－1损失函数，最小风险判决规则和最 大似然比判决规则均与最小错误判决规则等价。
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
Ch2 Bayes 决策理论( Bayes 分类器
最小错误率Bayes决策规则
基本假设：
假设要研究的分类问题有c个类别，各类别 状态用ωi表示，i=1,2,…,c; 假设待识别对象 的特征向量x所对应的后验概率用P(ωi/x) 是 已知的；或者，对应于各个类别的先验概率 P(ωi)和类条件给率密度函数p(ωi/x)是已知 的。
最小错误率Bayes决策规则
ω1 ，则 x ∈ ω 2
最小错误率Bayes决策规则
还可以得到下面的后验概率形式的规则：
P(ω1 / x) > or < P (ω 2 / x)
则
ω1 x∈ ω 2
请同学们思考下面的问题：对于多类分 类问题，最小错误率Bayes决策规则的形 式如何？
最小错误率Bayes决策规则
例题2.1
P(ω1 ) = 0.995; P(ω 2 ) = 0.005; p(阳 / ω1 ) = 0.01 p(阴 / ω1 ) = 0.99; p(阳 / ω 2 ) = 0.95; p(阴 / ω 2 ) = 0.05
问题：王某，测试结果为阳性，诊断结果是什么？
最小错误率Bayes决策规则
例题2.1 由于
思考题：如何将最小风险Bayes决策规则推广至多类分类 问题？
最小风险Bayes决策规则
例题2.2 在例题2.1的基础上，令L11=0, L21=3, L12=1, L22=0，按照最小风险Bayes决策规则为王某诊 断。 计算条件风险：
r1(x)=0.01325; r2(x)=0.00995 由于r1(x)> r2(x),所以x∈ω2 ，即王某属于癌症病人。
注意：若仅由先验概率进行决策，就会 把所有的细胞都判属正常类。 先验概率：由先验知识在识别前就得到 的概率P(ω1)称为状态的先验概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T
2
1
x 2 ln
1 2
1 0 x1 x2 0 4 x x1 x2 2 2
2019/2/25
四川大学、电气信息学院、余勤
2
• 二次或线性分类器的引出：
在一定的分布和条件下（如正态、等协方差 矩阵），贝叶斯决策可以导致二次或线性分 类器。
虽然贝叶斯决策（似然比检验）在错误率或 风险上是最优的，但必须知道类条件密度。 (在大多数应用场合，类条件密度函数是从有限的样本中估
• 上式是二次分类器。计算x到各类均值 i 的
1 Mahalanobis距离，然后和阈值 T ln 2 ln 2 (x ) (x )
T i 1 i i
相比较，决定 x 属于第一类或第二类。
2019/2/25
四川大学、电气信息学院、余勤
T 1 1 T
1
1
P (1 )
2
c 1 1 2 2
2019/2/25
1 2 ln 2
四川大学、电气信息学院、余勤
8
• 决策边界 h( x ) T 是二次曲面（超曲面）： 超椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
2.3.2 正态分布下的Bayes判据的 判别函数和决策面
(二次和线性分类器)
2019/2/25
四川大学、电气信息学院、余勤
1
• 前面讲的提供了设计各种特定形式分类器的 基础。 • 这一小节讲述二次和线性分类器。所以叫作 二次或线性分类器是因为分类（决策）面方 程的数学形式是二次或线性的。 • 这样的分类器又叫参数分类器，因为它们由 一些参数所规定（如分布的均值和方差）。
一. 两类问题的二次和线性分类器
p x ω1 , 对于似然比检验的决策规则: l x p x ω2 P (ω2 ) ω2 最小错误率Bayes决策 ω1
P (ω1 ) P (ω2 ) 12 22 最小风险Bayes决策 P (ω1 ) 21 11
2 pl ( x ) ω2 dx Neymen Pearson决策
2019/2/25
四川大学、电气信息学院、余勤
5
• 当各类的类条件密度是多元高斯分布时，
pi
x 2
d
p( x | i ) 1
2
i
1
2
T 1 exp x i i 1 x i (2 48) 2
2019/2/25
四川大学、电气信息学院、余勤
6
定义 h x 2ln l x ，-2倍自然对数,则:
ω1 1 T T 1 1 h x x 1 1 x 1 x 2 2 x 2 ln T 2ln 2 (1) ω2 h( x )是关于x的二次函数。
7
• 在一维时，马氏距离 2 i 用方差标准化的一般距离。 • 展开(1)式，有
x i
ห้องสมุดไป่ตู้
2
，即比较
• 式中 1 1 A 1 2
ω1 T T h x x A x b x c T ω2 P ( )
(2)
T 2ln
1
b 2 2 2 1 1
h x xT A x bT x c
2019/2/25
四川大学、电气信息学院、余勤
(2)
10
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
1 1 0 1 2 4 0
求 h x T 0
2019/2/25
0 1 4 0 1
0 1 0 0 2 2
11
的分类边界，并画出其曲线。
四川大学、电气信息学院、余勤
• 解： h x x 1
h x x1
T
1
1
x 1 x 2
• i (d d 维) 为协方差矩阵，i d维均值向量。 • 这时似然比为
lx
l x
p x ω2
p x ω1
ω1
2 1 1 T 1 T 1 exp x 1 1 x 1 x 2 2 x 2 1 2 2 ω2
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A的特征向量的方向。曲面的几何形状由A的 特征值决定。如果A的特征值全部是正的，则是超 椭球面；如果特征值有些正，有些负，则是超双曲 面；如果有些特征值是0，则是超抛物面。）
2019/2/25
四川大学、电气信息学院、余勤
9
• 当 x 落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。） • 任何具有（2）式的分类器都叫作二次分类 器。只有A、b、c是由高斯密度函数确定时， 才叫高斯分类器。
计的。后面我们将讲一些密度函数估计的方法。但密度函数 的估计本身是一件复杂工作（其难度不低于分类）并且需要 大量样本。 )
2019/2/25
四川大学、电气信息学院、余勤
3
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。 • 因此我们有时考虑实际中更简便易行的分类 器设计方法。用二次、线性、分段线性分类 器。即先规定分类器的数学（函数）形式， 然后在适当的准则下，来确定这些函数中的 未知参数。 • 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，第四章再讨论当这些 条件不满足时，如何设计“性能好”的参数 2019/2/25 4 分类器(LDA判别式分析法）。 四川大学、电气信息学院、余勤