模式识别第二章(线性判别函数法)
合集下载
模式识别--第二讲 线性分类器
第 1 页第二讲 线性分类器一、 判别函数1、 决策论方法在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定的数量规则来采取不同的分类决策，将待识别的模式划分到不同的类别中去，就称为模式识别的决策论方法。
在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个模式类，称为决策区域（Decision Region ）。
当我们判定待识别的模式位于某个决策区域时，就判决它可以划归到对应的类别中。
图1 决策区域需要注意的是：决策区域包含模式类中样本的分布区域，但不等于模式类的真实分布范围。
2、 判别函数如果特征空间中的决策区域边界（Decision Boundary ）可以用一组方程0)( x i G来表示，则将一个模式对应的特征向量x 代入边界方程中的)(x i G ，确定其正负符号，就可以确定该模式位于决策区域边界的哪一边，从而可以判别其应当属于的类别，)(x i G 称为判别函数（Discriminant Function ）。
判别函数的形式可以是线性的（Linear ）或非线性（Non-linear）的。
第 2 页例如图2就显示了一个非线性判别函数，当G (x )>0时，可判别模式x ∈ω1；当G (x )<0时，可判别x ∈ω2。
图2 非线性判别函数非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程来表达，则决策区域可以用超平面（Hyperplane ）来划分，无论在分类器的学习还是分类决策时都比较方便。
例如图3中的特征空间可以用两个线性判别函数来进行分类决策：当G 21(x )>0且G 13(x )>0时，x ∈ω2； 当G 13(x )<0且G 21(x )<0时，x ∈ω3； 当G 21(x )<0 且 G 13(x )>0时，x ∈ω1；当G 21(x )>0且G 13(x )<0时，x 所属类别无法判别。
模式识别第二版答案完整版
模式识别第二版习题解答目录线性判别函数10非线性判别函数16近邻法16经验风险最小化和有序风险最小化方法18特征的选取和提取18基于kl展开式的特征提取2010非监督学习方法2221如果只知道各类的先验概率最小错误率贝叶斯决策规则应如何表示
模式识别(第二版)习题解答
目录
1 绪论
2
2 贝叶斯决策理论
2
j=1,...,c
类条件概率相联系的形式，即 如果 p(x|wi)P (wi) = max p(x|wj)P (wj)，则x ∈ wi。
j=1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若
p(x|w1) > (λ12 − λ22)P (w2) , p(x|w2) (λ21 − λ11)P (w1)
max P (wj|x)，则x ∈ wj∗。另外一种形式为j∗ = max p(x|wj)P (wj)，则x ∈ wj∗。
j=1,...,c
j=1,...,c
考虑两类问题的分类决策面为：P (w1|x) = P (w2|x)，与p(x|w1)P (w1) = p(x|w2)P (w2)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
λ11P (w1|x) + λ12P (w2|x) < λ21P (w1|x) + λ22P (w2|x) (λ21 − λ11)P (w1|x) > (λ12 − λ22)P (w2|x)
(λ21 − λ11)P (w1)p(x|w1) > (λ12 − λ22)P (w2)p(x|w2) p(x|w1) > (λ12 − λ22)P (w2) p(x|w2) (λ21 − λ11)P (w1)
模式识别(第二版)习题解答
目录
1 绪论
2
2 贝叶斯决策理论
2
j=1,...,c
类条件概率相联系的形式，即 如果 p(x|wi)P (wi) = max p(x|wj)P (wj)，则x ∈ wi。
j=1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若
p(x|w1) > (λ12 − λ22)P (w2) , p(x|w2) (λ21 − λ11)P (w1)
max P (wj|x)，则x ∈ wj∗。另外一种形式为j∗ = max p(x|wj)P (wj)，则x ∈ wj∗。
j=1,...,c
j=1,...,c
考虑两类问题的分类决策面为：P (w1|x) = P (w2|x)，与p(x|w1)P (w1) = p(x|w2)P (w2)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
λ11P (w1|x) + λ12P (w2|x) < λ21P (w1|x) + λ22P (w2|x) (λ21 − λ11)P (w1|x) > (λ12 − λ22)P (w2|x)
(λ21 − λ11)P (w1)p(x|w1) > (λ12 − λ22)P (w2)p(x|w2) p(x|w1) > (λ12 − λ22)P (w2) p(x|w2) (λ21 − λ11)P (w1)
模式识别第二章(线性判别函数法)
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2016/12/3
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2016/12/3
模式识别导论
1
d1 ( x ) d3 ( x )
2
3
d2 ( x) d3 ( x)
34
多类问题图例（第三种情况）
35
上述三种方法小结:
当c
但是
3 时，i j
法比
i i
法需要更多
模式识别-线性判别函数
j
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
模式识别 线性判别函数
或 X >b，则决策 X∈ω1 ；若 a< X <b，则决策
X∈ω2 。
a
b
广义的线性判别函数
通过对上图的分析，可以建立如下的一个二次判别函 数： （X -a）（X -b）
决策规则为： 若该函数的值大于0，则决策X∈ω1 ；
若该函数的值小于0，则决策X∈ω2 。
广义的线性判别函数
上述的二次判别函数写成如下的一般形式，便有
.解线性不等式组的共轭梯度法
.解线性不等式组的搜索法
最小平方误差准则
对于规范化的增广样本向量，yi=1, „, N，要 找a，使得aTyi>0, i=1, „, N。这是求N个不等式 组解的问题。
若线性可分：线性不等式组是一致的，有解--能 求出a，使aTyi>0, i=1, „, N；
若线性不可分：线性不等式组不一致，无解--求 一个a，比如说使正确分类的样本数最多，使成立的 不等式的个数最多。
线性判别函数的基本概念
线性判别函数的一般形式为：Fra bibliotek其中X是一个d 维特征向量,W。是一个常数，称为阈 值权，W 称为权向量。
线性判别函数的基本概念
0 0 线性判别函数g(x)=0 定义了一个超平面H，称为决 策面，即分界面，它把特征空间分成了两个半空间。
广义的线性判别函数
若给定一个一维的模式空间，希望的划分是 X <a
感知准则函数
，当
即若令
，当
这时问题就化为找一个a，使对所有的yn，有aTyn>0， 上述的处理称为规范化，称为规范化的增广样本。
感知准则函数
3.解向量和解区 在线性可分的情况下，满足aTyi>0 ，i=1, 2, „, N 的a称为权向量，记为a*。
X∈ω2 。
a
b
广义的线性判别函数
通过对上图的分析，可以建立如下的一个二次判别函 数： （X -a）（X -b）
决策规则为： 若该函数的值大于0，则决策X∈ω1 ；
若该函数的值小于0，则决策X∈ω2 。
广义的线性判别函数
上述的二次判别函数写成如下的一般形式，便有
.解线性不等式组的共轭梯度法
.解线性不等式组的搜索法
最小平方误差准则
对于规范化的增广样本向量，yi=1, „, N，要 找a，使得aTyi>0, i=1, „, N。这是求N个不等式 组解的问题。
若线性可分：线性不等式组是一致的，有解--能 求出a，使aTyi>0, i=1, „, N；
若线性不可分：线性不等式组不一致，无解--求 一个a，比如说使正确分类的样本数最多，使成立的 不等式的个数最多。
线性判别函数的基本概念
线性判别函数的一般形式为：Fra bibliotek其中X是一个d 维特征向量,W。是一个常数，称为阈 值权，W 称为权向量。
线性判别函数的基本概念
0 0 线性判别函数g(x)=0 定义了一个超平面H，称为决 策面，即分界面，它把特征空间分成了两个半空间。
广义的线性判别函数
若给定一个一维的模式空间，希望的划分是 X <a
感知准则函数
，当
即若令
，当
这时问题就化为找一个a，使对所有的yn，有aTyn>0， 上述的处理称为规范化，称为规范化的增广样本。
感知准则函数
3.解向量和解区 在线性可分的情况下，满足aTyi>0 ，i=1, 2, „, N 的a称为权向量，记为a*。
模式识别(chapter2)资料
解： 三个判别边界分别为：
dd12((xx))
x1 x2 x1 x2 5
0
0
d3 (x) x2 1 0
13
➢1、第一种情况（续）
结论： 因为
d1(x) 0, d2 (x) 0, d3(x) 0
所以它属于ω2类。
14
➢1、第一种情况（续）
5
dd12((xx))
0 0
d3 ( x) 0
wn1
0
当 x 在 n 背向的半空间中时，w0 x wn1 0
这说明判别函数值的正负表示出特征点位于 哪个半空间中，或者换句话说，表示特征点位于 界面的哪一侧。
34
例2.3.1：利用判别函数的鉴别意义，试分析
d(x1,x2)＝x1+x2+1。
x2
d(x1,x2)＝0
×××××××××××××
n
开，而 i j法是将 i 类和 j类分开，显然 i j法使模式更容易线性可分，这是它的优点。
方法⑶判别函数的数目和方法⑴相同，但没有不 确定区，分析简单，是最常用的一种方法。
26
2.3 判别函数值的鉴别意义、权空间及解空间
27
.3 判别函数值的鉴别意义、权空间及解空间
此方程表示一超平面 π。它有以下三个性质:
1
x2
1
d1(x) 0
2 3
d1(x) 0
d2 (x) 0
d3 (x) 0
d3(x) 0
x1
d1(x) 0
d
2
(
x)
0
d3
(
x
)
0
d2(x) 0
5
15
16
➢2、第二种情况（续）
模式识别总结
13
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
第2章 线性判别函数资料
ATY 0
ATY b b Y
返回本章首页
第2章 线性判别函数
2.2.2 感知准则函数及其梯度下降算法
为了解线性不等式 ATYi 0 （Yi 已规范化 ）需要构造
一个准则函数。这里我们介绍一种常用的准则函数即所 谓的感知准则函数，定义为如下的形式：
JP (A) ATY
YA
A 是由于使用权向量 A 而被误分类的样本集合。
g(X ) g1( X )g2 ( X ) , W T W1T W2T , w0 w10 w20 g( X )W T X w0
g(X )0 g( X )0
, ,
X 1 X 2
g( X ) 0 , 可将其任意分类，或拒绝
用其可以构造一个二类模式的线性分类器，如图所示。
返回本章首页
第2章 线性判别函数
T
X
p
W W
w0
W
Tห้องสมุดไป่ตู้
X
p
w0
W TW W
g(X)
W
W TW W
0
g(0) W
w0 W
W
返回本章首页
x2
H w0 W
第2章 线性判别函数
W X
g(X) W R1 ()
R2 ()
Xp
g( X )0 x1
g(X)0
g(X)0
返回本章首页
第2章 线性判别函数
第2章 线性判别函数
2.2 感知准则函数
引入增广模式向量和广义权向量
Y
1 X
A w0 w1 w2
wn T
返回本章首页
第2章 线性判别函数
代入，决策规则可变为
AT Y
AT
Y
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2013-7-16
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
2013-7-16
模式识别导论
38
2.2.2 感知器概念及其训练方法
• 感知准则函数是五十年代由Rosenblatt提出
的一种自学习判别函数生成方法，由于 Rosenblatt企图将其用于脑模型感知器，因 此被称为感知准则函数。其特点是随意确 定的判别函数初始值，在对样本分类训练 过程中逐步修正直至最终确定。
6
1有关模式识别的3个问题
• 相似性度量
• 同类物体之所以属于同一类，在于它们的某些
属性相似，因此可选择适当的度量方法检测出 它们之间的相似性。 • 在特征空间中用特征向量描述样本的属性，用 距离来表示相似性度量。 • 合适的特征空间情况下，同类样本应具有聚类 性，或紧致性好，而不同类别样本应在特征空 间中显示出具有较大的距离。
3
d (x) 0
x1
IR 3
5
d2 ( x) 0
22
1、第一种情况（续）
解： 三个判别边界分别为：
d1 ( x ) x1 x2 0 d 2 ( x ) x1 x2 5 0 d ( x ) x 1 0 2 3
第二章 线性判别函数
实例：统计模式识别
• 19名男女同学进行体检，测量了身高和体
重，但事后发现其中有4人忘记填写性别， 试问（在最小错误的条件下）这4人是男是 女？体检数值如下：
2013-7-16
模式识别导论
2
实例：统计模式识别（续）
• 待识别的模式：性别（男或女） • 测量的特征：身高和体重 • 训练样本：15名已知性别的样本特征 • 目标：希望借助于训练样本的特征建立判
x1
式中： x1 , x2 为坐标变量，
w1 , w2 , w3 为方程参数。
图3.2 两类二维模式的分布
x2
d(X ) 0 ＋ －
将某一未知模式 X 代入：
1
d ( X ) w1 x1 w2 x2 w3
X 若 d ( X ) 0 ，则 1
类； 类；
若 d(X ) 0
2013-7-16 模式识别导论 7
4.1 引言
分类器设计方法，是根据训练样本集提供的信息， 直接进行分类器设计。这种方法省去了统计分布状 况分析，直接对特征空间进行划分，也是当前的主 要方法之一。
2013-7-16
模式识别导论
8
2.1 引言
• 决策域的分界面是用数学表达式来描述的，
如线性函数和各种非线性函数等，所以分 界面的方程主要包括函数类型选择与最佳 参数确定。 • 一般来说，函数类型由设计者选择，其参 数的确定则是依据一定的准则函数，通过 一个学习过程来实现优化。
2013-7-16
模式识别导论
39
2.3 感知器算法(Perceptron Approach)
流程:
任选一初始增广权矢量 用训练样本检验分类是否正确 No 对权值进行校正 Yes
No
对所有训练样本都正确分类？ Yes END 感知器算法流程图
40
2.2 感知器概念及其训练方法
• 设训练样本集X={x1,x2,…,xn}，其中xk属于wi或者 *
2
O
X ，则 2
若 d(X ) 0
x1
X ，则 ω1或 X ω2 或拒绝
维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图3.3 判别函数正负的确定
方法⑶判别函数的数目和方法⑴相同，但没有
不确定区，分析简单，是最常用的一种方法。
36
3. 小结 (1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以 作为模式分类的基础。 (2) i i 与i j 分法的比较： 对于M类模式的分类， i 两分法共需要M个判别函数， i 但 i j 两分法需要M(M-1)/2个。当时M>3时，后者需要更多个 判别式（缺点），但对模式的线性可分的可能性要更大一些 （优点）。 原因：
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2013-7-16
模式识别导论
2、第二种情况（续）
d12 ( x ) 0
2
d23 ( x ) 0
1
d13 ( x ) 0
3
27
多类问题图例（第二种情况）
28
x2
9 8 7 6 5 4 3 2 1
d12(x) = - d21(x) = –x1 – x2
+5=0
0 1 2 3 4 5 6 7 8 9
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
d i ( x ) 0 d j ( x ) 0
j i
x
则判
x i
比如对图的三类问题, 如果对于任一模式 x 如 果它的
x2
d1 ( x ) 0 d 2 ( x) 0 d 3 ( x) 0
d3 ( x) 0
1
d1( x) 0
x2
IR 1
1
IR 4
1
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
3
IR 2
另一种情况是IR2区域， 0 d1 ( x ) 判别函数都为负值。IR1，0 d2 ( x) IR2，IR3，IR4。都为不 d ( x ) 0 3 确定区域。
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
3
3
d1 ( x ) 0 d 2 ( x ) 0 d ( x ) 0 3
5
d (x) 0
x1
d2 ( x ) 0
25
26
模式识别导论
4
有关模式识别的3个问题
• 学习
• 人们在日常生活中几乎时时刻刻在进行模式识别的活 •
动，从小时候起就开始学习与增强这种能力。如小孩 学习认字、认识事物都有一个从不会到会的过程。 确定分类决策的具体数学公式是通过分类器设计这个 过程确定的。在模式识别学科中一般把这个过程称为 训练与学习的过程。 一般来说，决定使用什么类型的分类函数往往是人为 决定的。但数学式子中的参数则往往通过学习来确定
一种类别模式的分布要比M-1类模式的分布更为聚集，i j 分法受到的限制条件少，故线性可分的可能性大。
.2.1 线性判别函数的基本概念
• 线性分类器的设计就是利用训练样本集建
立线性判别函数式，也就是寻找最优的权 向量w的过程。其主要步骤如下 • 采集训练样本，构成训练样本集。样本应该具
有典型性 • 确定一个准则J=J(w,x)，能反映分类器性能， 且存在权值w*使得分类器性能最优 • 设计求解w的最优算法，得到解向量w*
x2
9 8 7 6 5 4 3 2 1
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
31
i j 两分法例题图示
d13(x)为正 d31(x)为正
x2
IR
9 8 7 6 5 1类判别区域 4 3 d12(x)>0 2 d13(x)>0 1
x2
d(X ) 0 ＋ －
若分属于ω1，ω2的两类模式可用一方程d(X) =0来 划分，那么称d(X) 为判别函数，或称判决函数、 决策函数。
例：一个二维的两类判别问题，模 式分布如图示，这些分属于ω1，ω2 两类的模式可用一直线方程 d(X)=0来划分。
1
2
O
d ( X ) w1x1 w2 x2 w3 0
别函数（即数学模型）
2013-7-16
模式识别导论
3
实例：统计模式识别（续）
• 从图中训练样本的分布情况，找出男、女
两类特征各自的聚类特点，从而求取一个 判别函数（直线或曲线）。 • 只要给出待分类的模式特征的数值，看它 在特征平面上落在判别函数的哪一侧，就 可以判别是男还是女了。
2013-7-16
x1
d12(x)为正
i j 两分法例题图示