模式识别-第7讲-非线性判别函数
合集下载
模式识别-线性判别函数
j
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
模式识别原理课件第章判别函数及几何分类法
di(X )W iTX , i1 , ,M
的M类情况，判别函数性质为：
d i ( X ) d j X , j i ; i , j 1 , 2 , , M ,若 X i
或： d i ( X ) m d k X , a k 1 , x , M ,若 X i
d (X ) - d X 0
区域 。
x
d
(X ) - d
X
0
2
1
3
-
1
d (X ) - d
X
0
1
2
-
3
2
x
1 O
-
d
(X ) - d
X
0
2
3
3. 小结
(1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以
作为形式分类的根底。
(2) i i 与 分法i的 比较j ：
i i 对于M类模式的分类， 两分法共需要M个判别函数，但
判别函数性质：
d i X j 0 , j i ; i , j 1 , 2 , , M ,若 X i
识别分类时：
在 M 类模式中，与i 有关的M-1个判决函数全为正时，X∈ωi。其中若有一个为负， 则为IR区。
如：对一个三类问题，如果
， d12(X)0
则 X 类，而1
d 在判别23类( X模式)时不起作用。 1
两分法 ii
i
j 两分法
两分法特例 ij
(1)多类情况1：
两分法 ii
用线性判别函数将属于ωi类的形式与其余不属于ωi类的 形式分开。
d i(X ) W iT X 0 0 ,,
若 X i 若 X i
i 1 ， ， M
的M类情况，判别函数性质为：
d i ( X ) d j X , j i ; i , j 1 , 2 , , M ,若 X i
或： d i ( X ) m d k X , a k 1 , x , M ,若 X i
d (X ) - d X 0
区域 。
x
d
(X ) - d
X
0
2
1
3
-
1
d (X ) - d
X
0
1
2
-
3
2
x
1 O
-
d
(X ) - d
X
0
2
3
3. 小结
(1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以
作为形式分类的根底。
(2) i i 与 分法i的 比较j ：
i i 对于M类模式的分类， 两分法共需要M个判别函数，但
判别函数性质：
d i X j 0 , j i ; i , j 1 , 2 , , M ,若 X i
识别分类时：
在 M 类模式中，与i 有关的M-1个判决函数全为正时，X∈ωi。其中若有一个为负， 则为IR区。
如：对一个三类问题，如果
， d12(X)0
则 X 类，而1
d 在判别23类( X模式)时不起作用。 1
两分法 ii
i
j 两分法
两分法特例 ij
(1)多类情况1：
两分法 ii
用线性判别函数将属于ωi类的形式与其余不属于ωi类的 形式分开。
d i(X ) W iT X 0 0 ,,
若 X i 若 X i
i 1 ， ， M
模式识别-第7讲-非线性判别函数
g 2 ( x) g3 ( x) 0 g 3 ( x) g 2 ( x) 3 g 3 ( x ) g1 ( x ) g1 ( x) g 2 ( x) 0
结论：不确定区间没有了，所以这种是最好情况。
3。第三种情况（续）
问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g1 ( x), g2 ( x), g3 ( x). 得判别函数为：g1 ( x) 0, g2 ( x) 1, g3 ( x) 1 因为 g2 ( x) g3 ( x), g2 ( x) g1 ( x) 所以模式x= (1,1)T属于 2 类。
串课通知：
下周五的课，串至周三下午5、6节 地点：研究生1101阶
模式识别
授课教师 薛耀红 xueyh@
第7讲 非线性判别函数
本节课主要内容
1 多类情况下的线性判别函数 2 分段线性判别函数 3 二次判别函数
判别函数
假设对一模式X已抽取n个特征，表示为：
X ( x1 , x2 , x3 ,..., xn )T X 是n维空间的一个向量
则判别边界为：
1
g1 ( x) g3 ( x)
2
3
g2 ( x) g3 ( x)
g1 ( x) g 2 ( x) 2 x1 1 0 g1 ( x) g 3 ( x) x1 2 x2 0 g ( x) g ( x) x 2 x 1 0 3 1 2 2
2
gij ( x) g ji ( x)
g 21 0, g 23 0
判别区
3
1判别区
模式识别 张学工
x j Y i
y
j
j
, i 1,2
~ S i2
x j Y i
(y
~ ) 2 , i 1,2 m i
~ ~2 ~ 2 S w S1 S 2 ~ ~ m ~ )2 S b2 (m 1 2
Fisher 准则函数(Fisher’s Criterion)：
~ m ~ )2 (m 2 max J F ( w) ~12 ~ S1 S 22
T
得
* (Y T Y ) 1 Y T b Y b
Y (Y T Y ) 1 Y T
：伪逆
T ˆd ˆ 方阵，一般非奇异） （Y Y 是 d
Xuegong Zhang, Tsinghua University
18
张学工《模式识别》教学课件
几个关系： 1. 若 b 取为
*
N / N 1 , if y i 1 bi ， N / N 2 , if y i 2
类间离散度矩阵 between-class scatter
Xuegong Zhang, Tsinghua University
S b ( m1 m 2 )( m1 m 2 ) T
6
张学工《模式识别》教学课件
在 Y 空间（一维投影） ：
类均值 类内离散度 总类内离散度 类间离散度
~ 1 m i Ni
T 如果样本 y k 被错分，则有 yk 0 ，因此可定义如下的感知准则函数：
J P ( )
y j Y
( T y j )
k
其中 Y k 是被 错分样本的集合。
Xuegong Zhang, Tsinghua University
模式识别课后习题答案
• 2.10 随机变量l(x)定义为l(x) = p(x|w1) ，l(x)又称为似然比，试证明 p(x|w2)
– (1) E{ln(x)|w1} = E{ln+1(x)|w2} – (2) E{l(x)|w2} = 1 – (3) E{l(x)|w1} − E2{l(x)|w2} = var{l(x)|w2}（教材中题目有问题） 证∫ 明ln+：1p对(x于|w(12))，dxE={ln∫(x()∫p(|wp(x(1x|}w|w=1)2))∫n)+nl1nd(xx)所p(x以|w∫，1)Ed{xln=(x∫)|w(1p(}p(x(=x|w|Ew1)2{))ln)n+n+11d(xx)又|wE2}{ln+1(x)|w2} = 对于(2)，E{l(x)|w2} = l(x)p(x|w2)dx = p(x|w1)dx = 1
对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}
• 2.11 xj(j = 1, 2, ..., n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。（中心极限 定理）
R2
R1
容易得到
∫
∫
p(x|w2)dx = p(x|w1)dx
R1
R2
所以此时最小最大决策面使得P1(e) = P2(e)
• 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
3
模式识别(第二版)习题解答
– (1) E{ln(x)|w1} = E{ln+1(x)|w2} – (2) E{l(x)|w2} = 1 – (3) E{l(x)|w1} − E2{l(x)|w2} = var{l(x)|w2}（教材中题目有问题） 证∫ 明ln+：1p对(x于|w(12))，dxE={ln∫(x()∫p(|wp(x(1x|}w|w=1)2))∫n)+nl1nd(xx)所p(x以|w∫，1)Ed{xln=(x∫)|w(1p(}p(x(=x|w|Ew1)2{))ln)n+n+11d(xx)又|wE2}{ln+1(x)|w2} = 对于(2)，E{l(x)|w2} = l(x)p(x|w2)dx = p(x|w1)dx = 1
对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}
• 2.11 xj(j = 1, 2, ..., n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。（中心极限 定理）
R2
R1
容易得到
∫
∫
p(x|w2)dx = p(x|w1)dx
R1
R2
所以此时最小最大决策面使得P1(e) = P2(e)
• 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
3
模式识别(第二版)习题解答
模式识别——非线性分类器
模式识别——非线性分类器非线性分类器是指一种能够处理非线性问题的模式识别算法。
在现实世界中，很多问题都是非线性的，比如图像分类、语音识别等。
传统的线性分类器，比如逻辑回归和支持向量机，在处理非线性问题时表现不佳，因此非线性分类器的出现对于模式识别领域具有重要意义。
非线性分类器主要有以下几种类型：核函数方法、神经网络方法和深度学习方法。
首先，核函数方法是一种常见的非线性分类器方法。
核函数方法的核心思想是通过对训练样本进行非线性映射，将其映射到一个高维特征空间中，在高维空间中采用线性分类器进行分类。
常见的核函数包括多项式核函数、高斯核函数等。
核函数方法有很好的分类性能，并且计算效率较高，因此在实际应用中被广泛采用。
其次，神经网络方法也是一种常用的非线性分类器。
神经网络模拟了生物神经系统的结构和功能，能够处理复杂的非线性问题。
神经网络由多个神经元组成，每个神经元接收来自前一层的输入，并将其加权求和后经过激活函数输出。
神经网络具有较强的学习能力和适应性，可以自动提取数据的特征表示，因此在图像、语音等领域取得了很好的效果。
最后，深度学习方法是当前非线性分类器的研究热点。
深度学习模型具有多个隐藏层、大量参数和复杂的结构，能够处理非常复杂的非线性问题。
深度学习模型如卷积神经网络、循环神经网络等在图像、语音和自然语言处理等领域已经取得了很大的突破。
深度学习模型的主要优点是能够自动学习特征表示，并且可以通过增加网络深度提高模型的表达能力。
为了克服这些挑战，可以采取以下方法。
首先，结合核函数方法和神经网络方法，可以提高分类器的性能和泛化能力。
其次，利用迁移学习和半监督学习等方法，可以减少标注样本的需求，提高分类器的效率。
此外，引入集成学习和混合模型等技术，可以进一步提高分类器的性能和鲁棒性。
总之，非线性分类器在模式识别领域具有重要意义。
核函数方法、神经网络方法和深度学习方法是常见的非线性分类器方式。
未来的研究方向包括提高分类器的性能和泛化能力，降低模型复杂度，减少标注样本的需求等。
模式识别-线性判别函数
y
y 21
Y
... ...
T
y N yN 1
T
1
T
1
y12
...
y22
...
...
...
yN 2
...
y1dˆ
y2 dˆ
...
y Ndˆ
最小平方误差准则函数
引入余量(目标向量) b=[b1, b2, …, bN] T， bi任
Fisher线性判别分析
Fisher线性判别分析
Fisher线性判别分析
至此，我们还没有解决分类问题，只是将d
维映射到１维，将d维分类问题转划为１维
分类问题，如何分类？
确定阈值
Fisher线性判别分析
感知准则函数
Perceptron
感知准则函数是五十年代由Rosenblatt提出
模式识别
第四章 线性判别函数
内容
引言
线性判别函数的基本概念
Fisher线性判别函数
感知准则函数
最小平方误差准则函数
多类问题
引言
第三章主要讲了类条件概率密度函数的估计
参数估计方法
最大似然估计
贝叶斯估计
非参数估计方法
训练样本集
样本分布的
统计特征：
概率密度函数
最小平方误差准则函数
MSE方法的迭代解
单样本修正调整权向量
Widrow-Hoff算法/最小均方根算法/LMS算法
+ = + ( − () )
其中 是使得() ≠ 的样本
最小平方误差准则函数
y 21
Y
... ...
T
y N yN 1
T
1
T
1
y12
...
y22
...
...
...
yN 2
...
y1dˆ
y2 dˆ
...
y Ndˆ
最小平方误差准则函数
引入余量(目标向量) b=[b1, b2, …, bN] T， bi任
Fisher线性判别分析
Fisher线性判别分析
Fisher线性判别分析
至此，我们还没有解决分类问题，只是将d
维映射到１维，将d维分类问题转划为１维
分类问题，如何分类？
确定阈值
Fisher线性判别分析
感知准则函数
Perceptron
感知准则函数是五十年代由Rosenblatt提出
模式识别
第四章 线性判别函数
内容
引言
线性判别函数的基本概念
Fisher线性判别函数
感知准则函数
最小平方误差准则函数
多类问题
引言
第三章主要讲了类条件概率密度函数的估计
参数估计方法
最大似然估计
贝叶斯估计
非参数估计方法
训练样本集
样本分布的
统计特征：
概率密度函数
最小平方误差准则函数
MSE方法的迭代解
单样本修正调整权向量
Widrow-Hoff算法/最小均方根算法/LMS算法
+ = + ( − () )
其中 是使得() ≠ 的样本
最小平方误差准则函数
模式识别-判别函数
或：
di (X ) maxdk X , k 1,, M , 若X i
x2
d1(X) - d2 X 0
+-
识别分类时：
1
d1 d2 d1 d3
d2 d1 d2 d3
d1(X) - d3X 0
+ -
判别界面需
2
要做差值。对ωi
类，应满足：
x1
+
1
CM2
M M -1
2!
例 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
2
O
+
- d12 ( X ) 0 x1
例 一个三类问题，三个判决函数为：
d12 ( X ) -x1 - x2 + 5 d13( X ) -x1 + 3 d23( X ) -x1 + x2 问模式 X [4,3]T 属于哪类？
di>其他所有d
0
d3 d1
3
d3 d2
+ -
d2 (X) - d3X 0
例 一个三类模式（M=3）分类器，其判决函数为：
d1( X ) -x1 + x2 d2 ( X ) x1 + x2 -1 d3( X ) -x2 试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。
- x2 +1 0
x2
4
d1(X ) -x1 + x2 +1
d2 (X ) x1 + x2 - 4
d3(X ) -x2 +1
+
d1 ( X )
-
0
(7, 5)
di (X ) maxdk X , k 1,, M , 若X i
x2
d1(X) - d2 X 0
+-
识别分类时：
1
d1 d2 d1 d3
d2 d1 d2 d3
d1(X) - d3X 0
+ -
判别界面需
2
要做差值。对ωi
类，应满足：
x1
+
1
CM2
M M -1
2!
例 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
2
O
+
- d12 ( X ) 0 x1
例 一个三类问题，三个判决函数为：
d12 ( X ) -x1 - x2 + 5 d13( X ) -x1 + 3 d23( X ) -x1 + x2 问模式 X [4,3]T 属于哪类？
di>其他所有d
0
d3 d1
3
d3 d2
+ -
d2 (X) - d3X 0
例 一个三类模式（M=3）分类器，其判决函数为：
d1( X ) -x1 + x2 d2 ( X ) x1 + x2 -1 d3( X ) -x2 试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。
- x2 +1 0
x2
4
d1(X ) -x1 + x2 +1
d2 (X ) x1 + x2 - 4
d3(X ) -x2 +1
+
d1 ( X )
-
0
(7, 5)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性判别函数
我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即:
i ( , 2 ) , M 2
T
1
1. 二维情况 ：取两个特征向量
X ( x1 , x 2 ) , n 2
T
x1 w 2 x 2 w 3
对于任一模式X如果它的 g1(x) >0 ， g2(x) <0 ， g3(x) <0 则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0 的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。
5
g1( x) 0 g 2 (x) 0 g (x) 0 3
0 .5
1
g 2 ( x) g1 ( x) g 2 (x) g3 (x)
1。第一种情况（续）
如果某个X使得>=2个判别函数 gi(x)
>0 ,则此模式X就无 法作出确切的判决,如图中IR1,IR3,IR4区域。
另一种情况是IR2区域，判别函数都为负值。IR1，IR2，
IR3，IR4。都为不确 定区域。
5
g1( x) 0 g 2 ( x) 0 g ( x) 0 3
模式识别
授课教师 薛耀红 xueyh@
第7讲 非线性判别函数
本节课主要内容
1 多类情况下的线性判别函数 2 分段线性判别函数 3 二次判别函数
判别函数
假设对一模式X已抽取n个特征，表示为：
X ( x1 , x 2 , x 3 , ..., x n )
T
X 是 n维 空 间 的 一 个 向 量
T
2. n维情况
模式分类：
g (x) W
T
0, x 1 X 0, x 2
当 g1(x)
=WTX=0 为判别边界 。当n=2时，二维 情况的判别边界为一直线。当n=3时，判别边界 为一平面，n>3时，则判别边界为一超平面。
(二) 多类问题
对于多类问题，模式有 ω1 ,ω2 , … , ωc 个类别。可分 三种情况： 1。第一种情况：每一模式类与其它模式类间可用单 个判别平面把一个类分开。这种情况，M类可有M个判 别函数，且具有以下性质：
因此三个判别边界为：
g 1 ( x ) x1 x 2 0 g 2 ( x ) x1 x 2 5 0 g (x) x 1 0 2 3
1。第一种情况（续）
作图如下：
5
x2
IR 1
g1 ( x) 0
g1( x) 0 g 2 (x) 0 g (x) 0 3
gi (x) Wi
T
0, X i X 0 , 其 它 , i 1, 2 , ..., C。
T
式中 W i ( w i 1 , w i 2 ,..., w in , w in 1 , ) 为第 i 个判别函数的 权向量。
1。第一种情况
每一类别可用单个判别边界与其它类别相分开 。 如果一模式X属于ω1，则由图可清楚看出:这时g1(x) >0而 g2(x) <0 ， g3(x) <0 。 ω1 类与其它类之间的边界由 g1(x)=0确定.
1
IR 4
1
2
g1( x) 0 g 2 (x) 0 g (x) 0 3
IR 2
3
g1( x) 0 g 2 (x) 0 g (x) 0 3
5
g3 (x) 0
IR 3
x1
g 2 (x) 0
1。第一种情况（续）
x1
2。第二种情况（续）
结论：判别区间增大，不确定 区间减小，比第一种情况小的多. 问:未知模式X=(x1,x2)T=(4,3)T属 于那一类
5
2判 别 区
x2 g 12 0
g
23
0
g 23 ( x ) 0
1
判别区
代入判别函数可得:
g 12 ( x ) 2 , g 13 ( x ) 1, g 23 ( x ) 1
3。第三种情况（续）
用上列方程组作图如下：
0 .5
1
0 .5
g 2 ( x) g1 ( x) g 2 (x) g3 (x)
g1 ( x) g 2 ( x) g1 ( x) g 3 ( x)
2
3
1 .0
g1 ( x) g 3 ( x) 0
3。第三种情况（续）
右图所示是M=3
的例子。对于ω 1类模式，
g1 ( x) g 2 ( x)
必然满足g1(x)
>g2(x) 和 g1(x) >g3(x) 。
假设判别函数为：
g 1 ( x ) x1 x 2 g 2 ( x ) x1 x 2 1 g (x) x 2 3
1
g1 ( x) g 3 ( x)
2
3
g 2 (x) g3 (x)
则判别边界为：
g 1 ( x ) g 2 ( x ) 2 x1 1 0 g 1 ( x ) g 3 ( x ) x1 2 x 2 0 g (x) g (x) x 2 x 1 0 3 1 2 2
2
x1
2. n维情况
现抽取n个特征为：
X ( x 1 , x 2 , x 3 ,... x n )
T
判别函数： ( x ) w1 x1 w 2 x 2 ...... w n x n w n 1 g
W 0 X w n 1
T
W 0 ( w 1 , w 2 ,..., w n ) 为权向量，
x2
IR 1
g1 ( x) 0
2
g1( x ) 0 g 2( x ) 0 g 3( x ) 0
1
IR 4
1
IR 2
3
IR 3
g3 (x) 0
x1
g1( x) 0 g 2 (x) 0 g (x) 0 3
5
g 2 (x) 0
1。第一种情况（续）
问当x=(x1,x2)T=(6,5)T时属于那一类
代入判别函数方程组 :
g 1 ( x ) x1 x 2 g 2 ( x ) x1 x 2 5 g (x) x 1 2 3
得：
g 1 ( x ) 1, g 2 ( x ) 6 , g 3 ( x ) 4 .
T
X ＝ ( x 1 , x 2 ,..., x n ) 为模式向量。
另外一种表示方法： g ( x ) W
T
T
T
X
W ( w 1 , w 2 , ..., w n , w n 1 ) 为 增 值 权 向 量 ， X ＝ ( x1 , x 2 , ..., x n， 为 增 值 模 式 向 量 。 1)
w 为参数， x 1 , x 2 为坐标向量
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 gi (x) 0, X 2
g ( x ) 0 , X 不定
这是二维情况下判别由判别边界分类. 情况如图：
x2
1
g ( x ) w1 x1 w 2 x 2 w 3
2。第二种情况（续）
判别函数性质： g ij ( x ) g ji ( x )
g 12 ( x ) x 1 g 13 ( x ) x 1 假设判别函数为： g (x) x 1 23 g 12 ( x ) x 1 判别边界为： g 13 ( x ) x 1 用方程式作图： g 23 ( x ) x 1
模式识别问题就是根据模式X的n个特征来判 别模式属于ω1 ,ω2 , … , ωc 类中的那一类。
判别函数（续）
例如下图：三类的分类问题，它们的边界线就是一 个判别函数 x2
2
1
x1
边界
3
判别函数（续）
判别函数包含两类：
一类 是线性判别函数： 线性判别函数
广义线性判别函数
（所谓广义线性判别函数就是把非线性判别函数映射到另 外一个空间变成线性判别函数） 另一类是非线性判别函数 分段线性判别函数 二次判别函数
g 2 (x) g3 (x) 0
g3 (x) g 2 (x) g 3 ( x) g1 ( x) g1 ( x) g 2 ( x) 0
结论：不确定区间没有了，所以这种是最好情况。
3。第三种情况（续）
问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g 1 ( x ), g 2 ( x ), g 3 ( x ). 得判别函数为：g 1 ( x ) 0 , g 2 ( x ) 1, g 3 ( x ) 1 因为 g 2 ( x ) g 3 ( x ), g 2 ( x ) g 1 ( x ) 所以模式x= (1,1)T属于 2 类。
2 判别区
g
21
x2 5 3 x2 x2 5 0 3 0 x2 0