第二讲 线性分类器
线性分类器及python实现
线性分类器及python实现以下内容参考CS231n。
上⼀篇关于分类器的⽂章，使⽤的是KNN分类器，KNN分类有两个主要的缺点：空间上，需要存储所有的训练数据⽤于⽐较。
时间上，每次分类操作，需要和所有训练数据⽐较。
本⽂开始线性分类器的学习。
和KNN相⽐，线性分类器才算得上真正具有实⽤价值的分类器，也是后⾯神经⽹络和卷积神经⽹络的基础。
线性分类器中包括⼏个⾮常重要的部分：权重矩阵W，偏差向量b评分函数损失函数正则化最优化权重矩阵W （Weights）可以理解为所有分类对应的模版向量w组成的矩阵，模版就是分类期望成为的样⼦。
训练数据可以理解为是N维空间中的⼀个向量v，v和W中每个模版做点积，点积越⼤，表⽰两个向量的夹⾓越⼩，也就越接近。
点积最⼤的模版w，就是v所对应的分类。
W不是⼀直不变的。
它会随着对损失函数最优化的过程，不断的调整。
偏差向量b （bias vector） b是不是可以理解为，如果不设置b，那所有的分类线都要通过原点，那其实就起不到分类的作⽤了？参考下图？三条线都通过原点，是⽆法对数据做分类的。
W和b分别对直线做旋转和平移。
评分函数（score function） 之所以是线性分类器，就是因为评分函数使⽤线性⽅程计算分数。
后⾯的神经⽹络会对线性函数做⾮线性处理。
下图直观的展⽰了分类器的线性。
损失函数（loss function）如何判断当前的W和b是否合适，是否能够输出准确的分类？通过损失函数，就可以计算预测的分类和实际分类之间的差异。
通过不断减⼩损失函数的值，也就是减少差异，就可以得到对应的W和b。
Python实现数据预处理# 每⾏均值mean_image = np.mean(X_train, axis=0)# second: subtract the mean image from train and test data# 零均值化，中⼼化，使数据分布在原点周围，可以加快训练的收敛速度X_train -= mean_imageX_val -= mean_imageX_test -= mean_imageX_dev -= mean_image处理b的技巧# third: append the bias dimension of ones (i.e. bias trick) so that our SVM# only has to worry about optimizing a single weight matrix W.# 技巧，将bias加到矩阵中，作为最后⼀列，直接参与矩阵运算。
作业2-线性分类器
end; for i=1:N1 x(1,i)=x1(1,i); x(2,i)=x1(2,i); y(i)=1; end; for i=(N1+1):(N1+N2) x(1,i)=x2(1,(i-N1)); x(2,i)=x2(2,(i-N1)); y(i)=-1; end; svm_struct=svmtrain(x,y,'Showplot',true); % 调用 svmtrain 函数对样本进行分类 % 分别创建训练样本矩阵和标号矩阵
x1(1,i)=-1.7+1.1*randn(1); x1(2,i)= 1.6+0.9*randn(1); x1(3,i)= 1; end; N2=400; for i=1:N2 x2(1,i)= 1.3+1.0*randn(1); x2(2,i)=-1.5+0.8*randn(1); x2(3,i)= 1; % 2 类400个训练样本,2维正态分布 % 1 类440个训练样本,2维正态分布
算法 2.
w(1)=rand(1); %对w 赋任意初值 w(2)=rand(1); w(3)=rand(1); p=0.001; %设置步长大小，一般在0~1 之间取值 for j=1:100 %j 为迭代次数，共迭代100 次 k=0; %k 是记录两类的样本误分类点的次数 n(j)=j; %n 记录迭代次数 for i=1:N1 xe=x1(:,i); %将1 类的各个样本值取出来，存入xe 中 if(w*xe<0) %1 类的迭代修正判断条件 w=w+p*xe'; %1 类的迭代修正公式，每次只修正一个样本的 %固定增量法 k=k+1; %记录1 类的误分类点总次数 end; end; for i=1:N2 xe=x2(:,i); %将2 类的各个样本值取出来，存入xe 中 if(w*xe>0) %2 类的迭代修正判断条件 w=w-p*xe'; %2 类的迭代修正公式，每次只修正一个样本的 %固定增量法 k=k+1; %记录1、2 类的误分类点总次数 end; end; en(j)=k; %en 记录每一次迭代中误分类点总次数 end; subplot(2,2,1); plot(n,en); %画图，横坐标为迭代次数，纵坐标为每次迭代 的误分类点总次数画图 t1=-5:1:5; %t1 范围是-5~5，步长为1 t2=(-w(1)*t1-w(3))/w(2); %求决策面 subplot(2,2,2);
LDA（线性判别分类器）学习笔记
LDA（线性判别分类器）学习笔记Linear Discriminant Analysis（线性判别分类器）是对费舍尔的线性鉴别⽅法(FLD)的归纳，属于监督学习的⽅法。
LDA的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。
因此，它是⼀种有效的特征抽取⽅法。
使⽤这种⽅法能够使投影后模式样本的类间散布矩阵最⼤，并且同时类内散布矩阵最⼩。
就是说，它能够保证投影后模式样本在新的空间中有最⼩的类内距离和最⼤的类间距离，即模式在该空间中有最佳的可分离性。
预备知识协⽅差与协⽅差矩阵协⽅差协⽅差分为随机变量的协⽅差和样本的协⽅差。
随机变量的协⽅差跟数学期望、⽅差⼀样，是分布的⼀个总体参数。
协⽅差是对两个随机变量联合分布线性相关程度的⼀种度量。
两个随机变量越线性相关，协⽅差越⼤，完全线性⽆关，协⽅差为零。
定义如下。
$$cov\left(X,Y\right)=E\left[\left(X-E\left[X\right])(Y-E\left[Y\right]\right)\right]$$因为变量尺度不同，所以不能⽤若⼲协⽅差的⼤⼩作为相关性强弱的⽐较。
因此引⼊相关系数，本质上是对协⽅差进⾏归⼀化。
$$\eta=\frac{cov\left(X,Y \right )}{\sqrt{var\left(X \right )\cdot var\left(Y \right )}}$$取值范围[-1,1]。
样本的协⽅差对于现有的m个样本，每个样本均具有n维属性，每⼀维属性我们都可以将其看作是⼀个随机变量。
每⼀个样本$x_j =\left[x_{1j} ,...,x_{nj}\right ]$。
那么我们就可以考察样本集中，两个随机变量（两属性）间的线性关系。
计算和随机变量的协⽅差⼀致。
线性分类器值感知机算法和最小均方误差算法
线性分类器之感知机算法和最小平方误差算法1.问题描述对所提供的的数据“data1.m ”，分别采用感知机算法、最小平方误差算法设计分类器，分别画出决策面，并比较性能,并且讨论算法中参数设置的影响2.方法叙述2.1感知机算法1.假设已知一组容量为N 的样本集1y ，2y ，…，N y ，其中N y 为d 维增广样本向量，分别来自1ω和2ω类。
如果有一个线性机器能把每个样本正确分类，即存在一个权向量a ，使得对于任何1ω∈y ，都有y a T >0，而对一任何2ω∈y ，都有y a T<0，则称这组样本集线性可分；否则称线性不可分。
若线性可分，则必存在一个权向量a ，能将每个样本正确分类。
2.基本方法：由上面原理可知，样本集1y ，2y ，…，N y 是线性可分，则必存在某个权向量a ，使得⎪⎩⎪⎨⎧∈<∈>21y ,0y ,0ωωj j Ti i T y a y a 对一切对一切 如果我们在来自2ω类的样本j y 前面加上一个负号，即令j y =—j y ，其中2ω∈j y ，则也有y a T >0。
因此，我们令⎩⎨⎧∈∈='21y ,-y ,ωωj ji i n y y y 对一切对一切那么，我们就可以不管样本原来的类型标志，只要找到一个对全部样本ny '都满足y a T >0，N n ,,3,2,1⋯⋯=的权向量a 就行了。
此过程称为样本的规范化，ny '成为规范化增广样本向量，后面我们用y 来表示它。
我们的目的是找到一个解向量*a ，使得N n y a n T ,...,2,1,0=>为此我们首先考虑处理线性可分问题的算法。
先构造这样一个准则函数)()(y∑∈=ky Tp y aa J γδ式中kγ是被权向量a 错分类的样本集合。
y δ的取值保证因此()a J p 总是大于等于0。
即错分类时有0≤y a T (1ω∈y )，0≥y a T(2ω∈y )，此时的y δ分别为-1,1。
模式识别之二次和线性分类器课件
线性分类器利用训练数据集学习得到 一个线性函数，该函数可用于对新数 据进行分类。分类决策边界是一个超 平面，将不同类别的数据分隔开来。
线性分类器数学模型
线性函数
优化目标
正则化
线性分类器使用的线性函数通 常表示为权重向量和特征向量 的内积加上偏置项，即y = w^Tx + b，其中y是预测类别 ，w是权重向量，x是特征向量 ，b是偏置项。
模式识别之二课次件和线性分类器
contents
目录
• 引言 • 二次分类器原理 • 线性分类器原理 • 二次与线性分类器比较 • 二次和线性分类器应用案例 • 总结与展望
01
引言
模式识别概述
模式
01
在感知或观察事物时，人们所发现的事物之间规律性的关系或
特征。
模式识别
02
利用计算机对输入的信号进行分类或描述，以实现自动识别目
01
深度学习在模式识别 中的应用
深度学习技术为模式识别提供了新的 解决方案，能够自动提取数据的深层 特征，提高识别精度。
02
多模态数据融合
利用多模态数据融合技术，将不同来 源、不同类型的数据进行融合，提高 模式识别的性能和鲁棒性。
03
迁移学习在模式识别 中的应用
迁移学习技术可以将在一个任务上学 到的知识迁移到另一个任务上，从而 加速模型训练，提高识别效率。
自然语言处理领域应用案例
1 2
文本分类
通过训练二次和线性分类器，对文本进行分类， 如新闻、广告、评论等，提高信息处理的效率。
情感分析
利用分类器对文本中的情感进行识别和分析，为 企业了解用户需求、改进产品提供参考。
3
机器翻译
结合分类器对源语言进行识别和转换，实现不同 语言之间的自动翻译，促进跨语言交流。
模式识别：线性分类器
模式识别：线性分类器一、实验目的和要求目的：了解线性分类器，对分类器的参数做一定的了解，理解参数设置对算法的影响。
要求：1. 产生两类样本2. 采用线性分类器生成出两类样本的分类面3. 对比线性分类器的性能，对比参数设置的结果二、实验环境、内容和方法环境：windows 7，matlab R2010a内容：通过实验，对生成的实验数据样本进行分类。
三、实验基本原理感知器基本原理：1.感知器的学习过程是不断改变权向量的输入，更新结构中的可变参数，最后实现在有限次迭代之后的收敛。
感知器的基本模型结构如图1所示：图1 感知器基本模型其中，X输入，Xi表示的是第i个输入；Y表示输出；W表示权向量；w0是阈值，f是一个阶跃函数。
感知器实现样本的线性分类主要过程是：特征向量的元素x1，x2，……，xk是网络的输入元素，每一个元素与相应的权wi相乘。
，乘积相加后再与阈值w0相加，结果通过f函数执行激活功能，f为系统的激活函数。
因为f是一个阶跃函数，故当自变量小于0时，f= -1；当自变量大于0时，f= 1。
这样，根据输出信号Y，把相应的特征向量分到为两类。
然而，权向量w并不是一个已知的参数，故感知器算法很重要的一个步骤即是寻找一个合理的决策超平面。
故设这个超平面为w，满足：（1）引入一个代价函数，定义为：（2）其中，Y是权向量w定义的超平面错误分类的训练向量的子集。
变量定义为：当时，= -1；当时，= +1。
显然，J(w)≥0。
当代价函数J(w)达到最小值0时，所有的训练向量分类都全部正确。
为了计算代价函数的最小迭代值，可以采用梯度下降法设计迭代算法，即：（3）其中，w(n)是第n次迭代的权向量，有多种取值方法，在本设计中采用固定非负值。
由J(w)的定义，可以进一步简化（3）得到：（4）通过（4）来不断更新w，这种算法就称为感知器算法（perceptron algorithm）。
可以证明，这种算法在经过有限次迭代之后是收敛的，也就是说，根据（4）规则修正权向量w，可以让所有的特征向量都正确分类。
李飞飞机器视觉课程笔记：第2课K最近邻与线性分类器
李飞飞机器视觉课程笔记：第2课K最近邻与线性分类器Lecture 2:Image Classification pipeline1.Image Classification(图⽚分类)：a core task in Computer Vision（计算机视觉中的核⼼部分） 图像分类的基本任务就是⽐如将狗、猫和飞机等区分开来，在这之前我们先要将图⽚转换为⼀张巨⼤的数字表单，然后从所有种类中，给这个表单选定⼀个标签。
图⽚分类是计算机视觉中的最基本的⼀部分，⽐如计算机视觉中的物体检测就是在这个基础上进⾏细⼩的改动，所以学会图⽚分类，其他⼯作就是⼩菜⼀碟了。
⽐如⼀张图⽚，它在计算机看来就是⼀张巨⼤的数字表单，可以⼤致由⼀个300*100*3的三位数组表⽰，这⾥的3来⾃于图⽚红绿蓝三⾊道，所以图⽚的全部数字都是处于0~255之间的，这些数字反映的是亮度以及每个单点三基⾊的权值，所以难度在于，当你想要处理这表单中数以百万计的数字，并对其分类，如猫类，这个问题是相当复杂的。
此外，通过调整相机旋转、调亮度、光线等操作，还有图⽚对象的形变（Deformation，⽐如猫的不同姿势），对象被遮掩（Occlusion，只可以看到10%），同类演变（Intraclass variation）等相当多的⼲扰，⼀个物体可以完全不同，但是要在姿势改变时候，依旧识别出这些猫来，就是我们的算法可以解决这些所有问题。
An image classifier（图⽚分类器）是什么样⼦的呢？我们构建⼀个三维空间，将x轴上的值定位种类标签值，但是没有⼀种显⽰的⽅式来实现识别猫或者其他类别的算法代码，在数据结构中的简单算法⽐如冒泡排序（bubble sort）等算法的变体中，并没有哪种可以⽤来检测猫。
我们要做的是检测并勾画出图⽚的边界，按照边界形状与连接⽅式进⾏分类，这会让你学习到这类东西的“样本集合”，我们可以尽量找到他们的各种形态，⽐如我们看到任何像猫的⽿朵，我们便认为检测到猫，或者如果我们检测到猫的某些结构特征，⼀定程度上，我们可以认为检测到猫了，你也可以设定⼀些别的规则，但是问题在于，如果我现在要识别船或者⼈，就得回到画板去想“船和⼈的边界和明显特征是什么”，显然这是不可扩展的分类⽅法。
模式识别-2-线性判别函数与线性分类器设计
x2
2
X 是 n 维空间的一个向量
1
模式识别问题就是根据模式X的 n个特征来判别模式属于 ω1 ,ω2 , … , ωm类中的那一类。 例如右上图：三类的分类问题，它 们的边界线就是一个判别函数
x1
边界
3
用判别函数进行模式分类，取决两个因素：
判别函数的几何性质：线性与非线性 判别函数的参数确定：判别函数形式+参数
因此，三个判别边界为：
g 1 ( x ) x1 x 2 0 g 2 ( x ) x1 x 2 5 0 g (x) x 1 0 2 3
作图如下：
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
必须指出，如果某个X使二个以上的判别函数 gi(x) >0 。 则此模式X就无法作出确切的判决。如图中 IR1,IR3， IR4区域。
另一种情况是IR2区域，判别函数都为负值。IR1，IR2， IR3，IR4。都为不确 定区域。
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
第二章 线性判别函数与线性 分类器设计
• • • • 判别函数 线性判别函数 线性判别函数的性质 线性分类器设计
– – – – 梯度下降法—迭代法 感知器法 最小平方误差准则(MSE法)---非迭代法 Fisher分类准则
§ 2.1 判别函数
假设对一模式X已抽取n个特征， 表示为：
X ( x 1 , x 2 , x 3 ,..., x n )
12
2
1
g 23 ( x ) 0
判别函数： g ij ( x ) W ij 判别边界： g ij ( x ) o 判别条件：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性分类器
第二讲 线性分类器
一、 判别函数
1、 决策论方法
在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定 的数量规则来采取不同的分类决策，将待识别的 模式划分到不同的类别中 去，就称为模式识别的决策论方法。 在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个 模式类，称为决策区域。当我们判定待识别的模式位于某个决策区域时， 就判决它可以划归到对应的类别中。
第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 201别函数，当 G( x )>0 时，可判别模式 x ∈ ω 1 ；当 G (x )<0 时，可判别 x ∈ ω2。
图 2 非线性判别函数
非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程 来表达，则决策区域可以用超平面来划分，无论在分类器的学习还是分类 决策时都比较方便。例如图 3 中的特征空间可以用两个线性判别函数来进 行分类决策： 当 G21 (x )>0 时， x ∈ ω 2 ； 当 G13 (x )<0 时， x ∈ ω 3 ； 当 G21 (x )<0 且 G13 ( x)>0 时， x ∈ ω 1 。
T
将其写成 n+1 维增广形式，即
Gij x wT x
x x1 , x2 , w = w1 , w2 , , xn ,1 ，即 n+1 维增广特征向量
T
, wn , w0 ，即 n+1 维增广权向量
T
此时分类决策规则为：
若Gij x 0, 则x i ; 若Gij x 0, 则x j ;
G x wT x w0 0
为 n 维超平面。对于决策边界上的任意线段，其起点 x 1 和终点 x 2 都在 该超平面上，即满足
G x wT x1 w0 wT x2 w0 0
即
wT ( x2 x1 ) 0
由此可见，权向量与决策边界超平面正交（垂直） ，其方向指向 ω 1 类 一边，而
G x wT x w0 0
设模式 x 距离决策边界的距离为 r ，则向量 x 可以表示为其在决策边界上的 投影点所代表的向量 x p 和向量 r
w 的和，即 w x xp r w w
图 12 线性判别函数的几何意义
代入判别函数中，得
G x wT x w0 wT ( x p r
3、 线性可分性和广义线性判别函数
一个模式识别问题是否线性可分（ linearly separable ） ，取决于是否有可 能找到一个超平面来分离开两个相邻的类别。如果每个类别的分布范围本 身是全连通的单一凸集，且互不重叠，则这两个类别一定是线性可分的。 因此，线性不可分的情况有可能包含两种情况： （ 1 ） 至少有一个类别的分布范围是凹的， 且其凸包和另一个类别的分 布范围重叠；
图 3 线性判别函数
在判别函数中，特别 要注意函数名下标所对应的类别和判别函数正负
第 2 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
号之间的关系。 一般来说， 当判别函数 Gij ( x ) 对某个特征向量 x 取得正值时， x 对应的模式应当有可能归于类 i ，而不会归于类 j 。
如果给定一个分好类的样本集， 则其中每个样本对应的增广特征向量都是已 知的，此时要设计一个线性分类器可以实现两个类的分类决策，就是要求解出一 个能使得样本集内所有样本都能划分到正确的类别中的增广权向量 w ， 这就是线 性分类器的设计目标。 （ 2） 求解条件 假设用于学习的样本集中有 l 个样本，其中有 li 个属于 i 类，对应的特
三、 线性分类器设计
1、 线性分类器设计思路
（ 1） 设计目标 对于任意两个类之间，都可以使用一个线性判别函数来进行区分，决 策边界方程为：
Gij x wT x w0 0
其中
x x1 , x2 , , xn ，即模式对应的特征向量
T
w = w1 , w2 ,
, wn ，称为权向量
G( x) ( x a)( x b) x 2 (a b) x ab y1 (a b) y2 ab
在 2 维空间 Y 中，决策区域的边界是一条直线，线性不可分问题转换成为 了一个线性可分问题。判别函数
G( y) y1 (a b) y2 ab
称为广义线性判别函数。 在 Y 空间中决策区域边界是一条直线，两个模式类上的点分布于一条抛物 线上，分别位于决策线的两边。
。则增广权向量 w 应当满足
Gij ( x (1) ) w T x (1) 0 G ( x (2) ) w T x (2) 0 ij (l ) T (l ) Gij ( x i ) w x i 0 G ( y (1) ) w T y (1) 0 ij (2) T (2) Gij ( y ) w y 0 Gij ( y (l j ) ) w T y ( l j ) 0
G x w1 x1 w2 x2
若令
x x1 , x2 ,
T
wn xn w0
, xn ，即模式对应的特征向量 , wn ，称为权向量
T
w = w1 , w2 ,
则判别函数可写为
G x wT x w0
对于任一模式 x ，若 G ( x)>0 ，可判别 x ∈ ω 1 ；若 G (x )<0 ，可判别 x∈ ω 2 ； 若 G (x )＝ 0 ，则不能判别 x 所属的类别。 此时决策边界方程为
图 9 多类问题――绝对可分
此时分类决策规则可以用判定表表示为：
G1 ( x )>0 G2 ( x )>0 G3 ( x )>0 分类决策 T F F x∈ ω1 F T F x∈ ω2 F F T x∈ ω3 T T F IR1 T F T IR2 F T T IR3 F F F IR4
可以发现，绝对可分的情况存在许多分类不确定的区域。 （ 2） 两两可分 当每两个模式类之间都可以用一个判别函数来区分，称为两两可分。 此时若有 m 个模式类，就有 m(m-1)/2 个判别函数。
第 9 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
征向量分别为 x (1) , x (2) ,
，对应的特征向量分别为 , x (li ) ；有 l j 个属于 j 类，
y
(1)
, y (2) ,
,y
(l j )
当样本数 l n 时，该不等式方程组为不定的，没有有意义的解；当样本 l n 时，该不等式方程组为适定或超定的，有无穷多个解，但是这些解有一定的 分布区域，称为解区域。
图 13 线性分类器设计的解区域
如果 i 和 j 两类线性不可分，则解区域不存在。 思考： 增广权向量有几个未知数？至少需要几个样本才能求解？ （ 3） 设计思路 如果用于学习的训练样本集是线性可分的，则一定有无穷多个解向量 w 满足判别函数不等式方程组，设计出的线性分类器也有无穷多个，因此，求取线 性分类器的设计结果一定是一个寻找最优解的过程。 一般设计思路是：
图 7 将一维线性不可分问题转化为二维线性可分问题
思考： 对于二维异或问题，能转化为高维的线性可分问题吗？
第 4 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
二、 线性分类器
1、 两类问题
当两类线性可分时，判别函数可写为
有一类线性不可分问题，可将其映射到另一个高维空间中，转化为一 个线性可分问题。例如一维特征空间中的线性不可分问题：
图 6 一维线性不可分问题
显然，可设定判别函数为
G( x) ( x a)( x b)
当 G (x )>0 时，可判别模式 x ∈ ω 1 ；当 G (x )<0 时，可判别 x ∈ ω 2 。此时 的判别函数为非线性判别函数。 令 y1 x 2 , y2 x ，此时原始 1 维特征空间映射到 2 维的特征空间中，判别 函数转化为：
图 4 包含凹区域的线性不可分情况
（ 2 ） 一个类别的分布范围由两个以上不连通的区域构成， 这一类里最 典型的就是异或（ XOR ）问题；
图 5 异或（ XOR ）问题
第 3 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
第 6 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
图 10 多类问题――两两可分
此时分类决策规则可以用判定表表示为：
G12 ( x )>0 G23 ( x )>0 G31 ( x )>0 分类决策 T * F x∈ ω1 F T * x∈ ω2 * F T x∈ ω3 F F F IR
x k , 当Gk x max[Gi (x)]
1i m
第 7 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第二讲
线性分类器
3、 线性判别函数的几何意义
当一个模式位于线性决策边界上时，该模式与决策边界的距离为 0 ， 对应的判别函数值也为 0 。直观地可以发现，当一个模式距离决策边界越 远时，判别函数的绝对值也应当越大，也就是说判别函数是模式 到决策超 平面距离远近的一种度量。 那么判别函数的几何意义究竟如何呢？下面以二类问题为例来进行分 析。如果判别函数 G x 可以将两类分开，则决策边界方程为：