线性分类器及非线性分类器-OK

第二章统计模式识别(一)(几何分类法)目录统计分类的基本思想模板匹配法及其数学描述模式的相似性度量及距离分类法几何分类法(线性可分时)几何分类法(线性不可分时)小结1.模式与模式识别––统计分类的基本思想b公设一：可描述性存在一个有代表性的样本集可供使用，以便获得一个问题范围。

公设二：可分性一个“简单”模式，具有表征其类别的类属性特征。

{(),,()}i kf fω=⊂ΩLX X公设三：备注：公设三中的特征是模式分类和识别统计分类的基本思想d公设四：特征独立性一个“复杂”模式具有简单的组成部分，它们之间存在确定的关系。

模式被分解成这些组成部分，且它们有一个确定的而不是任意的结构。

公设五：模式相似性如果两个模式的特征或其简单的组成部分仅有微小差别，则称两个模式是相似的。

–1–8讲义：模式识别导论第二章：统计模式识别（一）统计分类的基本思想g线性判别分类的基本方法–将样本的各类特征向量定位于特征空间后设法找出分界线(n=2时)或分界面(n>2时)。

–把特征空间分割成若干区域，每个区域对应于一个类别–对于一个未知类别的模式落在那个区域，就被分到那个类别中。

注意：12(,,,)T n X x x x =L 特征维数增加，分类的复杂度提高；样本的类别增多，分类的复杂度也提高。

目录2. 模板匹配法及其数学描述模板匹配法(Template Matching)是一种最原始、最基本的方法，它是一种统计识别的方法。

如果模板与样品上的绝大多数单元相匹配，则称“匹配的好”，反之称“匹配不好”，并取匹配最好的作为识别结果。

模板匹配的几种形式光学模板匹配：电子模板匹配(模拟灰度)：电子模板匹配(数字灰度)：参考书上的内容模板匹配的实现以文字识别为例，将每一个字建立一个模板P ，对一未知模式X ，逐个与模板匹配求出最小距离，然后进行识别即可，详细过程如下：1x 2x模板匹配的实现(续)1. 计算：K 为字符库中的字数。

2. 判别：如果则判否则拒识。

其中为拒识距离阈值。

,1,2,...i jij k ijH xp k K=−=∑∑min ,k kH ρ<kX P ∈ρ目录3. 模式的相似性度量及距离分类法相似性度量距离分类法标准样本的距离分类器分散样本的距离分类器3.1 相似性度量如果两个模式的特征或其简单的组成部分仅有微小差别，则称两个模式是相似的，这是相似性度量的基础。

常用的度量函数有：–距离函数–其他度量函数距离函数距离函数：这是最简单和直观的分类方法，以点距离作为样本相似性量度的主要依据。

距离越近，表示样本越相似。

1x 2x 其他度量函数类似度：如果模式类呈扇状分布，则可定义两矢量夹角之余弦为相似函数。

其中，为两矢量X 、Z 之夹角，|X |为向量X 之幅度。

函数值越大，表示样本越相似。

(,)cos T X Z S X Z X Zθ⋅==θ1x 2x 1z 2z x1θ2θ 3.2 距离分类法对于模式空间中的距离，应满足以下条件：★对称性：★三角性：★非负性：当且仅当X=Y 时等号成立()(),,d X Y d Y X =()()(),,,d X Y d X Z d Y Z ≤+(),0d X Y ≥距离分类法(续)常见的距离函数有：–欧氏距离：–Manhattan 距离：–“City Block ”距离：–Minkowsky 距离：()1221,ni i i d X Y x y = =−∑()1,nii i d X Y xy ==−∑()1,n ii ii d X Y x y ω==⋅−∑()11,ni i i d X Y x y λλ= =−∑距离分类法(续)距离函数还有：–Mahalanobis 距离：其中，是模式总体的均值向量是相应的协方差矩阵马氏距离考虑到样本的统计特性，排除样本间的相关性影响。

当协方差矩阵是对角矩阵时，各特征分量就是相互独立的。

21()()T D X M C X M −=−−C M C I=若3.3 标准样本的距离分类器分类原理：如果有R 个类别，可以各用一标准样本表示，则可以采用最小距离分类原理，将未知样本X 分类到与其距离最小的标准样本中。

即：或者12,,...R ωωω12,,...R M M M ()(),,,i j i d X M d X M j i X ω<≠⇒∀∈()(),min ,i j id X M d X M X ω⇒=∈i M 标准样本的距离分类器(续)特例：欧氏距离2(,)(,)(,)212()2T T T T j j j j j jT T T j j j d X M X M X M X X M X M M X X M X M M ==−+=−−mid 2(,)j d X M 1max ()2T T j j j jg X M X M M =−下页标准样本的距离分类器(续)分类准则线性判别函数–设每类的样品为n 维，即为的一个分量令则，其中()(),i j ig X g X j i X ω>∀∈⇒≠ji m j M ,1,2,,ji ji m i n ω==L ,112T j jj n M M ω+=−''()1,2,,T j j g X W X j n ==L 1X X = '12j j T j j M W M M = −3.4 分散样本的距离分类器由于畸变和噪声的影响，样本总是散布的，散布的程度取决于样本的性质、预处理和特征提取的方法。

根据不同情况，有如下几种不同的方法：–平均样本法–平均距离法–最近邻法–距离分类器的优缺点平均样本法在样本分散较小时，可以将每类的样本平均值作为标准样本，即，然后再采用标准样本的最小距离分类法即可。

优点：简单，存储量小，易于实现。

缺点：没有考虑到样本散布对分类的影响。

11st j t M Y s==∑平均距离法a考虑到样本散布的影响，未知样本X 对类别的距离用类别的所有样本的平均距离来表示，即然后采用标准样本的最小距离法进行分类即可。

()()2211,,s t j t d X d X Y s ω==∑(,)j d X ωj ωj ω平均距离法b优缺点分析：优点：考虑到了样本的散布，效果优于平均样本法。

缺点：需要存储所有的样本，计算量较大，比较费时。

最近邻法a考虑样本散布的另一种分类方法，是以与未知样本X 最近邻的点的类别作为X 的分类，即：并以距离最小的类别作为X 的分类：()()1,2,..,,min ,t j l sd X d X Y ω==()(),,,i j id X d X j i X ωωω<∀≠⇒∈最近邻法b特例：欧氏距离判别规则按最临近法得到的分界面是类别间个最近邻点连线的垂直平分超平面的组合。

1,2,..,1()max{}2T T j j j j l s D X X M M M ==−()(),i j iD X D X j i X ω>∀∈⇒≠最近邻法c优缺点分析：–优点：对大多数的线性可分的情况，能达到较好的效果。

–缺点：需要存储所有的样本，并且没有充分利用所有的样本信息，因而受噪声影响较大。

–折衷策略1.利用集群方法2.k -近邻方法根据一定的准则，把一类样本分成子集，k-近邻方法根据未知样本X最近邻的k个样本点中多数点的类别来分类。

计算X与所有训练样本的距离，找到最近邻的k个点，根据如下规则确定X的类别。

k-近邻具有较好的噪声免疫性能。

但是加权值相同的假设有些不合理。

,i j ik k j i Xω∀≠⇒>∈1Rjjk k==∑概念直观，方法简单，比较适合于低维、距离分类法优缺点分析b缺点：–把图像看做一个确定的过程，以距离作为分类的基础并不严格。

没有考虑到用概率和可能性来分类。

–用所有样本点来进行距离计算时存储量和计算量较大；用平均样本又不能充分利用信息。

–由最小距离分类概念直接得到判决准则，不能用数字方法判定其分类好坏。

目录4. 几何分类法(线性可分时)分为以下几种：–线性判别函数–广义线性判别函数–感知器算法–LMSE算法–线性分类器用于多类样本4.1 线性判别函数(两类)两类情况下的线性判别函数：假设样本为二维的，且线性可分，则存在这样的一个线性判别函数：其中，分别是二维平面上的坐标变量，为方程的参数。

()11223g X w x w x w=++=12,x x123,,w w w将121X ω∈类2X ω∈类()00T g X W X >== < 不可判别线性判别函数(两类)cＯx x ()0g X w x w x w =++=当模式为二维时，判别边界为一直线；当模式大于三维时，判别边界为一超平线性判别函数(多类)a多类(R 类)情况下的判别函数：分三种情况：每一模式与其他模式类间可用单个判别平面分割；每两类之间都可以分别用判别平面分割开；存在R 个判别函数，第二种的特例；()0,0,iTi i X g X W X ω>∈ ==< 当其他情况1X ω∈第一种情况：分类图x x ()0g X =()0g X =()0g X =1ω2ω3ω()112g X x x =−+()2125g X x x =+−()321g X x =−+第一种情况：分类区域()0g X =()0g X =()0g X =x x IRIRIRIR1ω3ω2ω()112g X x x =−+()2125g X x x =+−()321g X x =−+第一种情况：分析缺点：如果某一区域，的条件超过一个，或对所有i 均有，则这种分类形式失效，如上图中的四个IR 区域。

优点：该方法判别区域的范围是无限的。

()0i g X >()0i g X <第二种情况：每两类之间都可以分别用判别平面分割开。

这种情况下有R (R -1)/2个判别函数，判别函数的形式为：这里，()T ij i j g X W X=()()ij ji g X g X =−第二种情况(续)如果X 属于类，则假设有一个三类问题，对于给定模式X ，若有则而在判别类的模式时无关。

如下图：i ω()0,ij g X j i>∀≠()()121300g X g X >>和1X ω∈()23g X ω1第二种情况：分类图Ｏxx ()0g X =()0g X =()0g X =1ω2ω3ω()12125g X x x =−−+()1313g X x =−+()2312g X x x =−+第二种情况：分类区域()0g X =()0g X =()0g X =1ω2ω3ωx x IR12g +21g +23g +g +31g +g +()12125g X x x =−−+()1313g X x =−+()2312g X x x =−+例子：一个三类模式分类器，判别函数是()12125g X x x =−−+()1313g X x =−+()2312g X x x =−+()122g X =−()131g X =−()231g X =−()212g X =()311g X =()321g X =3X ω∈()125g X =()133g X =()230g X =()215g X =−()313g X =−()320g X =1X ω∈输入：X=(0,0)T输入：X=(4,3)T优点：该方法判别区域的范围是无限的。