统计模式识别简介

• 假使在特征空间中规定某种距离度量，从直观 上看，两点之间的距离越小，它们所对应的模 式就越相似。在理想的情况下，不同类的两个 模式之间的距离要大于同一类的两个模式之间 的距离，同一类的两点间连接线上各点所对应 的模式应属于同一类。一个畸变不大的模式所 对应的点应紧邻没有畸变时该模式所对应的点。 在这些条件下，可以准确地把特征空间划分为 同各个类别相对应的区域。在不满足上述条件 时，可以对每个特征向量估计其属于某一类的 概率，而把有最大概率值的那一类作为该点所 属的类别。
最小风险贝叶斯判别准则
• • 在实际工作中，有时仅考虑错误率最小是 不够的。要引入比错误率更广泛的概念— 风险、损失。 • 如果在采取每一决策时，其条件风险都最 小，则对所有的x作决策时，其平均（期望 风险）也最小。称为最小风险的贝叶斯决 策。
• 在决策理论中，称所采取的决定为决策或 行动。每个决策或行动都会带来一定的损 失。该损失用λ表示，它是与本该属于wi但 采取的决策为αj所造成的损失有关。由此定 义损失函数为λ（αj| wi）=λij(i,j=1,2, …,R)。 对样本X属于wi,有贝叶斯公式已知后验概率 为P(wi|X)
• 当被识对象用n随机向量X表示，二我们已 知分类的先验概率的条件概率密度函数， 便可根据贝叶斯公式，求解后验概率，并 按后验概率的大小来判别分类，这就是贝 叶斯决策方法。下面介绍三种判别准则： • （1）最小错误概率贝叶斯判别准则 （2）最小风险贝叶斯判别 • （3）聂曼－皮尔逊判别准则准则
（1）最小错误概率贝叶斯判别准则
设有R类样本，分别为w1,w2,…wR, 已知每类的先验概率为P(wi), 其中 i=1,2, …,R。对于待识别的随机向量X,已知每类的条件概率密度为 P(X|wi),则根据贝叶斯公式有后验概率： P(wi|X)=(P(X| wi)*P(wi))/(∑P(X∣wi)*P(wi)) （1） 根据计算得出得后验概率，取最大得后验概率P(wi|X)所属的wi类，判 决X属于wi类。表示为： P(wi|X)>P(wj|X)则X属于wi 其中i,j=1,2, …,R,且存在j≠i，这就是贝叶斯判别准则。 若按统计理论定义“似然比”为： l(X) = P(X| wi)/ P(x| wi) 取判别阀值： θji= P(wj)/ P(wi) 则有贝叶斯判别准则的似然比表示形式： l(X) > P(wj)/ P(wi) 则X属于wi 对于两类模式集（w1,w2）的分类，贝叶斯判别准则简单表示为： 若 P(w1|X)>P(w2|X)则X属于w1 若 P(w2|X)>P(w1|X)则X属于w2 贝叶斯判别准则实质上是最小错误概率的贝叶斯判别准则。
统计模式识别模型
• 该模型主要包括两种操作模型:训练和分类 , 其中训练主要利用已有样本完成对决策边 界的划分 ,并采取了一定的学习机制以保证 基于样本的划分是最优的;而分类主要对输 入的模式利用其特征和训练得来的决策函 数而把模式划分到相应模式类中。
基本原理
• 统计模式识别(statistic pattern recognition) 的基本原理是：有相似性的样本在模式空 间中互相接近，并形成“集团”，即“物以类 聚”。其分析方法是根据模式所测得的特征 向量Xi=(xi1,xi2,…,xid)T(i=1,2,…,N)，将一个 给定的模式归入C个类ω1,ω2,…, ωc中，然后 根据模式之间的距离函数来判别分类。其 中，T表示转置；N为样本点数；d为样本特 征数。
统计模式识别的研究进展
• 类条件概率分布的估计 线性判别法 贝叶斯分类器 误差界
类条件概率分布的估计
• 考虑将待识样本X∈Rd判别为C个不同类ω1,ω2,…, ωc中的某一类。由贝叶 斯定理，X应判为具最大后验概率的那一类。由于类条件概率分布未知，故通 常假定分布为某一带参数的模型如多维正态分布(当多维正态分布中均值向量 和协方差矩阵已知时，由此分布得到的二次判别函数是最优的），而表示分 布的参数则由训练样本进行估计。当训练样本不充足时，分布参数包含估计 误差影响识别精度。 为了提高分类精度，，Ujiie H等人提出了这样一个方法。首先，将给定数 据进行变换(带指数函数的变换），使得变换后的数据更近似于正态分布，不 论原数据所服从的分布如何，而且在理论上找到了最优变换；然后，为了处 理这些变换后的数据，对传统的二次判别函数进行了修改；最后，提出了变 换的一些性质并通过实验表明了该方法的有效性。 为了避免分类精度的降低，通过研究特征值的估计误差，提出了各种方 法，但对特征向量的估计误差却考虑得不多。Iwamura M等人经过研究得出特 征向量的估计误差是造成分类精度降低的另一个因素，因而提出了通过修改 特征值以弥补特征向量的估计误差的方法。
• 判别函数可以是线性的或非线性的。利用 已知类别的训练集，通过统计方法，可以 求的判别函数的具体形式和参数，然后用 来判别未知样本属何类别。这种方法虽属 统计分类方法，但无需依赖于条件分布密 度的知识，因此在一些场合下，比基于贝 叶斯公式的概率分类法简单。
线性判别函数
• 基于线性判别函数的模式分类器称为线性 分类器。设计线性分类器的主要步骤是： 首先已知一组有类别的样本训练集。第二， 选择一个准则函数，该函数既与样本集X与 W有函数关系，又能反映分类器性能。第三， 用最优化技术求出准则函数的极值解W＊， 从而得到线性判别函数优化解。
监督参数统计法
• KNN法（ K最近邻法） • Fisher判别分析法
K最近邻法
• KNN法，也称K最近邻法，是模式识别的标准算法之一。 • 其基本原理是先将已经分好类别的训练样本点“记入” 多维空间中，然后将待分类的未知样本也记入空间。考 察未知样本的K个近邻，若近邻中某一类样本最多，则 可以将未知样本也判为该类。在多维空间中，各点间的 距离通常规定为欧几里得空间距离。KNN法的好处是它 对数据结构没有特定的要求，只要用每个未知点的近邻 属性类来判别就行了；KNN法也不需要训练过程。KNN 法的一个缺点就是它没有对训练点作信息压缩，因此每 判断一个新的未知点都要将所有对已知点的距离全部算 一遍，计算工作量较大。一种简化的算法称为类重心法， 即将训练中每类样本点的重心求出，然后判别未知样本 点与各类的重心的距离；未知样本与哪一类重心距离最 近，
几何分类法（判别函数法）
• 一个模式经某种数学变换后，映射为一特 征向量，并表示为特征空间的一个点。同一类 的点构成点集，表示一类ωi。不同类的点集 （ωi ,i=1,2, …,n）总是互相有不同程度的分离。 若能几何的方法，找出一种不依赖于条件概率 密度的分离函数，把特征空间划分为对应于不 同类别的子空间，便可实现模式分类。因此， 把这种分类方法称为几何分类法，把这种分离 函数成为判别函数。从而，几何分类法也通常 称为判别函数法。
• • • • • • • •
统计模式识别的方法有： 贝叶斯决策方法 （1）最小错误概率贝叶斯判别准则 （2）最小风险贝叶斯判别 （3）聂曼－皮尔逊判别准则准则 判别函数法 （1）线性可分的几何分类法 （2）非线性可分的几何分类法
• • • • • • • • • •
监督参数统计法 （1）KNN法（K最近邻法） （2）Fisher判别分析法 非监督参数统计法 （1）基于概率密度函数估计的直接方法 （2）与样本空间相似性度量的间接聚类方法 聚类分析法 近邻函数法 （1）基于最邻近规范的试探法 （2）最大最小距离法
统计模式识别简介
金新 09370 0937041
关于统计学的一个笑话：
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。 妻子回家时，他交出一张纸条，写的是： “擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平均 寿命10秒钟；警告孩子不要横穿马路26次； 孩子坚持要穿马路26次；我还要再过这样 的星期六0次”。 • 统计学真的这样呆板吗？仅仅收集数据， 整理分析，累加平均…
统计模式识别
统计模式识别方法就是用给定的有限 数量样本集，在已知研究对象统计模型 或已知判别函数类条件下根据一定的准 则通过学习算法把d 维特征空间划分为c 个区域,每一个区域与每一类别相对应。
• 属于同一类别的各个模式之间的差异，部分是 由环境噪声和传感器的性质所引起的，部分是 模式本身所具有的随机性质。前者如纸的质量、 墨水、污点对书写字符的影响；后者表现为同 一个人书写同一字符时，虽形状相似，但不可 能完全一样。因此当用特征向量来表示这些在 形状上稍有差异的字符时，同这些特征向量 对应的特征空间中的点便不同一，而是分布在 特征空间的某个区域中。这个区域就可以用来 表示该随机向量实现的集合。
主要方法
• • • • • 贝叶斯决策法 线性判别函数 邻近法分类（KNN) 最小距离分类 聚类分析法
贝叶斯决策方法
• 运用统计决策理论设计的分类系统又称为 分类器。
• 贝叶斯决策是一种统计模式识别决策法， 它有如下基本假定： 1.各类别总体的概率分布是已知的 2.被决策的分类数是一定的 3.被识别的事物或对象有多个特征观测值
最大最小距离法
• 这种方法以欧氏距离为度量，先选择相距最远的两点为中心，分别计算各种 本到这两中心的距离Di1和Di2,i=1,2, …，n。对每个i点取两个距离Di1和Di2中的 最小：min（Di1，Di2），检测全部min（Di1，Di2）中的最大者是否大于|Z1Z2|/2来判决聚类。故称最大最小距离法。以下图十点为例，具体步骤如下： 第一步：任意取X1为第一个聚类中心，即X1＝Z1。 第二步：确定离X1最远的标本，令X6＝Z2。 第三步：逐个计算各样本X1,X2, …,Xn与Z1及Z2的距离Di1，Di2。 Di1＝｜X i－Z1｜，Di2＝｜X i－Z2｜ 若存在max{ min（Di1，Di2）,i=1,2, …，n}>｜Z 1－Z2｜/2,则令X i＝Z3（X 7＝ Z3），转下一步。否则，转最后一步。 第四步：计算Di1，Di2，Di3若存在max{ min（Di1，Di2，Di3）,i=1,2, …，n}>｜ Z 1－Z2｜/2，则令Xi＝Z4，转下一步。否则，转最后一步。 …… 最后一步：将全部样本按最小距离分别到最近的聚类中心。本例为三个中心， 得分类结果： ｛X1X3X4｝为第一类，Z 1＝X 1 ｛X2X6｝为第二类，Z 2＝X 6 ｛X5X7X8X9X10｝为第三类，Z 3＝X 7