模式识别文献综述

模式识别基础概念文献综述

一．前言

模式识别诞生于20世纪20年代。随着20世纪40年代计算机的出现，20世纪50年代人工智能的兴起，模式识别在20世纪60年代迅速发展成为一门学科。在20世纪60年代以前，模式识别主要限于统计学领域的理论研究，计算机的出现增加了对模式识别实际应用的需求，也推动了模式识别理论的发展。经过几十年的研究，取得了丰硕的成果，已经形成了一个比较完善的理论体系，主要包括统计模式识别、结构模式识别、模糊模式识别、神经网络模式识别和多分类器融合等研究内容。

模式识别就是研究用计算机实现人类的模式识别能力的一门学科，目的是利用计算机将对象进行分类。这些对象与应用领域有关，它们可以是图像、信号，或者任何可测量且需要分类的对象，对象的专业术语就是模式（pattern）。按照广义的定义，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以成为模式。

二．模式识别基本概念

<一>.模式识别系统

模式识别的本质是根据模式的特征表达和模式类的划分方法，利用计算机将模式判属特定的类。因此，模式识别需要解决五个问题：模式的数字化表达、模式特性的选择、特征表达方法的确定、模式类的表达和判决方法的确定。一般地，模式识别

系统由信息获取、预处理、特征提取和选择、分类判决等4部

分组成，如图1-1所示。

观察对象→→→→→→→→→类→类别号信息获取预处理特征提取和选择分类判决

图1-1模式识别系统的组成框图

<二>.线性分类器

对一个判别函数来说，应该被确定的是两个内容：其一为方程

的形式；其二为方程所带的系数。对于线性判别函数来说方程

的形式是线性的，方程的维数为特征向量的维数，方程组的数

量则决定于待判别对象的类数。对M类问题就应该有M个线

性判别函数；对两类问题如果采用“+”“-”判别，则判别函数

可以只有一个。既然方程组的数量、维数和形式已定，则对判

别函数的设计就是确定函数的各系数，也就是线性方程的各权

值。在计算机上确定各权值时采用的是“训练”或“学习”的

方法，这就是待识别的模式集中挑选一批有代表的样本，它们

经过人工判读成为已知类别的样本，把这批样本逐个输入到计

算机的“训练”程序（或算法）中去，通过一次一次的迭代最

后得到正确的线性判别函数，这样一个迭代的运算的过程成为

训练过程。由于样本的分类首先经过人工判读，因而这样的构

成分类器也称为有人监督或有教师的分类器。

<三>.特征选择和提取

<1>、特征选择

特征的获取是依赖于具体的问题和相关专业的知识的，无法进

行一般性的讨论。从模式识别角度，很多情况下人们面对的是已经得到的一组特征，或者是利用当时的技术手段把所有有可能观测到的特征都记录下来。这时，这些特征中可能有很多特征与要解决的分类问题关系并不密切，它们在后续的分类器设计中可能会影响分类器的性能。另一方面，有时即使很多特征都与分类器关系密切，但是特征过多会带来计算量大、推广能力差等问题，在这样数目有限时很多方法甚至会因为出现病态矩阵等问题而根本无法计算，因此人们也往往希望在保证分类效果的前提下用尽可能少的特征来完成分类。

模式识别中的特征选择的问题，就是指在模式识别中，用计算方法从一组给定的特征中选择一部分特征进行分类。这是降低特征空间维数的一种基本方法。

<2>、特征提取

原始特征的数量可能很大，或者说样本处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本，这个过程称为特征提取。映射后的特征称为二次特征，它们是原始特征的某种组合（通常是线性组合）。所谓特征提取，在广义上就是指一种变换。若Y是测量空间，X是特征空间，则变换A:Y→X就称为特征提取器。<3>特征选择和提取的作用

特征选择和特征的提取的主要目的都是，在不降低或者很少降低分类结果性能的情况下，降低特征空间的维数，其主要作用在于：（1）简化计算。特征空间的维数越高，需占用的计算机资源就越多，设计和计算也就越复杂。

（2）简化特征空间结构。由于特征提取和选择是去除类间差别小的特征，保留类间差别大的特征，因此，在特征空间中，每类所

占据的子空间结构可分离性更强，从而也简化了类间分界面形

状的复杂度。

<四>.概率密度函数估计

概率密度函数的估计方法分为两大类：参数估计与非参数估计。

<1>参数估计中，已知概率密度函数形式，但其中部分或者全部

参数未知，概率密度函数的估计问题就是用样本来估计这些参

数。主要方法又有两类：最大似然估计和贝叶斯估计，两者在

很多实际情况下结果接近，但从概念上它们的处理方法是不同

的。

参数估计是统计推断的基本问题之一，下面主要介绍几个参数

估计的基本概念。

（1）统计量。样本中包含着总体的信息，希望通过样本集把有关信息抽取出来，就是说针对不同要求构造出样本的某种

函数，这种函数在统计学中称为统计量。

（2）参数空间。如上所述，在参数估计中，总是假设总体概率密度函数的形式已知，而未知的仅是分布中的几个参数，

将未知参数记为θ，在统计学中，将总体分布未知函数θ

的全部可容许值组成的集合称为参数空间，记为ʘ。

（3）点估计、点估计值、点估计量。点估计问题就是要构造一个统计量作为参数θ的估计。在统计学中，构造的此统计

量称为θ的估计量，把样本的观测值代入统计量，得到一

个具体数值，这个数值在统计学中称为θ的估计值。

（4）区间估计。利用抽样分布估计参数可能在位于的区间，即要求用区间[d1,d2]作为θ的可能取值范围的一种估计。这

个区间称为置信区间，这类估计称为区间估计。

<2>非参数估计，就是概率密度函数的形式也未知，或者概率密

度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数值化地估计出来。

<五>.聚类分析

聚类就是按照一定的要求和规律对事物进行区分和分类的过程，在这一过程中没有任何关于分类的先验知识，仅靠事物间的相似性作为类属划分的准则，因此是无监督分类。聚类分析是指用数学的方法研究和处理给定对象的分类。多年来，人们提出了许多关于“聚类”的定义，但一直没有通用的定义。温熙森给出的聚类分析定义是：“聚类分析是统计模式识别的另一重要工具，它把模式归入到这样的类别或聚合类：同一个聚合类的模式比不同聚合类中的模式更相近”。它的基本原理就是在没有先验知识的情况下，基于“物以类聚”的观点，用数学方法分析各模式向量之间的距离及分散情况，按照样本距离远近划分类别。

聚类分析是无监督分类方法，它把一个没有类别标记的样本集按照某种准则划分成若干个子集饿，使相似的样本尽可能归为