1第一章 模式识别绪论介绍
第一章绪论
一、 什么是模式识别
1、生物的识别能力
人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通照片、艺术图片还是卡通图画。
这种识别能力的科学基础是什么呢？我们为什么可以识别出照片或者卡通画片上的人是谁呢？
也许有人认为其原理是逻辑推理（Logical Reasoning），就像下面这个例子：
The male professor said to the girls who were talking aloud in the classroom: “The noise made by two women is equal to the sound that 1000 ducks quack.” After a while somebody knocked at the door. One girl student reported: “Professor, 500 ducks are looking for you outside!”
Question: Who was outside?
Answer: A woman.
我们并没有看到，也没有直接获取到门外来客的相关信息，我们只是通过上下文和逻辑推理，判断来客不会是500只鸭子，也不会是一位男性，而是一位女性。
但是这种逻辑推理过程在我们识别照片上的人是谁时并没有明显地产生作用，我们一般是根据照片上人像的某种特征来识别，甚至可以用“感觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。
那么我们是依据待识别事物上的特定标志来识别他们的吗？例如在计算机系统中，我们需要输入用户名和密码来获得操作许可，在门禁系统中，我们可以用钥匙或者射频ID卡来验证自己的进出权限。
但是这种过程也不是识别的过程，因为它保证的仅仅是权限标志信息或标志物的验证（Identify）或鉴别，并不能确保拥有该权限标志物的就是被许可者本人。也就是说，通过这种方式可以控制操作或访问权限，但不能识别出操作或访问者的真实身份。
小故事：
柯南道尔是英国著名的侦探小说作家，他创造了知名的福尔摩斯形象。有一次，他到巴黎旅行，刚出火车站，就遇到一个出租车司机。司机帮他把行李放到后备箱，然后上车对他说：柯南道尔先生，您要去哪儿？柯南道尔很惊讶，他问司机：您认识我吗？司机回答说：不，我从没见过您。柯南道尔说：那您怎么知道我的名字呢？司机说：首先，我从报上看到消息说，柯南道尔正在马赛度假；然后，我发现您正是从马赛开来的列车上下来的；接着，我发现您的皮肤被晒黑了，这正是在海边度假归来的人的典型特征；您穿衣的风格非常正式，很有绅士气派，法国人去南部度假的时候是不会这么穿着的，只有英国人才这样；最后我
第 1 页
第 2 页
发现您的手指被墨水染黑了，这证明您是位作家；所以，我判断您是来自英国的柯南道尔先生。柯南道尔不禁赞叹道：您真是观察得太细了，您的推理能力不逊于任何真正的侦探！还有一个小小的细节，司机微笑着说，您的手提箱上刻着您的名字。
所以，人或者生物识别事物依靠的是一种特殊的能力，它能判断一个待识别的事物是什么或者不是什么，这种能力我们称为“模式识别”。因此，模式识别也可以定义为：识别一个模式， 其英文为Pattern Recognition 。
生物的模式识别能力是非常普遍和强大的，不仅人这样的智能生物具有模式识别的能力，无数的动物、植物都具有模式识别的能力：小猫会通过视觉、嗅觉和味觉判断一个物体是否是食物，树木会根据气温的高低和持续情况判断春天是否到来，微生物会根据化学物质的浓度来判断应当繁殖还是逃离。没有模式识别的能力，生物体就不能对外界环境采取适当的反应，也就没有办法在客观世界中生存。
2、 模式识别的概念
Pattern 的本意是图案、式样，它代表的不是一个具体的事物，而是事物所包含的信息特点，对应一个抽象的概念。虽然世界上没有完全相同的两片树叶，我们仍然可以识别出任意两片树叶是否来自同一种树木。即使两幅花纹的图片不完全一样，我们仍然能辨别两幅图片是否是同一种花纹。所以，模式（Pattern ）在识别过程中所指的是从客观事物中抽象出来，用于识别的最关键的一些特征信息。
图1 显然a)和e)是同一种花纹
识别是Recognition ，其中“cognition ”的意思是“认知”，就是去获取事物的有关知识；“Re －cognition ”是“再认知”，就是对已经具有知识的事物去判断它是什么。
由于模式是抽象的事物特征，代表的是具有这些特征的一类事物，因此，它需要在“认知”的过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看了许多长颈鹿的照片，这些长颈鹿具有相似的形象，我
们可以从身体形态、个头大小、皮肤花纹等方面抽象归纳出长颈鹿的共同
特征。当有一张新的动物图片供我们识别时，我们就可以依据这些特征来判断该动物是否是长颈鹿，换句话说，能否划归到“长颈鹿”这一动物种类中去。
所以，模式识别的本质是对事物的分类（Classify）。认知过程是建立类别标签和类别模式特征之间关联的过程，而识别，就是将一个具体事物（称为样本Sample）根据特征划归到已知的类别（Class）中去。
3、模式识别的特点
根据模式识别的概念，它具有以下的一些特点：
●模式识别只能识别已知类别的事物
模式识别是将待识别的事物划归到已有的类别中去，对于完全未知的事物，没有办法给它贴上任何标签，是无法进行识别的。同
时，如果已有的认知基础不同，对于同一个待识别的样本，也会得
到完全不同的识别结果。
小故事：
一个病人去医院就医，医生用他那惯用的潦草字体开了处方，可病人很随意，将此处方放在衣袋里忘掉了。在此后的两年里，此人将此处方
当作地铁车票来往于家与单位之间。并拿之看过十多场电影及两场音乐
会，还打过一场高尔夫球，而且还混充上头的字迹获得了一次升迁。两年
后他将此处方遗失了，但故事并未完结，他女儿捡到了字条，在年度音乐
考核上按此演奏了一段钢琴，竟然获得了年终奖学金。
●模式识别是生物的本能，但“模式识别学科”研究的是机器识别
研究生物的模式识别原理是生物学、神经生理学和脑科学的任务，作为信息学科中的模式识别学科，研究的是如何让机器（主要
是指计算机）具有模式识别的能力，算法的研究和实现是最核心的
研究内容。虽然高性能的模式识别方法需要在生物模式识别原理的
基础上实现，但机器识别的效率和准确性目前还远远没有达到生物
体的水平。
●模式识别研究的两大问题是学习Learning（训练Training）和分类
Classifying
学习（训练）就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准，学习（训练）过程就是建立
一个分类器的过程；分类就是对待识别的事物依据特征进行归类，
以此确定该事物“是什么”。
●模式识别依据的是事物间的相似性（Similarity）
模式识别利用同一类别的事物的共同特征来完成分类，除了这些可以用于分类的特征外，模式识别过程忽略具体事物的其他特性
和细节。因此，被识别为同一类的事物只是“相似”，而不是“相
同”的，相似性是模式识别理论的基础。正因为如此，生物体和机
器才能识别出以前从未见过的具体的某个事物，也才能对存在形变
和其他失真情况的事物实现识别。
●模式识别的结果可能出现错误
模式识别仅仅是在认知基础上的“识别”，而不是“确认”，它
第 3 页
第 4 页
的原理可以用“根据经验判断”来理解。而经验数据总是有限的，
无法包括所有可能的分类情况。例如，在没有见过黑天鹅的情况下，
把“体色为白色”作为识别天鹅的特征之一是合理的，但对于黑天
鹅这个特征就无效了。因此，识别的结果总是可能出现错误，这和
依据独有标志和信息来判断事物是不同的。或者说，模式识别本质
上是一个存在不确定性的过程，识别过程存在错误率（Error Rate ），
识别结果只能在一定的概率和置信度上表达事物所属的真实类别。
在一个分类器训练的阶段，认知来源于训练数据集，因此，首
要考虑的是对于训练集内的样本，分类器分类的错误率应该尽可能
低（称为经验风险低）。在使用分类器进行分类时，则希望分类器
对于不在训练集中的新样本要有尽可能高的识别能力，这种分类器
算法对于未知样本的分类能力称为“泛化能力（Generalization
Ability ）”。
在实践中，由于训练集样本数据的随机性，这两个要求有时是
矛盾的。例如在图2的两类分类问题中，如果样本P 的特征出现了
较大的随机误差，按照这种存在误差的样本训练得到的分类器，可
能出现过拟合（Over Fitting ），有可能造成分类器泛化能力大幅度
下降。
图2 对存在较大随机误差的训练集进行过拟合会造成分类器的泛化能力降低
二、 模式识别方法和应用
1、 模式识别系统的结构
一个模式识别系统由以下部分组成：
第 5 页
图3 模式识别系统的结构
待识别的样本经过模式采集，取得相应的信息数据，这些数据经过预处理环节，生成可以表征模式的特征，特征降维环节从这些特征中选取对分类最有效的特征，在分类器设计环节完成学习，建立相应的分类决策规则，也可以说是设计出一个有效的分类器，最后在分类器已设计好的情况下对待识别的单个样本进行分类决策，输出分类结果。
需要注意的是：整个模式识别系统的各个环节都应当是由计算机自己完成，而无需人工干预。分类决策规则是从样本中自动计算获取的，而不是由人工设定的，这才能构成一个实用的模式识别系统。我们设计一个模式识别系统，只设计系统学习类别知识来建立分类规则的算法。
2、 模式识别的流程
一个模式识别系统的工作流程包含以下任务：
（1） 模式采集 Sampling
模式识别研究的是计算机识别，因此事物所包含的各种信息必须通过采集转换成计算机能接受和处理的数据。对于各种物理量，可以通过传感器将其转变成电信号，再由信号变换部件对信号的形式、量程等进行变换，最后经A/D 采样转换成对应的数据值。
（2） 预处理 Preprocessing
经过模式采集获得的数据量，是待识别样本的原始信息，其中可能包含大量的干扰和无用数据。预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息，在此基础上，生成在分类上具有意义的各种特征。
特征生成的方法和思路与待解决的模式识别问题和所采用的模式识别方法密切相关，例如对图像数据，如果要识别的是场景的类型，颜色和纹理特征就很有用；如果要识别出包含的人脸是谁，那么人脸轮廓和关键点特征就很重要。
预处理生成的特征可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。
（3） 特征降维 Dimensionality Reduction
通常情况下，经过模式采集和预处理获得的模式特征数量是很大的，这给分类器的设计和分类决策都带来了效率和准确率两方面的负面影响。因此，从大量的特征中选取出对分类最有效的有限的特征，降低模式识别过程的计算复杂度，提高分类准确性，是特征降维环节的主要任务。
特征降维的方法主要包括特征选择（Feature Selection）和特征提取（Feature Extraction）。特征选择是从已有的特征中，选择一些特征，抛弃掉其他特征；特征提取是对原始的高维特征进行映射变换，生成一组维数更少的特征。两种方法虽然不同，但目的都是为了降低特征的维度，提高所选取的特征对分类的有效性。
（4） 分类器设计
分类器设计过程就是分类器学习的过程，或者说是对分类器进行训练的过程。分类器设计是由计算机根据样本的情况自动进行的，可分为有监督学习（Supervised Learning）和无监督学习(Unsupervised Learning)。
有监督学习是指用于分类器学习的样本已经分好了类，具有类别标签，分类器知道那些样本是属于哪些类的，由此它可以学习到属于某类的样本都具有哪些共同的特征，从而建立起分类决策规则。
无监督学习是指用于分类器学习的样本集没有分好类，分类器自主地根据样本与样本之间的相似程度来将样本集划分成不同的类别，在此基础上建立分类决策规则。
（5） 分类决策Classification Decision
分类决策是对待分类的样本按照已建立起来的分类决策规则进行分类，分类的结果要进行评估（Evaluating）。
3、模式识别的方法
（1） 模板匹配
模板匹配是最早出现的模式识别方法，甚至在计算机出现之前就已经开始使用了。它对每个类别建立一个或多个标准模板，分类决策时将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。
严格来说，模板匹配不能算是模式识别的范畴，在建立模板的时候需要人工的干预，但由于它直接、简单，在类别特征稳定、明显，类间差距大的时候仍然可以使用，只是它的适应能力比较差。
（2） 统计模式识别
统计模式识别是主流的模式识别方法，它是将样本转换成多维特征空间中的点，根据不同类别的样本在特征空间中的分布情况，确定类别边界和分类决策规则，再进行分类决策。
统计模式识别基于概率统计理论和多维空间理论，它有坚实的数学基础，分类器学习算法也比较成熟，适用面很广。其缺点是算法较复杂，对于各类别差异为结构特征时不能很好地求解。
统计模式识别方法包括贝叶斯决策、判别函数法，支持向量机等具体方法。
（3） 结构模式识别
结构模式识别是按照每个样本的结构特征进行分类，目前主要采用的是基于形式语言理论的句法方法。结构模式识别对于字符识别、语言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较困难，理论上还有很大的研究空间。
（4） 聚类分析
第 6 页
当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。
（5） 模糊模式识别
模糊模式识别是在模糊数学的基础上，利用模糊集的概念对原有的模式识别方法进行改进，其分类结果也是模糊化的，可以解决许多不具有精确特征值的分类问题，但是其模糊集合和模糊规则的建立具有较大的主观性。
（6） 神经网络模式识别
将人工神经元网络用于解决模式识别问题是当前的研究热点。人工神经元网络模拟生物神经元网络的工作过程，本质上是大规模并行非线性计算机，其输入输出关系理论上可以逼近任意非线性函数。因此，神经网络模式识别在解决复杂的非线性分类问题上具有优势，其缺点是学习速度较慢，并且所获得的分类决策规则是不透明和非解析的。
4、模式识别的典型应用
随着计算机技术的快速发展和对于智能系统的强劲需求，模式识别技术在二战以后得到了越来越广泛的应用。目前，只要需要机器具有感知能力和一定的智能响应能力的地方，就有模式识别的应用。
以下在一些领域比较典型的模式识别应用：
●信息过滤Information Filter
在网络搜索和访问的过程中，需要根据信息的内容来确定是否过滤，这已经不是简单的关键字检索能够实现的，必须根据信息的总体内容、出处和上下文关系来确定是否过滤，模式识别技术可以发挥巨大的作用。最早的信息过滤算法是基于文本的，现在已经发展到基于多媒体信息，包括图像、视频、声音等等。
●生物特征识别Biometrics
利用生物特征来识别人的身份，现在已经从科幻影片中的场景变成了现实。目前生物特征识别技术已从比较成熟的指纹识别、说话人识别、虹膜识别发展到了更加复杂的人脸识别、手印识别、步态识别等方法。
●目标跟踪Target Tracking
目标检测与跟踪也是模式识别的典型应用，大的方面可以应用到导弹制导、自动驾驶等军事领域，小的方面可以应用到智能监控、照相机笑脸识别、眼动控制等领域。
●手势识别Gesture Recognition
手势识别是近年来在人机交互领域的重要进展，通过识别人手的姿势和运动来完成对计算机系统的非接触控制，手势的检测可以依据红外检测、运动和姿态传感器、可见光视频和其它传感器实现，Kinect、MYO和Leap Motion都是比较受关注技术和产品。
●音乐识别Music Recognizing
音乐识别本科音乐分类和旋律识别。音乐分类是根据音乐的特征将其划入到不同的类别中，例如苹果公司的Genius技术。旋律识别
第7 页
（Melody Recognizing）是指根据旋律，而不是根据关键字来搜索音乐，是目前音乐检索的最新发展。百度曾经在2010年9月短暂推出过音乐的哼唱检索，在许多卡拉OK点歌系统和手机应用中，也采用了基于哼唱的音乐检索技术，也有一些网站提供类似的服务：https://www.360docs.net/doc/a34477104.html,。
●字符识别Optical Character Recognition
光学字符识别（OCR）是最早发展的模式识别应用之一，它可分为联机识别和脱机识别，又可以分为手写识别和印刷体识别。目前联机手写识别（掌上设备的手写输入）、脱机印刷体识别（扫描文件的OCR、PDF文件的拷贝）都发展到了一定的实用水平，比较困难的是脱机手写识别。
●图像识别搜索Image Searching
通过图像的内容来进行检索，而不是根据关键字检索，也是模式识别在图像处理方面的典型应用。由于图像本身的质量差异较大，变化的情况也比较多，目前该领域还处于研究阶段。百度推出了实验性的图像检索：https://www.360docs.net/doc/a34477104.html,。
●自然语言理解Natural language understanding
自然语言理解（NLU）一直是人工智能领域的研究重点，其研究内容既包括文字的理解，也包括口头对话的理解。目前文字方面进展较大，许多机器翻译系统已经可以投入实用，例如Google的在线翻译服务：https://www.360docs.net/doc/a34477104.html,。
●脑电识别Electroencephalograph Recognition
对于脑电信号的识别，是一项非常前沿的研究工作。它不仅可以用于“读脑”，获知人的思维活动，而且可以用于“脑电控制”，帮助残疾人或者特殊人员（例如战斗机的驾驶员）控制各种设备完成预定任务。
●环境识别Environment Recognition
环境识别是对周边环境类型和状态的识别技术，在无人驾驶汽车、自主外星探测器等系统中十分重要，Google Glass等先进的随身环境感知和信息处理设备中，环境识别也是重要的组成部分。
三、 模式识别的基础概念
1、样本、模式和模式类
●样本Sample
待识别的客观事物。例如：具体的人、一个水果、一种心电图都是样本。
●模式Pattern
从客观事物抽象出的规范化的信息，在有限维条件下可以描述和表达样本，是模式识别的对象，一般用事物的各种属性来表示。
例如：一个人的姓名、性别、年龄、身高、体重…等构成一个模式。
●模式类Class
具有某种相似性的模式的集合，模式识别就是将样本对应的模
第8 页
第 9 页
式归入到模式类中的过程。例如：男性、女性就是两个模式类；偏
瘦、标准、偏胖、很胖也是不同的模式类。对同样的一组模式，可
以按照不同的标准划分模式类。
2、 特征、特征空间和特征向量
● 特征 Feature
是从所有模式信息中选取出来的，可以用于模式识别的部分属
性。特征既可以是数值型的，也可以是非数值型的。例如：年龄、
体重就是数值型特征，美、丑或者拓扑结构就是非数值型特征。非
数值型特征在模式识别系统中，也需要用数据编码来表示，只是数
据之间没有数值关系。
特征既可以直接采用事物的属性，也可以由事物属性经计算处
理得到。例如根据世界卫生组织（WHO ）公布的BMI 标准，判别胖
瘦的计算公式为：BMl ＝体重(kg)／身高2(m) 。
● 特征空间 Feature Space
把每个特征作为一个维度，就可以构成一个多维的空间，每个
模式都是空间中的一个点。
如果特征都是数值型特征，则特征空间是一个几何空间；如果
特征是非数值型特征，特征空间是一个集合空间。
特征空间中的一个子空间或者一个区域，就代表了具有相似性
的一个模式类。例如在中国的参考标准中：BMI 值＜18.5为偏瘦，
在18.5～23.9之间为正常，在24～26.9 之间为偏胖，≥27为肥胖。
● 特征向量 Feature Vector
几何特征空间中的一个点代表一个模式，其各个特征值构成了
一个特征向量。
3、 相似度的度量 Similarity
模式识别的依据是模式之间的相似性，我们总是把相似程度高的模式划归为同一类，这就牵涉到如何定量地定义“相似度”的问题。
两个模式i x 和j x 之间的相似度度量标准应当满足以下几个要求：
相似度应当为非负值 Non-negative
一个模式与自身的相似度应当是最大的
相似度对两个模式是对称的 Symmetry
如果模式的特征是数值型特征，所有模式都是多维几何空间中的点，此时最明显的相似度度量标准就是点与点之间的距离。当然，距离的定义是多种多样的，常用的距离度量（特征维数为n ）包括：
欧几里德距离
ij d = 明考夫斯基距离
第 10 页
11()n
q q ij ik jk k d q x x =??=- ???∑
曼哈顿距离
1n
ij ik jk k d x x ==-∑
切比雪夫距离
1()max ij ik jk k n
d x x ≤≤∞=- 对于具有非数值型特征的模式，也可以定义其它的相似度度量标准。例如对两个不同的字符串表示的模式，可以用编辑距离（是指从一个字符串转换成另一个字符串所需的最少的单字符编辑操作次数，允许的单字符编辑操作包括替换、插入和删除）来度量两个模式之间的相似度。
4、 紧致性 Compactness
当特征空间中属于同一个类的模式相似度远高于与其它类中的模式的相似度时，称模式类具有紧致性。
紧致性要求是模式识别的基本要求，只有当两个类之间相似度远低于同一个类内部的相似度时，分类的错误率才会较低。
但是在一个模式识别任务中，有时很难满足紧致性的要求。此时可通过增加特征空间的维数，或进行空间映射变换来增强该问题模式类的紧致性。例如在使用BMI 标准对人的胖瘦进行分类时，类别之间紧密相连，紧致性很差。
四、 课程简介
1、 课程基本信息
课程名称：模式识别（导论）
课时：32学时，共分为8个模块
授课教师：高琪（自动化学院模式识别与智能系统研究所）
课程教学方式：课堂讲授+课堂讨论+小组项目实践
项目小组：每组3人，至少来自于2个班，至多包括1名女生。
项目题目：手写签名的离线识别
成绩评定方式：
平时成绩：25%
模块1：课后作业 5%
模块2,3,4,5：小测验 5%×4=20%
项目实践：35%
个人报告： 10%
小组论文： 10%
成果展示： 15%
期末考试：40%
第 11 页
2、 课程内容框架
本课程从模式识别的基本概念入手，在特征选择和特征提取等降维算法的基础上，主要介绍统计模式识别、智能模式识别、结构模式识别和聚类分析。
统计模式识别方面重点介绍以线性分类器为核心的确定性统计分类，和以贝叶斯分类器为核心的随机性统计分类，以及支持向量机的基本概念。智能模式识别简要介绍模糊模式识别和神经网络模式识别，结构模式识别简要介绍句法模式识别。
本课程由于课时关系，对于各种模式识别方法仅作入门介绍，学生如有兴趣，可通过阅读课程所推荐的参考书和其他的有关文献进行更深入的学习。
图3 模式识别课程内容框架
3、 与其它学科关系
图4 模式识别与其他学科的关系
模式识别课程的基础包括概率论与数理统计和线性代数（主要是矩阵
运算），这两门课程应当是先修的。对于句法模式识别，本课程中会对其基础――形式语言理论进行简单的介绍。
模式识别是人工智能学科的组成部分，代表了人工智能中的认知能力，与学习能力、推理能力一起构成人工智能的完整范畴。
机器学习是模式识别的扩展，它不仅包括了机器的模式识别能力，还包括了机器发现知识，理解知识，自我进化的能力。
图像处理与机器视觉是目前计算机科学家和自动控制界都在研究的重点领域，在“传感器与检测技术”和“模式识别”技术的共同支持下，信息最丰富、获取最方便的图像数据，可以成为计算机和其他智能设备的主要信息来源。
4、参考书
以下是本课程推荐的主要参考书：
●模式识别. 钟珞，潘昊等. 武汉大学出版社，2006年.
●模式识别（第三版）. 张学工. 清华大学出版社，2010年.
●模式分类（第二版）. [美] R. O. Duda, P. E. Hart, and D. G. Stork. 机
械工业出版社，2003年.
●模式识别（第四版）. [希腊] Sergios Theodoridisd. 电子工业出版社，
2010年.
●模式识别－－原理、方法及应用. [美] J.P.Marques. 清华大学出版社，
2002年.
●模式识别. 边肇祺等. 清华大学出版社，2000年
第12 页
模式识别导论教学大纲
《模式识别导论》教学大纲 （课程编号08824380 学分-学时 2-40） 东南大学自动化学院 一．课程的性质与目的 本课程是自动化专业高年级本科生一门专业选修课，是研究计算机模式识别的基本理论和方法、应用。本课程的教学目的是，通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本知识，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力。 二．课程内容的教学要求 1.掌握模式识别的概念、发展和应用，模式识别的研究方法； 2.掌握统计模式识别中Bayes决策理论的基本原理及运用； 3.掌握统计模式识别中线性判别函数的基本理论及运用； 4.熟悉概率总体估计中的参数估计方法和非参数技术估计方法； 5.掌握近邻法则和集群； 6.掌握模式特征的抽取和选择； 7.了解人工神经网络在模式识别中的应用； 8.熟悉模式识别的聚类算法。 三．能力培养要求 1.分析能力的培养：主要是对相似性度量方法、特征提取和选择方法、各种识别方法特点进行分析的能力的培养，同时也要注意培养针对具体应用选择合适的识别方法的能力的培养。 2.计算能力的培养：要求学生通过本课程的学习，具备对线性判决函数、似然比、Bayes 风险进行计算或确定计算步骤的能力和对计算结果的正确性进行判断或校核的能力；具有使用计算机进行模式识别分析和计算的能力。 3.自学能力的培养：通过本课程的教学，要培养和提高学生对所学知识进行整理、概括、消化吸收的能力，以及围绕课堂教学内容，阅读参考书籍和资料，自我扩充知识领域的能力。 4.表达能力的培养：主要是通过作业，清晰、整洁地表达自己解决问题的思路和步骤的能力。 5.创新能力的培养：培养学生独立思考、深入钻研问题的习惯，和对问题提出多种解决方案、选择不同计算方法，以及对计算进行简化和举一反三的能力。
清华大学 模式识别 第一章(引言)
第一章引言 §1.1 样本和模式 §1.2 模式识别（分类） §1.3 机器模式识别基本方法 ——有监督模式识别 ——无监督模式识别 Guijin Wang, Tsinghua University, 第一章引言1
Guijin Wang, Tsinghua University, 第一章引言 2 §1.1 样本和模式 清华大学→方正舒体清华大学→隶书清华大学→幼圆体清华大学 → 华文彩云体 ↓ ↓ ↓ ↓ 清 华 大 学 → 代码（符号、概念） C7E5 BBAA B4F3 D1A7 强弱分布（信号）个体之间： 有差别又有共性
Guijin Wang, Tsinghua University, 第一章3
Guijin Wang, Tsinghua University, 第一章 4 弓形 螺旋形 环形 短纹-孤立点 分叉点 纹线端点
样本的定义（from wiki) ?In statistics and quantitative research methodology,a data sample is a set of data collected and/or selected from a statistical population by a defined procedure. ?This process of collecting information from a sample is referred to as sampling. ?In mathematical terms,given a random variable X with distribution F,a random sample of length n(where n may be any of1,2,3,...)is a set of n independent,identically distributed(iid)random variables with distribution F. ?The concept of a sample thus includes the process of how the data are obtained(that is,the random variables). ?正样本&负样本 Guijin Wang, Tsinghua University, 第一章引言5
模式识别导论习题集
模式识别导论习题集 1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516 2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。 解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为： y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T ，绝对值偏差为351 |()|14i i i x y =-=∑， 夹角余弦为cos 0|||||||| T x y x y θ= =?，因此夹角为 90度。 3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。 解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述： (1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？ (2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。 解： （1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。 5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。 解：按照公式（2－84），分界面上的点应满足：
模式识别习题及答案
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(
模式识别导论习题参考-齐敏-第6章-句法模式识别
第6章 句法模式识别习题解答 6.1 用链码法描述5～9五个数字。 解：用弗利曼链码表示，基元如解图6.1所示： 数字5~9的折线化和量化结果如解图6.2所示： 各数字的链码表示分别为： “5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ； “8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。 1 7 解图6.1 弗利曼链码基元 解图6.2 数字5~9的折线化和量化结果
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和 “Z ”。 解：设基元为： 用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ?+?+=； “K ”的链描述为))((b a d d x K ??+=； “Z ”的链描述为))((c c g x Z ?-=。 6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为 },,{B A S V N =，},{b a V T = ：P ①aB S →，②bA S →，③a A →，④aS A → ⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。 解： 以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。 6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各 生成式为 ①A S 0→，②B S 1→，③C S 1→ b c a d e abba abbA abS aB S ???? ① ⑦ ② ③ ab aB S ?? ① ⑥ ba bA S ?? ② ③ abab abaB abS aB S ???? ① ⑦ ① ⑥ baab baaB baS bA S ???? ② ④ ① ⑥ baba babA baS bA S ???? ② ④ ② ③
模式识别习题及答案
第一章 绪论 1.什么是模式具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义让计算机来判断事物。 3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) ???∈>=<211 221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==2 1 )()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1 )()|() ()|()|(j j j i i i w P w x P w P w x P x w P ∑== = M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|() () ()|()|(
04010290模式识别导论
《模式识别导论》课程教学大纲 一、课程基本信息 课程编号：04010290 课程中文名称：模式识别导论 课程英文名称：Introduction of Pattern Recognition 课程性质：专业任意选修课 考核方式：考查 开课专业：自动化、探测制导与控制技术 开课学期：7 总学时：24 （其中理论24学时，实验0学时） 总学分：1.5 二、课程目的和任务 通过本课程的学习，使学生了解当前模式识别理论的发展现状，初步掌握模式识别的基本方法，使学生对模式、模式识别等基本概念有明确地认识，具有实用统计模式识别完成模式分类的能力。 三、教学基本要求（含素质教育与创新能力培养的要求） 1、掌握模式、模式识别的含义； 2、掌握基于Bayes决策理论的模式分类方法； 3、掌握线性分类的基本方法； 4、掌握近邻法； 5、了解聚类分析的基本方法； 6、了解特征提取的基本方法。 四、教学内容与学时分配 第一章绪论（2学时） 模式和模式识别；模式识别的发展和应用；模式识别的研究方法。 第二章Bayes决策理论（4学时）
最小错误率的Bayes决策；最小风险的Bayes决策；Bayes分类器和判别函数；正态分布模式的Bayes分类器；均值向量和协方差矩阵的估计。 第三章线性判决函数（4学时） 线性判决函数和决策面；最小距离分类器；感知机准则函数；平方误差准则函数；多类模式的线性分类器。 第四章非线性判决函数（4学时） 分段线性判别函数；近邻法；K－近邻法；快速近邻法。 第五章聚类分析（4学时） 模式相似性测度和聚类准则；分级聚类法；C—均值算法。 第六章特征提取（6学时） 类别可分性准则；特征选择；基于距离的特征提取；基于K-L变换的特征提取。五、教学方法及手段（含现代化教学手段） 课堂讲授、专题讨论。 六、实验（或）上机内容 无 七、前续课程、后续课程 前续课程：概率论与数理统计、线性代数 后续课程：无 八、教材及主要参考资料 教材： [1] 黄凤岗，宋克欧. 模式识别[M]. 哈尔滨：哈尔滨工程大学出版社，1998. 主要参考资料： [1] 杨光正等. 模式识别[M].合肥：中国科技大学出版社，2000. [2] 边肇祺，张学工. 模式识别[M].北京：清华大学出版社，2000. 撰写人签字：院（系）教学院长（主任）签字：
模式识别导论基础实验(2)
模式识别导论基础实验(2) 实验二 1、利用matlab程序完成课本P38页中，学生身高体重数据的均值、方差以及相关系数的计算。设学生身高体重数据为data=[1.71.75 1.651.801.781.601.551.601.651.70;65706065706045455055] (1)计算身高与体重的均值向量 (2)计算身高与体重的方差向量 (3)计算身高与体重的协方差矩阵 (4)计算身高与体重的相关系数矩阵 (5)利用PCA主成分分析的方法，计算出由身高体重构成的二维特征空间的特征值和特征向量，并指出哪个特征向量的方向是第一主分量方向（提示，可借鉴期中测试中的PCA代码和步骤，按照标准化、求协方差矩阵、PCA主成分分解的顺序依次完成） 2、找到上题中身高最矮的那位同学的编号，计算在身高和体重所构成的二维特征空间中，该同学与均值数据之间的各项距离（此题的第(2)、(3)问要求利用matlab和Octave两种软件分别使用不同的语句编程，并分别截图分析） (1)找到10位同学中身高最矮的那位同学的编号 (2)计算该同学与均值数据之间的欧式距离（matlab和Octave） (3)计算该同学与均值数据之间的马氏距离（matlab和Octave） (4)计算该同学与均值数据之间的夹角余弦距离
3、假设手写数字的每类样品均服从正态分布，请按照课本“基于最小错误率的贝叶斯分类实现”（P79页4.6节）中的介绍，完成下列内容： (1)利用教材所提供的手写数字分类软件（该软件在matlab2010版本下可用），在数字输入区手写一个数字1，通过matlab程序读取该数字的编码信息并以列向量形式保存在变量a中； (2)针对用户手写的数字1，运行函数bayesleasterror(a')，验证实验结果与预期是否吻合； (3)熟悉P80-81页的“基于最小错误率贝叶斯分类”的实现步骤，假设每类样品均服从正态分布，写出判别函数h i(X)的表达式，要求在实验报告中写出关键matlab代码并添加注释。 4、理解课本P95-99页中奖惩算法在两类和多类情况下的表达式，仿照P96页的“实例说明”利用感知器算法对两类模式求判别函数。 (1)设该模式线性可分为两个类，每类中有两个样品，四个样品的具体分布情况为ω1：{(0,0)，(0,1)},ω2:{(1,0)，(1,1)},试写出样品的增广形式 (2)手工写出迭代的计算过程，并求出最后的判别函数结果 (3)用matlab代码实现上述计算过程（此步骤不做要求，作为思考题由同学们自己完成，可以不写在实验报告中）
1第一章 模式识别绪论介绍
第一章绪论 一、 什么是模式识别 1、生物的识别能力 人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通照片、艺术图片还是卡通图画。 这种识别能力的科学基础是什么呢？我们为什么可以识别出照片或者卡通画片上的人是谁呢？ 也许有人认为其原理是逻辑推理（Logical Reasoning），就像下面这个例子： The male professor said to the girls who were talking aloud in the classroom: “The noise made by two women is equal to the sound that 1000 ducks quack.” After a while somebody knocked at the door. One girl student reported: “Professor, 500 ducks are looking for you outside!” Question: Who was outside? Answer: A woman. 我们并没有看到，也没有直接获取到门外来客的相关信息，我们只是通过上下文和逻辑推理，判断来客不会是500只鸭子，也不会是一位男性，而是一位女性。 但是这种逻辑推理过程在我们识别照片上的人是谁时并没有明显地产生作用，我们一般是根据照片上人像的某种特征来识别，甚至可以用“感觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。 那么我们是依据待识别事物上的特定标志来识别他们的吗？例如在计算机系统中，我们需要输入用户名和密码来获得操作许可，在门禁系统中，我们可以用钥匙或者射频ID卡来验证自己的进出权限。 但是这种过程也不是识别的过程，因为它保证的仅仅是权限标志信息或标志物的验证（Identify）或鉴别，并不能确保拥有该权限标志物的就是被许可者本人。也就是说，通过这种方式可以控制操作或访问权限，但不能识别出操作或访问者的真实身份。 小故事： 柯南道尔是英国著名的侦探小说作家，他创造了知名的福尔摩斯形象。有一次，他到巴黎旅行，刚出火车站，就遇到一个出租车司机。司机帮他把行李放到后备箱，然后上车对他说：柯南道尔先生，您要去哪儿？柯南道尔很惊讶，他问司机：您认识我吗？司机回答说：不，我从没见过您。柯南道尔说：那您怎么知道我的名字呢？司机说：首先，我从报上看到消息说，柯南道尔正在马赛度假；然后，我发现您正是从马赛开来的列车上下来的；接着，我发现您的皮肤被晒黑了，这正是在海边度假归来的人的典型特征；您穿衣的风格非常正式，很有绅士气派，法国人去南部度假的时候是不会这么穿着的，只有英国人才这样；最后我 第 1 页
模式识别习题及答案
第一章绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的2?模式识别 的定义？让计算机来判断事物。 3?模式识别系统主要由哪些部分组成？数据获取一预处理一特征提取与选择一分类器设计/ 分类决策。 第二章贝叶斯决策理论 .信息__。 如果 I (x) P ( X | W 1 ) P ( X | w 2 )::: P ( W 2 ) / P ( W 1 ) _,贝V X 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式得到后验概率。根据后验概率大小进行决策分析。P(W i |X)= P (X | W i)P(W i) 2 P(X | W j) P (W j) j丄 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率P ( W i ), i 1 - 2 类条件概率分布p(X 1 W i)D；；1；2P(X|W i)P(W i) 利用贝叶斯公式得到后验概率P(W i|X) 2 - - Z P(x|W j)P(W j) j 二 如果输入待测样本 X，计算X的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式? 决策规则的不同形我C亜点〉 max 尸(vr | 兀)，UUJ* c 小1,2 7 "II果卩(*| 〉尸(叭)= X I max I M' .'JPj-v e 7 =-1.2 J J ，空也则* I M < 尸(…) *11 果"(丸》=—11订 /( A-)] = —111 p(.^ | ) + 111 /J(A* I 11^2 ) I 〔化 4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes决策使得每个观测值下的条件错误率最小因而保证了(平均)错误率 最小。Bayes决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和(类条件概率)概率，推导(后验概率)概率，然后利用这个概率进行决策。 6 .利用乘法法则和全概率公式证明贝叶斯公式 答: p(AB) =p(A|B)p(B) = p(B|A)p(A) p(B) * p(B|Aj)p(Aj) 所以推出贝叶斯公式 P(B |A i)P(AJ P ( B ) P ( B | A i ) P ( A i ) ~M P(B |A j)P(A j) j =1
哈工程模式识别实验
实验一、 图像的贝叶斯分类 一、实验目的 将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。 二、实验仪器设备及软件 HP D538、MA TLAB 三、实验原理 阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。此过程中，确定阈值是分割的关键。 对一般的图像进行分割处理通常对图像的灰度分布有一定的假设，或者说是基于一定的图像模型。最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。 上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。这时如用全局阈值进行分割必然会产生一定的误差。分割误差包括将目标分为背景和将背景分为目标两大类。实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。如一幅图像中只包含目标和背景两类灰度区域，那么直方图所代表的灰度值概率密度函数可以表示为目标和背景两类灰度值概率密度函数的加权和。如果概率密度函数形式已知，就有可能计算出使目标和背景两类误分割概率最小的最优阈值。 假设目标与背景两类像素值均服从正态分布且混有加性高斯噪声，上述分类问题可以使用模式识别中的最小错分概率贝叶斯分类器来解决。以1p 与2p 分别表示目标与背景的灰度分布概率密度函数，1P 与2P 分别表示两类的先验概率，则图像的混合概率密度函数可用下式表示
(完整版)模式识别复习要点和参考习题
复习要点 绪论 1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。 答：我的本科毕设内容和以后的研究方向为重症监护病人的状态监测与预诊断，其中的第一步就是进 行ICU病人的死亡率预测，与模式识别理论密切相关。主要的任务是分析数据库的8000名ICU病人，统计 分析死亡与非死亡的生理特征，用于分析预测新进ICU病人的病情状态。 按照模式识别的方法步骤，首先从数据库中采集数据，包括病人的固有信息，生理信息，事件信息等并分为死亡组和非死亡组，然后分别进行数据的预处理，剔除不正常数据，对数据进行插值并取中值进行第一次特征提取，然后利用非监督学习的方法即聚类分析进行第二次特征提取，得到训练样本集和测试样本集。分别利用判别分析，人工神经网络，支持向量机的方法进行训练，测试，得到分类器，实验效果比传统ICU 中采用的评价预测系统好一些。由于两组数据具有较大重叠，特征提取，即提取模式特征就变得尤为重要。语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别； ① 文字识别 汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可 磨灭的功勋。所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已 成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。目前，汉字输 入主要分为人工键盘输入和机器自动识别输入两种。其中人工键入速度慢而且劳动强度大；自动输入又分 为汉字识别输入及语音识别输入。从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写 体识别中，脱机手写体的难度又远远超过了联机手写体识别。到目前为止，除了脱机手写体数字的识别已 有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。 ②语音识别 语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人 工智能等等。近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势 受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。而且利用基因算法训练连续 隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有 较高的识别率。 ③ 指纹识别 我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。而这些皮肤的 纹路在图案、断点和交叉点上各不相同，是唯一的。依靠这种唯一性，就可以将一个人同他的指纹对应起 来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。一般的指纹分成有以下几 个大的类别:环型(loop),螺旋型(whorl),弓型(arch),这样就可以将每个人的指纹分别归类，进行检索。指 纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。 ③ 遥感 遥感图像识别已广泛用于农作物估产、资源勘察、气象预报和军事侦察等。 ④医学诊断 在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取 得了成效。
哈工大模式识别实验报告概论
模式识别实验报告 本次报告选做第一个实验，实验报告如下： 1 实验要求 构造1个三层神经网络，输出节点数1个，即多输入单输出型结构，训练它用来将表中的第一类样本和第二类样本分开。 采用逐个样本修正的BP算法，设隐层节点数为4，学习效率η=0.1，惯性系数α=0.0；训练控制总的迭代次数N=100000；训练控制误差：e=0.3。在采用0~1内均匀分布随机数初始化所有权值。 对1）分析学习效率η，惯性系数α；总的迭代次数N；训练控制误差e、初始化权值以及隐层节点数对网络性能的影响。要求绘出学习曲线----训练误差与迭代次数的关系曲线。并将得到的网络对训练样本分类，给出错误率。 采用批处理BP算法重复1)。比较两者结果。 表1 神经网络用于模式识别数据(X1、X2、X3是样本的特征)
2 BP 网络的构建 三层前馈神经网络示意图，见图1. 图1 三层前馈神经网络 ①网络初始化，用一组随机数对网络赋初始权值，设置学习步长η、允许误差ε、网络结构（即网络层数L 和每层节点数n l ）； ②为网络提供一组学习样本； ③对每个学习样本p 循环 a ．逐层正向计算网络各节点的输入和输出； b ．计算第p 个样本的输出的误差Ep 和网络的总误差E ； c ．当E 小于允许误差ε或者达到指定的迭代次数时，学习过程结束，否则，进行误差反向传播。 d ．反向逐层计算网络各节点误差) (l jp δ 如果l f 取为S 型函数，即x l e x f -+= 11 )(，则 对于输出层))(1() ()()()(l jp jdp l jp l jp l jp O y O O --=δ 对于隐含层∑+-=)1()()()()()1(l kj l jp l jp l jp l jp w O O δδ e ．修正网络连接权值 ) 1()()()1(-+=+l ip l jp ij ij O k W k W ηδ 式中，k 为学习次数，η为学习因子。η取值越大，每次权值的改变越剧烈，可能导致学习过程振荡，因此，为了使学习因子的取值足够大，又不至产生振荡，通常在权值修正公式中加入一个附加动量法。
模式识别电子教材_北京航空航天大学
第一章引论 1·1 概述 1.1.1模式识别 模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。 样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。 模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。 特征(Features)：能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为 模式类(Class)：具有某些共同特性的模式的集合。 1.1.2 模式识别系统 ⑴特征提取 从模式空间中选择最有利于模式分类的量作为特征，压缩模式维数，以便于处理，减少消耗。 特征提取一般以分类中使用的某种判决规则为准则。所提取的特征使在某种准则下的分类错误最少。为此需要考虑特征之间的统计关系，选用适当的正交变换，才能提取出最有效的特征。 ⑵特征选择 特征选择同样需要某种分类准则，在该准则下选择对分类贡献较大的特征，删除贡献较小的那些特征。 ⑶学习和训练 根据已知类别的样本确定分类判决准则矫正特征提取选择方法等 ⑷分类识别 分类是把特征空间划分成类型空间。 把未知类别属性的样本确定为类型空间里的某一类型。 分类错误率越小越好，分类错误率的分析和计算比较困难。 影响分类错误率的因数 –分类方法 –分类器设计 –提取的特征 –样本质量等 1.1.3模式识别的基本方法 ㈠统计模式识别 理论基础：概率论，数理统计 主要方法：线性、非线性分类、Bayes决策、聚类分析