模式识别复习重点总结
1.什么是模式及模式识别？模式识别的应用领域主要有哪些？模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息； 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。
模式识别的应用领域：（1）字符识别；（2） 医疗诊断；（3）遥感； (4）指纹识别 脸形识别；（5）检测污染分析，大气，水源，环境监测； （6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断； （8）军事应用。
2.模式识别系统的基本组成是什么？（1） 信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2） 预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；（3） 特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； （5） 分类决策：在特征空间中对被识别对象进行分类。
3.模式识别的基本问题有哪些？ （1）模式(样本)表示方法：（a ）向量表示；（b ）矩阵表示；（c ）几何表示；（4）基元(链码)表示；（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集（3）相似与分类；(a)两个样本x i ，x j 之间的相似度量满足以下要求： ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数(b)用各种距离表示相似性（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征 （5） 数据的标准化:(a)极差标准化；(b)方差标准化4．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （cn 维情况：（a ）判别函数：也可表示为： 32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。
，＝为增值权向量，Tn n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+（b ）判别边界：g 1(x ) =W T X =0 （c ）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi（i=1,2,…,n ）类与其它类之间的边界由 g i(x )=0确定 (c)(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面(b) 判别边界： (c)判别规则：(C)第三种情况：(a)判别函数： (b) 判别边界：g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0(c)判别规则：5．什么是模式空间及加权空间，解向量及解区？ （1）模式空间：由 构成的n 维欧氏空间； （2）加权空间：以 为变量构成的欧氏空间； （3）解向量：分界面为H ，W 与H 正交，W 称为解向量； （4）解区：解向量的变动范围称为解区。
6．超平面的四个基本性质是什么？ 性质①：W 与H 正交； 性质 ②：W)x (g r =其中，为x 矢量到H 的正交投影； XW x g Tij ij =)(0)(=x g ijji x g ij ≠⎩⎨⎧∈→<∈→>j ix 0x 0)(ωω当当权向量。
个判别函数的为第i w T in in i i i ),,121+XW x g K k =)(⎩⎨⎧∈=小，其它最大，当i T k i x X W x g ω)(T n x x x x X ),...,,(321=121,...,,+n w w w r性质③：性质④：7．二分法能力如何表示？N 个样品线性可分数目(条件：样本分布良好）：线性可分概率:8．广义线性判别方法 （1）非线性→线性一个非线性判别函数通过映射，变换成线性判别函数：（2）线性判别 成正比的距离与原点到11,++=n n W H W W q 通过原点。
，说明超平面则若在原点负侧。
则在原点正侧，若则若H x W x g W H W H W T n n n ==<>+++)(,0,0,0111⎪⎩⎪⎨⎧+>+<=∑=-n k kN N n N C n N n N D 011,21,2),(若若为特征数为样本数其中n N k N k N C kN ,,])!1(
1．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （cn 维情况：（a ）判别函数： 也可表示为：（b ）判别边界：g 1(x ) =W T X=0（c ）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi （i=1,2,…,n ）类与其它类之间的边界由 g i (x )=0确定(c)(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面(b) 判别边界： (c)判别规则：(C)第三种情况：(a)判别函数： (b) 判别边界：g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0(c)判别规则：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。
，＝为增值权向量，Tn n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+XW x g Tij ij =)(0)(=x g ij j i x g ij ≠⎩⎨⎧∈→<∈→>j ix 0x 0)(ωω当当权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=XW x g K k =)(⎩⎨⎧∈=小，其它最大，当i Tki x X W x g ω)(2．分段线性判别方法1）基于距离:（1）子类，类判别函数 （2）判别规则（1）子类：把ωi 类可以分成l i 个子类:∴ 分成l 个子类。
子类判别函数：在同类的子类中找最近的均值 （2）判别规则： 这是在M 类中找最近均值。
模式识别 复习笔记
第一章 概论① 什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。
（老师的简略说法：用机器判断事物类别）② 模式识别系统主要由四个部分组成：原始数据的获取和预处理，特征提取与选择，分类或类聚，后处理。
③ 紧致性：做模式识别的前提条件是每个模式类满足紧致性。
④ 相似性度量满足的条件：1234点⑤ 一些专业术语的中英文：PR （pattern recognition ）模式识别 BP （back-propagation ）反向传播算法 PCA （principal component analysis ）主成分分析NN （neural networks ）神经网络 ⑥ 欧式距离：()()Tx u x u -- ⑦ 马氏距离：()()1Tx u x u ---∑第二章 贝叶斯决策（两大贝叶斯决策=最小错误率贝叶斯决策+最小风险贝叶斯决策）：①贝叶斯决策的三个前提条件：类别数确定，各类的先验概率p(w i)已知，各类的条件概率密度函数p(x|w i)已知。
②最小错误率贝叶斯决策：使错误率最小的分类决策。
对应于最大后验概率。
贝叶斯公式：P17 白细胞例子③最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。
第三章最大似然估计（两大参数估计=最大似然估计+贝叶斯估计）：最可能出一题最大似然估计的计算题。
判断估计好坏的标准：无偏性、有效性、一致性。
①最大似然估计的求解流程：1、构造似然函数2、对数化3、求偏导4、求解第四章线性分类器①Fisher判别法Fisher准则：找到一个最合适的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。
各类样本均值向量m i判定函数J（w）越大，说明分子类间距离越大，分母类内距离越小。
符合fisher准则。
引入拉格朗日函数：求偏导②最小二乘法y=ax+b第五章非线性分类器①反向传播算法BP：1.三层结构2.简述BP过程、偏差回来调整权系数P953.学习规则：a.随机给定权系数；b.计算输出；c.得到偏差；d.进行调整4.算法步骤：第七章特征选择遗传算法过程：a.初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P（0）.b.个体评价：计算群体P（t）中各个个体的适应度。
模式识别考点整理-long
模式识别考点
1.监督非监督区别及例子判断
书上第11页那个图要记住，各个部分的作用
2.贝叶斯计算（重点）
最小风险和最小错误率区别及计算
贝叶斯公式如何得来有可能考推导证明（在蓝色书附录A.1）评价指标：敏感性、特异性，及ROC曲线原理
3.参数估计与非参数估计的区别
掌握最大似然与贝叶斯估计大体流程
掌握非参数估计parzen窗及K近邻大体流程
4.掌握线性分类器各个代价函数的最优准则（重点）
能进行原理性描述
几何分类器、Fisher、感知器、LMSE、SVM
5.了解多层感知器神经网络，反向传播原理
了解神经网络组成类型
6.特征的提取如何判断好坏
类别可分类性判据有哪些
7.PCA主成分分析基本做法，及为什么可以忽略后面向量的本质
了解KL变换及其人脸识别应用
8.了解特征是如何形成的
补充说明：
贝叶斯的计算重点掌握，其他各种方法重点掌握其原理应对简答题，具体的数学推导不要求，结合PPT复习。
另外简单对某个具体模式例子做出方案设计，比如手写数字识别（之前作业），比如人脸识别、车牌识别（ppt有介绍）的大题流程。
加油！↖(^ω^)↗
-bylong。
模式识别考试总结
1.对一个染色体分别用一下两种方法描述：(1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？(2)按其轮廓线的形状分成几种类型，表示成a、b、c等如图表示，如何利用这些量？属哪种描述方法？（3）设想其他的描述方法。
（1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。
把这四个值组成特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。
可以区分染色体和其它圆形、椭圆细胞结构。
（2）a形曲线表示水平方向的凹陷，b形表示竖直方向的凹陷，c形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。
它可以很好的体现染色体的形状，用于区分X和Y染色体很合适。
这是结构表示法。
（3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。
2. 设在一维特征空间中两类样本服从正态分布，，两类先验概率之比，试求按基于最小错误率贝叶斯决策原则的决策分界面的x值。
答：由于按基于最小错误率的贝叶斯决策，则分界面上的点服从3、设两类样本的类内离散矩阵分别为，试用fisher准则求其决策面方程，并与第二章习题二的结构相比较。
答：由于两类样本分布形状是相同的（只是方向不同），因此应为两类均值的中点。
4，设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。
试问：（1）按近邻法分类，这两类最多有多少个分界面（2）画出实际用到的分界面（3） A1与B4之间的分界面没有用到下图中的绿线为最佳线性分界面。
答：(1)按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。
模式识别复习
1.正态分布的性质：①μ与Σ对分布起决定作用P(X)=N(μ, Σ), μ由n个分量组成，Σ由n(n+1)/2元素组成。
所以多维正态分布由n+n(n+1)/2个参数组成。
②等密度点的轨迹是一个超椭球面。
区域中心由μ决定，区域形状由Σ决定。
③不相关性等价于独立性。
若xi与xj互不相关,则xi与xj一定独立。
④线性变换的正态性Y=AX，A为线性变换矩阵。
若X为正态分布，则Y也是正态分布。
⑤线性组合的正态性。
2.Bayes分类的算法（假定各类样本服从正态分布）①输入类数M；特征数n，待分样本数m.②输入训练样本数N和训练集资料矩阵X(N×n)。
并计算有关参数。
③计算矩阵X中各类的后验概率。
④若按最小错误率原则分类，则可根据3 的结果判定y中各类样本的类别。
⑤若按最小风险原则分类，则输入各值，并计算X中各样本属于各类时的风险并判定各样本类别。
3.基于最小风险的贝叶斯决策4.最小错误率贝叶斯决策规则与N-P决策聂曼——皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策所用的阈值是先验概率之比P(ω2)/P(ω1)，而聂曼——皮尔逊决策所用的阈值则是Lagrange乘子。
5.最小最大决策：如果对给定的x，其P(ωi)不变，按照贝叶斯决策规则，可以使错误率最小或风险最小。
但如果P(ωi)是可变的，或事先对先验概率毫无所知，若再按某个固定的P(ωi)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。
最小最大决策讨论在P(ωi)变化时如何使最大可能风险最小。
6.ISODTA意为迭代自组织数据分析技术。
这个算法与K均值算法相似，也是以均值迭代确定聚类中心，但它加进了人机对话环节，可以调整参数，并且引入了归并与分裂的机制，即当某两类别中心间距小于某一阈值时，将它们合并为一类，而在某类样本标准差大于某一阈值时，或其样本数目超过某一阈值时，则将它分为两类，在类别数目少于某一阈值时，也实行分裂。
模式识别总结
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别期末复习总结
1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计知识的条件下，按照贝叶斯决策理论进行设计的一种最优分类器。
贝叶斯分类器的分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。
贝叶斯的公式：什么情况下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验知识，或者有足够多的样本，可以较好的进行概率密度估计，如果这些条件不满足，则采用最优方法设计出的分类器往往不具有最优性质。
2、K近邻法kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
假设有N个已知样本分属c个类,考察新样本x在这些样本中的前K个近邻，设其中有个属于类，则类的判别函数就是决策规则:若则∈什么情况下使用K近邻法:kNN只是确定一种决策原则，在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别,并不需要利用已知数据事先训练出一个判别函数，这种方法不需要太多的先验知识。
在样本数量不足时，KNN法通常也可以得到不错的结果。
但是这种决策算法需要始终存储所有的已知样本，并将每一个新样本与所有已知样本进行比较和排序，其计算和存储的成本都很大。
对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
3、PCA和LDA的区别Principal Components Analysis(PCA)：uses a signal representation criterionLinear Discriminant Analysis(LDA)：uses a signal classification criterionLDA：线性判别分析，一种分类方法。
它寻找线性分类器最佳的法线向量方向，将高维数据投影到一维空间，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
模式识别知识重点
1、你如何理解“人工智能”以及“智能”？参考答案：人工智能是通过研制智能机器或者编制程序模拟人或者高级生物的智能行为。
智能的行为具有如下特征：感知能力、记忆与思维能力、学习与自适应能力、行为能力等，这些来自于人脑的活动结果。
2、什么是不确定推理？不确定的因素有哪些？是什么原因造成的？参考答案：从不确定的初始证据出发，通过运用不确定性的知识，最终推出具有一定不确定性但是合理的或者近乎合理的思维过程。
不确定的因素有：证据不确定（存在错误、准确性无法判定）、匹配不确定、知识（规则）不确定、合成规则不确定等。
造成不确定的原因有：主观的和客观的，例如概率的、模糊的、信息不完备、准确性无法验证等，本质上是由于人的认识的有限性。
需要解决的基本问题有：不确定性的表示和量度，不确定性匹配算法以及阈值的选择，组合证据不确定性算法，不确定性的传递算法，结论不确定性的合成等。
3、你如何理解特征空间？表示样本有哪些常见方法？参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。
描述样本的常见方法：矢量、矩阵、列表等。
4、贝叶斯决策理论中，参数估计和非参数估计有什么区别？参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen窗等方法确定样本的概率密度分布规律。
5、线性和非线性分类器与基于贝叶斯决策理论的分类器之间是什么关系？参考答案：线性分类器与非线性分类器都属于几何分类器，是统计模式识别的一种；基于贝叶斯决策理论的分类器属于概率分类，主要是基于样本在特征空间的概率分布；利用未知样本属于已知类别的概率或者风险大小进行分类。
几何分类的理论基础是概率分类，是一种简单的处理方式，不需要求解样本的概率分布，只需要利用已知样本训练得到一些几何分界面即可。
6、无教师示范的非监督学习与聚类分析之间有何联系？有哪些常见的非监督学习方法？试简要介绍其中一种方法，并给出必要的公式。
模式识别复习资料
（4）如果 Z j( k 1 ) Z j( k )j 1 ,2 , ,K ，则回到（2），将模式 样本逐个重新分类，重复迭代计算。
.
15
例2.3：已知20个模式样本如下，试用K-均值算法分类。
X1 0,0T X2 1,0T X3 0,1T X4 1,1T X5 2,1T X6 1,2T X7 2,2T X8 3,2T
x1
20
8 聚类准则函数Jj与K的关系曲线
上述K-均值算法，其类型数目假定已知为K个。当K未知时，
可以令K逐渐增加， 此时J j 会单调减少。最初减小速度快，但当 K 增加到一定数值时，减小速度会减慢，直到K =总样本数N 时，
Jj = 0。Jj－K关系曲线如下图：
Jj
曲线的拐点 A 对应着接近最优
④ 判断：
Zj(2)Zj(1)
j 1,2 ，故返回第②步。 .
17
② 从新的聚类中心得：
X 1： D D12||||X X11ZZ12((22))|||| X1S1(2) ┋
X 20：D D12||||X X2200Z Z12((22))|||| X20S2(2) 有： S 1 ( 2 ) { X 1 ,X 2 , ,X 8 } N 1 8
（2）将最小距离 3 对应的类 G1(0) 和G2 (0) 合并为1类，得 新的分类。
G 1( 1 2 ) G 1 ( 0 )G , 2 ( 0 ) G 3(1)G 3(0) G 4(1 )G 4(0 ) G 5(1)G 5(0) G 6(1 )G 6(0)
计算聚类后的距离矩阵D(1)： 由D(0) 递推出D(1) 。
3）计算合并后新类别之间的距离，得D(n+1)。
4）跳至第2步，重复计算及合并。
模式识别期末复习笔记
模式识别期末复习笔记模式识别ch2 贝叶斯决策1.贝叶斯公式2.贝叶斯决策的特例a)先验概率相同（均匀先验概率）：决策仅依赖于类条件概率密度b)类条件概率密度相同：决策仅依赖于先验概率3.计算题（医学测试⽅法）4.计算题（车⾝⾼低）5.贝叶斯决策的最优性a)最⼩化误差概率的⾓度i.每次均选择概率⼤的类做判断结果，因此错误概率永远是最⼩的b)最⼩化风险的⾓度i.每次均选择条件风险最⼩的结果，因此总风险最⼩6.对于两类分类问题，最⼩风险贝叶斯决策a)可以基于似然⽐进⾏决策b)p(x|ω1)p(x|ω2)≥λ12?λ22λ21?λ11p(ω2)p(ω1)则判断为1类，否则为2类c)似然⽐超过某个阈值（θ），那么可判决为ω1类7.0-1损失（误判是等价的）：最⼩化风险就是最⼤化后验，也就是选择后验最⼤的a)最⼩化误差概率与最⼩化风险等价，即选择最⼤后验的分类，即满⾜最⼩误差概率，也满⾜最⼩风险8.先验概率未知时如何设计风险最⼩的分类器？a)使先验概率取任意值时的总风险的最坏情况尽可能⼩b)极⼩化极⼤准则：i.极⼩化指的是贝叶斯风险，因为它是总风险的最⼩值ii.极⼤化指的是使贝叶斯风险达到最⼤iii.贝叶斯风险是和先验有关的，其最⼤也就是其极值，就是导数等于0 的时候c)极⼩化极⼤风险是最坏的贝叶斯风险9.从最⼩化误差概率的意义上讲，贝叶斯是最优的；贝叶斯决策得到的总风险也是最⼩的10.判别函数a)对于两类分类，根据判别函数的正负进⾏类的判断；对于多类问题，两两组成两类问题b)两类问题下：g(x)=g1(x)?g2(x)i.若g(x)≥0，即g1(x)≥g2(x)，则判断为1类，否则为2类c)g1(x)，g2(x)的设计i.最⼩总风险贝叶斯分类器1.g1(x)=?R(α1|x)，风险的相反数ii.最⼩误差概率贝叶斯分类器1. g 1(x )=p (ω1|x )2. g 1(x )=p (x|ω1)p (ω1)3. g 1(x )=log(p (x|ω1))+log(p (ω1))11.12. 计算题（决策边界为何下偏）ch3 参数估计1. 模式分类的途径（截图）2. 当可⽤数据很多以⾄于减轻了先验知识的作⽤时，贝叶斯估计可退化为最⼤似然估计。