模式识别考试重点汇总——王

第一章

P2 1、两种基本的模式识别法：统计模式识别和结构（句法）模式识别方法。 2、基于统计方法的模式识别系统主要由4部分组成：数据获取、预处理、

特征提取和选择、分类决策。如图：

数据获取：通常输入对象的信息由下列3种类型：二维图像、一维波形、物理参量和逻辑值。

预处理：目的是去除噪声，加强有用信息，并对部分退化现象进行复原。 特征提取和选择：这个过程是为了有效地实现分类识别，要对原始数据进行变换，得到最能反应分类本质的特征。

分类决策：在特征空间中用统计方法把被识别对象归为某一类别。

第二章

P9 要用贝叶斯进行分类时的要求：各类别总体的概率分布式已知的；要决策

分类的类别数是一定的。

P10 贝叶斯公式： 2

1

(|)()

(|)

(|)()

i i

i j

j

j P x w P w P w x P x w

P w ==∑ 基于最小错误率的贝叶斯决策规则为：如果12(|)(|)P w x P w x >，则把x 归类于正常状态w 1，反之12(|)(|)P w x P w x <，则把x 归类于异常状态w 2。 （如果1,2

(|)max (|),i j i j P w x P w x x w ==∈则）

P11 例2.1

P12 在多类决策中，最小错误率贝叶斯决策规则：

1,,(|)max (|),i j i j c

P w x P w x x w ==∈如果则。

P14 期望风险R 反映对整个特征空间上所有x 的取值采取相应的决策α（x ）

所带来的平均风险；而条件风险R （αi |x ）只是反映了对某一x 的取值采取决策αi 所带来的风险。

最小风险贝叶斯决策规则为：k 1,,(|),i k i a

R R x αααα==如果（

|x ）=min 则。 P15 例2.2

P17 在限定一类错误率条件下使另一类错误率为最小的两类别决策。

这种在限定一类错误率ε2为常数而使另一类错误率ε1最小的决策规则也称

Neyman-Pearson 决策规则。

P22 分类设计器两类情况下的判别函数

定义一个判别函数：12g()()()x g x g x =-，并将决策规则表示为：如果g （x ）>0，

则决策w 1，g （x ）<0，则决策w 2。

P31 最小距离分类器：若c 类的先验概率2(),1,

,P w i c =都相等，若要对观察x 进行分

类，只要计算x 到各类均值μ

i

的欧式距离平方2

i

x μ-，然后把x 归于具有的

2

1,,min i i c

x μ=-分类。

第三章

P46 从样本集推断总体概率分布的方法可归结为以下三类：

1、监督参数估计——样本所属的类别及类条件总体概率密度函数的形式

为已知，而表征概率密度函数的某些参数是未知的。

2、非监督参数估计——已知总体概率密度函数形式但未知样本所属类别，

要求推断出概率密度函数的某些参数。

3、非参数估计——已知样本所属类别，但未知总体概率密度函数的形式，

要求我们直接推断出概率密度函数本身。

第四章

P83 设计线性判别函数的几个准则：Fisher 准则，感知准则，最小错分样本数

准则，最小平方误差（MSE ）准则和最小错误率线性判别函数准则。 P84 对两类问题的线性分类器可以采用以下决策规则： 令12()()()g x g x g x =-，如果1()0,g x x w >∈则决策，

如果2()0,g x x w <∈则决策，

如果()0g x =，可将x 任意分到某一类或拒绝。

P87 设计线性分类器的主要步骤：

1、 要有一组具有类别标志的样本集{}12,,

,N X x x x =。

2、要根据实际情况确定一个准则函数J ，它必须满足：（1）J 是样本集X 和w 、w 0

和a 的函数；（2）J 的值反映分类器的性能，它的极值解则对应于“最好”的决策。 3、用最优化技术求出准则函数的极值解w*和w 0*或a*。

4、这样就可以得到线性判别函数g （x ）=*

0*)(w x w x g T +=或g(x)= y a T *。

Fisher 原理：我们考虑把d 维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。然而，即使样本在d 维空间里形成若干紧凑的互相分得开的集群，若把它们投影到一条任意的直线上，也可能使几类样本混在一起而变得无法识别。但在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分开得最好。

Fisher 法所要解决的就是如何根据实际情况找到这条最好、最易于分类的投影线。 P88

第五章

P122 分类器设计的基本问题是，在一定判别函数类内利用训练样本集确定分类

器的参数，即确定判别函数中的系数。设计线性分类器，就是确定权向量w 和阈值权w 0或广义权向量a 0而设计分断线性分类器，则是利用样本集

确定一组0l l i i w w 和。

三种情况：1.利用多类线性判别函救算法设计分段线性分类器2.已知子类

数目时的分段线性判别函数3、未知子类数目时的分段线性判别函数

P124 凹函数 例子：

P126 算法步骤

第六章

P140 K-近邻法的基本规则：在N 个已知样本中，找出x 的近K 个近邻。设这

N 个样本中，来自w 1类的样本有N 1个，来自w 2类的有N 2个，…，来自w c 类的有N c 个，若K 1，K 2，…，K c 分别是K 个近邻中属于w 1，w 2，…，

w c 类的样本数，则可定义判别函数为(),1,2,,i i g x K i c ==，决策规则为：

若()max i i i

g x K =，则决策j x w ∈。

第八章

P177 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射（或变换）的方法用低维空间来表示样本的过程。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维

数的目的的过程。 P178

各类样本可以分开是因为它们位于特征空间中的不同区域，显然这些区域之

间距离越大类别可分性就趁大。对于空间中两个点之间的距离度量我们都很清楚，下面我们来求如何表示两个类区之间的距离。 P183 基于熵函数的可分性判别

P186

P194 例8.2 P199 算法

P205 特征选择几种新方法：模拟退火算法 Tabu 搜索算法 遗传算法 P208 遗传算法

第九章

P216 表示熵，作为一种表示不确定性的度量。

熵函数：1log D

R j j j H λλ==-∑，当所有j λ相等时，R H 最大，因此，若用d 个（小

于D ）坐标轴表示x 而带来的对x 的不确定性，大于在j λ不相等的条件下，用与最大的d 个j λ相应的坐标轴表示x 时所造成的不确定性。当熵等于0时，所有关于x 的信息只存在于一个展开项中，把这个熵函数叫作表示熵。

P217 总体熵：[]log ()R H E P x =-

使当用同一类的特征量的均值所组成的向量代表该类的样本进行分类时，所引起的分

类不确定性度量为最小。

第十章

P230 非监督学习法分两类：基于概率密度函数估计的直接法和基于样本空间相

似性度量的间接聚类方法。 P235 动态聚类法思想、步骤

动态聚类法三个要点：①选定某种距离度t 作为样本间的相似性度量②确

定某个评价聚类结果质量的准则函数。③给定某个初始分类，然后用迭代算法找出使准则函数取极值的最好聚类结果。 P244 分级聚类常用的相似性度量有以下几种：

1、最近距离 ,(,)min (,)i j

i j y y y y δ∈Γ∈ΓΓΓ=

2、最远距离 ,(,)max (,)i j

i j y y y y δ∈Γ∈ΓΓΓ=

3、均值距离 (,)(,)i j i j m m δΓΓ= P245 三个距离的概念

第十一章

P254 反响传播算法（BP ）主要思想是从后向前（反向）逐层传播输出层的误差，以间接算出隐层误差。算法分为两个阶段：1、（正向过程）输入信息，从输入层经隐层逐层计算出各单元的输出值；2、（反向传播过程）输出误差逐层会向前算出隐层各单元的误差，并用此误差修正前层权值。

感知器：学习的目标是通过改变权值使神经网络由给定的输入得到给定的

输出。作为分类器，可以用已知类别的模式向量或特征向量作为训练集，当输入为属于第j 类的特征向量X 时，应使对应于该类的物出Yi=1，而其他神经元的输出则为0（或-1）。 P257 径向基 RBF 理解

P265 多层前馈网络用于模式识别（理解、会用）：多输出型，单输出型

P266 显然，在两类情况下，我们只需要一个单输出网络即可。将一类对应于输

出1,另一类对应于输出0,识别时只要输出大于0.5则决策为第一类，否则决策为第二类;或者也可以在两类之间设定一个域值，当输出在这个域值之间时作拒绝决策。

第十二章

P280 模糊C 均值算法，什么叫模糊模式识别

算法步骤：①设定聚类数目c 和参数b ②初始化各个聚类中心Mi 。③重复下面的运算，直到各个样本的隶属度值稳定:·用当前的聚类中心根据式(12-25 )计算隶属度函数:用当前的隶属度函数按式(12-2})更新计算各类聚类中心。当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值，从而完成了模糊聚类划分。

P285 1992年一1995年，在统计学习理论的基础上发展出了一种新的模式识别方法—支持向量机，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。虽然统计学习理论和支持向量机方法中尚有很多问题需要进一步研究，但很多学者认为，它们正在成为继模式识别和神经网络研究之后机器学习领域新的研究热点，并将推动机器学习理论和技术有重大的发展。

第十三章

P290 将随机熵对所有可能的样本数为几的样本集数取期望值，就得到指示函数

集的熵，叫VC 熵。

VC 维对于一个指示函数集，如果其生长函数是线性的，则它的VC 维为

无穷大；而如果生长函数以参数为h 的对数函数为上界，则函数集的VC 维是有限的且等于h 。

P296 因为从某种意义上支持向量机可以表示成类似神经网络的形式，所以起初

也曾被叫支持向量网络。

P297 过两类样本中离分离面最近的点且平行于最优分类面的超平面H 1、H2上

的训练样本就是式[]()10,1,2,,i i y w x b i n +-≥=中使等号成立的那些样

本，叫支持向量。

P298 最优分类函数是{}()sgn (*)sgn *()*1i i i f x w x b y x x b α??

=+=+=±????∑

P300 支持向量机：

支持向量机的基本思想可以概括为：首先通过非线性变换将输人空间变

换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数实现的。

P303 实例：1、多项式形式 [](,)

()1q

i i K x x x x =+ 1(,)()256

q

i i

K x x x x ??=????

2、核函数形式 2

2

(,)e x p i

i x x K x x σ??-??

=-??????

2

2(,)exp 256i i x x K x x σ??-??

=-??????

3、S 型函数 (,)tanh(())i i K x x v x x c =+

()

(,)tanh(

)256

i i b x x K x x c =-

分枝定界搜索算法

通过穷举法搜索进行的特征选择会导致计算量过高，而在分

枝定界搜索算法帮助下，有可能不需要显示评估所有d 个特征的可能组合而确定最优特征集。此算法的应用需假定特征选择准则满足单调性。用()j x 表示含有j 个特征的候选特征集，单调性指的是对于具有下列嵌套关系的特征集()j x

()()()()12j D x x x x ????

其准则函数()()

j J x 应满足 ()()()()

()()

12D J x J x J x ≤≤

≤

这点由构造特征评判准则的定义可得到保证。

为引出分枝定界搜索算法的基本观点，考虑从5个特征中挑选2个特征值的问题。特征中所有可能组合如下图的树表示，顶称为根节点，底称为叶节点，中间称为枝节点，共有1D d -+层。

图 分枝定界搜索算法示意图

现假设自底向上，再由上向下的搜索方式从最右节点开始在树的每个节点评估特征，进行特征选择。设初始叶节点的J 为0J （为45x x 的准则函数），在每个节点处，将节点的准则函数值和目前最优特征集的J 值进行比较，如果节点准则函数值大于0J ，则还有发现更佳特征集的机会，

而且必须继续沿着最右边的未勘探

12x 13235

x 45

3424

14

25

1535

J，则此分枝搜索。如果到达了树底的叶节点且相应准则值大于

J则作为相应更新。

结点定义了当前新的最佳特征集，而

J，则以此节点另一方面，如果在某节点的准则函数值小于

为起始点的分支就不需勘探。因为根据单调性，再往下的特征组合将导致准则函数值的进一步减小。如此按这一规律，由底向上，再自上而下，从右向左搜索全树，可获得最佳的二特征组合。此搜索算法特别快捷有效。

主成分分析（Principal Component Analysis ，PCA ）或者主元分析。是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。

独立成分分析(ICA,Independent Component Correlation Algorithm)简介

X=AS

X为n维观测信号矢量，S为独立的m（m<=n)维未知源信号矢量，矩阵A被称为混合矩阵。

ICA的目的就是寻找解混矩阵W（A的逆矩阵），然后对X 进行线性变换，得到输出向量U。

U=WX=WAS