模式识别(7)

基于距离的可分性判据

如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
其中， m 为总均值向量，Pi表示各类别的先验 概率，Ei表示i类的期望符号。
基于距离的可分性判据
计算所有样本平均距离作为判据
J d ( x) tr( Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。


基于距离的可分性判据

Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T

另一个是类内离散度矩阵SW
Si =
xX i
(x - mi )(x - mi )T , i 1, 2
S w = S1 + S 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
§7.3 基于K－L展开式的特征提取

正交变换概念

变换是一种工具，它的用途归根结底是用来描述事物， 特别是描述信号用的。例如我们看到一个复杂的时序信 号，希望能够对它进行描述。描述事物的基本方法之一 是将复杂的事物化成简单事物的组合, 或对其进行分解， 分析其组成的成分。 例如对一波形，我们希望知道它是快速变化的(高频)， 还是缓慢变化的(低频)，或是一成不变的(常量)。如果它 既有快速变化的成分，又有缓慢变化的成分，又有常量 部分，那么我们往往希望将它的成分析取出来。这时我 们就要用到变换。

要对初始的特征空间进行优化是为了降维。即初 始的特征空间维数较高。能否改成一个维数较低 的空间，称为优化，优化后的特征空间应该更有 利于后续的分类计算，这就是本章着重讨论的问 题。
§7.1 基本概念

对特征空间进行优化有两种基本方法：

特征选择：删掉部分特征； 特征的组合优化：要通过一种映射，也就是说新的 每一个特征是原有特征的一个函数。
则选前d 个本征值对应的本征向量 作为W。即： W u1 , u2 , , ud 此时，J 2 (W ) i
i 1 d
例题：
给定先验概率相等的两类，其均值向量分别为：
1 1, 3, 1
T
2 1, 1,1 ,
T
协方差矩阵是： 4 1 0 2 1 0 1 4 0 1 2 0 1 2 0 0 1 0 0 1 求用J 5判据的最优特征提取。

获得原始信息之后，要对其进一步加工，以获取 对分类最有效的信息。关键在于设计所要信息的 形式。
例：对阿拉伯数字的识别可以提出各种不同的想法：
分析从框架的左边框到数字之间的距离变化反映了不同数字的 不同形状，这可以用来作为数字分类的依据。 强调分析不同截面的信号，如在框架的若干部位沿不同方向截 取截面分析从背景到字，以及从字到背景转换的情况。如AB截 面切割字符三次，CD截面切割字符一次等。

傅立叶变换或小波变换
思考：



设原特征空间表示成 现在在x空间基础上得到一个二维的特征空 间 其中若 ，属特征选择还是组合优 化？

若
，属特征选择还是组合优化？
§7.2 类别可分离性判据

特征选择与特征提取的任务是求出一组对分类最有效的 特征，所谓有效是指在特征维数减少到同等水平时，其 分类性能最佳。 因此需要有定量分析比较的方法，判断所得到的特征维 数及所使用特征是否对分类最有利，这种用以定量检验 分类性能的准则称为类别可分离性判据。 理想准则：某组特征使分类器错误概率最小。 常见类别可分离性判据： － 基于距离的可分性判据：计算样本在特征空间离散程度
§7.1 基本概念
设计对事物的描述方法是充分发挥设计者智慧的过程，
这个层次的工作往往因事物而易，与设计者本人的知识结
构也有关。
这个层次的工作是最关键的，但因为太缺乏共性，也不 是本章讨论的内容。
§7.1 基本概念
3．特征空间的优化

本层次工作发生在已有了特征的描述方法之后， 也就是已有了一个初始的特征空间，如何对它进 行改造与优化的问题。
§7.1 基本概念
Ø
核心：如何构造一个特征空间，即对要识别的事物用 什么方法进行描述、分析的问题。

对一个具体问题来说，有以下几个不同的层次：
1．物理量的获取与转换：


指用什么样的传感器获取电信号，如摄取景物则要用摄 像机，文字与数字识别首先要用扫描仪等设备。这些都 属于物理量的获取，并且已转换成电信号，为计算机分 析打下了基础。 对从传感器中得到的信号，可以称之为原始信息，因为 它要经过加工、处理才能得到对模式分类更加有用的信 号。
J 2 (W ) tr ( S w Sb ) tr[(W S wW ) W SbW ] 上式对W的各分量求偏导数，并令其为零，即可 推出W 值。
使判据J2， J3， J4， J5最大的变换W
设矩阵S S 的本征值为1 , 2 , , D ,
1 w b
按大小排序：
1 2 D
§7.1 基本概念



本章要讨论的问题是对已有的特征空间进行改 造，着重于研究对样本究竟用什么样的度量方 法更好。 对分类器设计来说，使用什么样的特征描述事 物，也就是说使用什么样的特征空间是个很重 要的问题。这个问题称之为描述量的选择问题， 即保留哪些描述量，删除哪些描述量的问题。 由于对特征空间进行改造目的在于提高其某方 面的性能，因此又称特征的优化问题。
可分性判据

有限样本集：
类内类间距离其它判据
判据Jd(X)是计算特征向量的总平均距离，以下一些判据
则基于使类间离散度尽量大，类内离散度尽量小的考虑
而提出：
J1 ( x) tr( Sw Sb )
使判据最大？
各种距离度量
已知两个样本 Xi=(Xi1, Xi2 , Xi3,…,Xin)T Xj=(Xj1, Xj2 , Xj3,…,Xjn)T
假设已有D维特征向量空间 ，则所谓特 征选择是指从原有的D维特征空间，删去一些特征描述量， 从而得到精简后的特征空间。在这个特征空间中，样本由d 维的特征向量描述： ，d＜D。由于X只 是Y的一个子集，因此每个分量xi必然能在原特征集中找到 其对应的描述量xi＝yj。
§7.1 基本概念
而特征提取则是找到一个映射关系：A:Y→X；使新样本特
D维原始特征：y y1 , y2 , yD x x1 , x2 , xd
T T
x WT y
W : Dd
* w * b
令S w和Sb为y的离散度矩阵，S 和S 为x的离散度矩阵:
* Sb W T SbW *-1 * * S w W T S wW T 1 T
§7.3 基于K－L展开式的特征提取

K-L变换，是一种常用的正交变换，K-L变换 常用来作为数据压缩，这里我们用它作降维。
学习这一节主要要掌握以下几个问题：



1．什么是正交变换； 2．K-L变换是一种最佳的正交变换，要弄清是 什么意义的最佳，也就是说它最佳的定义； 3．K-L变换的性质；
( ( ( ( xki ) , xl( j ) ) ( xki ) xl( j ) )T ( xki ) xl( j ) )
基于距离的可分性判据
(x (ki ) , xl( j ) ) ( x (ki ) xl( j ) )T ( x (ki ) xl( j ) )
征描述维数比原维数降低。其中每个分量xi是原特征向量各 分量的函数，即 。
因此这两种降维的基本方法是不同的。在实际应用中可将 两者结合起来使用，比如先进行特征提取，然后再进一步 选择其中一部分，或反过来。
特征的选择与提取




两类提取有效信息、压缩特征空间的方法：特 征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方 法把原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一 些最有代表性，分类性能最好的特征 特征的选择与提取与具体问题有很大关系，目 前没有理论能给出对任何问题都有效的特征选 择与提取方法
－ 基于概率密度分布的判据


基于距离的可分性判据

基于距离度量是人们常用来进行分类的重要依据，因为一 般情况下同类物体在特征空间呈聚类状态，即从总体上说 同类物体内各样本由于具有共性，因此类内样本间距离应 比跨类样本间距离小。 Fisher准则正是以使类间距离尽可能大同时又保持类内 距离较小这一种原理为基础的。 基于距离的可分性判据的实质是Fisher准则的延伸，即综 合考虑不同类样本的类内聚集程度与类间的离散程度这两 个因素。换句话说，这种判据的优化体现出降维后的特征 空间较好地体现类内密集、类间分离的要求。换句话说一 些不能体现类间分隔开的特征很可能被排除掉了。
i 1
c
c
估
P 1 Sw i ni i 1
样本类内 离散度矩阵
( ( ( xki ) mi )( xki ) mi )T 计 k 1
ni
值
J d ( x) tr( S w Sb )
类间可分离 性判据
基于距离的准则概念直观，计算方 便，但与错误率没有直接联系
各类特征向量之间的平均距离可写成：
c 1 c 1 J d ( x ) Pi Pj 2 i 1 j 1 ni n j ( ( xki ) , xl( j ) ) k 1 l 1 ni nj
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j 类的样本个数， 用 来表示第i类的第k个与j类第 l个样本之间的距离度量。在欧氏距离情况下，有：
右边括弧里的前一项涉及类内各特征向量之间的平均距离， 后一项则是类间距离项。后一项可写成