模式识别与人工智能规划模式

Ji j (x1, x2 , , xd ) Ji j (x1, x2 , , xd , xd 1 )
【概念】
➢ 类可分别判断函数 Jij (x)
值得注意的是：上述的构造可分性判据的要求，即 “单调性”、“叠加性”、“距离性”、“单调不 减性”。在实际应用并不一定能同时具备，但并不 影响它在实际使用中的价值。
可分性判据：实用的可计算的判据
【概念】
➢ 类可分别判断函数 Jij (x)
(1) 与误判概率(或误分概率的上界、下界)有单调关系。
(2) 当特征相互独立时，判据有可加性，即 ：
d
J i j (x1, x2 , , xd ) J i j (xk )
k 1
式中，x1, x2 , , xd 是对不同种类特征的测量值，Ji j ()
19
类可分别判断依据的常用方法：
➢ 基于几何距离的可分性判据 ➢ 基于概率密度的可分性判据 ➢ 基于熵的类可分性判据
基于几何距离的类可分离判据
一般来讲，不同类的模式可以被区分是由于它们所属类 别在特征空间中的类域是不同的区域。
显然，区域重叠的部分越小或完全没有重叠，类别的可 分性就越好。
因此可以用距离或离差测度（散度）来构造类别的可分 性判据。
【问题的提出】
4．上题的答案可用右图Y1 与 Y2 组 成 的 空 间 表 示 。 你 认为哪个分量可以删掉？
5．将原在X1、X2空间表示的数改成用Y1、Y2空间表示？
【问题的提出】
1．描述事物方法的选择与设计
方案1.从框架的左边框到数字之间的距离 变化反映了不同数字的不同形状，这可以 用来作为数字分类的依据。
1 N
N l 1
xl
基于几何距离的类可分离判据
(四)
类内距离
d
2 (i )
1 Ni
Ni
(xk
(i
)
k 1
m(i
)
)T
(
xk

(i)
m(i) )
类内均方欧氏距离
类内均方距离也可定义为：
dc2 (i )
1 Ni (Ni
1)
Ni k 1
Ni l 1
d 2 (xk(i) , xl(i) )
基于几何距离的类可分离判据
m( i )
1 Ni
Ni
(i) xk
k 1
i 1,2, , c
各类模式的总体均值矢量 m c Pi m(i)
i 1
Pi 为相应类的先验概率，当用统计量代替先验概 率时，总体均值矢量可表示为：
m
c i 1
Pi m(i)
c i 1
N i m(i) N
1 N
c i 1
Ni k 1
xk( i )
方案2.强调分析不同截面的信号，如 在框架的若干部位沿不同方向截取截 面分析从背景到字，以及从字到背景 转换的情况,如AB截面切割字符三次， CD截面切割字符一次等。
【问题的提出】
2．特征空间的优化
这个层次的工作发生在已有了特征的描述方法之后，也就是已有 了一个初始的特征空间，如何对它进行改造与优化的问题。一般 说来要对初始的特征空间进行优化是为了降维。即初始的特征空 间维数较高。能否改成一个维数较低的空间，称为优化，优化后 的特征空间应该更有利于后续的分类计算
例 用RGB颜色空间和HSI颜色空间
【问题的提出】
【问题的提出】
【概念】
【概念】
【概念】
2 类别可分离性判据
【概念】
特征选择与提取的任务是找出一组对分类最有效的特征，因 此需一准则。
概念：数学上定义的用以衡量特征对分类的效果的准 则实际问题中需根据实际情况人为确定。
误识率判据：理论上的目标，实际采用困难（密度未 知，形式复杂，样本不充分，…）
基于几何距离的类可分离判据
(一)
点与点的距离
d(a,b)
(a
b)
T
(a
b)
1/ 2
n
(ak
bk
)
2
1/
2
k1
(二) 点到点集的距离
用均方欧氏距离表示
d
2
(
x,
{ak
(i
)
})
1 Ni
Ni
d
2
(
x,
ak
(i
)
)
k 1
基于几何距离的类可分离判据
(三) 类内及总体的均值矢量
类的均值矢量：
2．如果用颜色、尺寸与重量组成的特征空间来区分苹果与 梨，这三种度量中的哪种最有效？ 为什么？ 能否想像这两种水果在这个三维空间的分布？如果用 这个特征空间来区分红苹果与樱桃，你想像一下这两 类水果在特征空间如何分布？ 能否对这两种情况设计更经济有效的特征空间？
【问题的提出】
3．如果两类物体在一个二 维特征空间如图分布,能 否用删除其中任一维来 优化特征空间？有没有 什么方法能得到一个对 分类很有利的一维特征 空间？
Pattern Recognition &
artificial Intelligence
Lecture 2: 特征选择与提取（一）
➢1.引言 ➢2 类别可分离性判据 ➢3 特征选择 ➢4.特征提取
1.引言
【问题的提出】
对特征空间的改造、优化、主要的目的是降维，即把维数 高的特征空间改成维数低的特征空间。
Ni k 1
Nj
(
xk
(
i
)
l 1
xl
(
j)
)T
(
xk
(i
)
xl
(
j)
)
基于几何距离的类可分离判据
(七)各类模式之间的总的均方距离
d 2(x)
1 2
c
Pi
i1
c
Pj
j1
1 NiN j
Ni k 1
N j d 2 ( xk(i) ,xl( j) )
l 1
当取欧氏距离时，总的均方距离为
(五) 类内离差矩阵
Si
1 Ni
Ni
(xk
(i
)
k 1
m(i
)
)(
xk
(i
)
m(i) )T
(六) 两类之间的距离 显然 d 2(i ) Tr[Si ]
d 2 (i , j )
1 NiN j
Ni k 1
Nj
d
2
(
xk
(i
)
,
xl
(
j
)
)
l 1
d 2 (i , j )
1 NiN j
表示使用括号中特征时第i 类与第j类可分性判据函数。
【概念】
➢ 类可分别判断函数 Jij (x) (3) 判据具有“距离”的某些特性，即 ：
J i j 0 ，当 i j 时； J i j 0 ，当 i j 时； Ji j J ji (4) 对特征数目是单调不减，即加入新的特征后，判 据值不减。
降维主要有两种途径。一种是删选掉一些次要的特征，问 题在于如何确定特征的重要性，以及如何删选。另一种方 法是使用变换的手段，在这里主要限定在线性变换的方法 上，通过变换来实现降维，这两种方法的区分要弄清楚。
【问题的提出】
1．什么叫特征空间？如果我们用颜色、尺寸、重量来衡 量水果的构造的特特空间是几维空间？