模式识别复习重点总结
1.什么是模式及模式识别？模式识别的应用领域主要有哪些？
模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息；
模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。
模式识别的应用领域：（1）字符识别；（2）医疗诊断；（3）遥感；
(4）指纹识别脸形识别；（5）检测污染分析，大气，水源，环境监测；
（6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；（8）军事应用。
2.模式识别系统的基本组成是什么？
（1）信息的获取：是通过传感器，将光或声音等信息转化为电信息；
（2）预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；
（3）特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；
（4）分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库；
（5）分类决策：在特征空间中对被识别对象进行分类。
3.模式识别的基本问题有哪些？
（1）模式(样本)表示方法：（a）向量表示；（b）矩阵表示；（c）几何表示；（4）基元(链码)表示；
（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集
（3）相似与分类；(a)两个样本x i ，x j之间的相似度量满足以下要求：
①应为非负值
②样本本身相似性度量应最大
③ 度量应满足对称性
④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数 (b)
用各种距离表示相似性
（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征 （5） 数据的标准化:(a)极差标准化；(b)方差标准化
4．线性判别方法
（1）两类：二维及多维判别函数，判别边界，判别规则
二维情况：（a ）判别函数： ( )
（b ）判别边界：g(x)=0; （c
n 维情况：（a ）判别函数：
也可表示为：
（b ）判别边界：g 1(x ) =W T X =0 （c ）判别规则：
（2）多类：3种判别方法（函数、边界、规则） (A)第一种情况：(a)判别函数：M 类可有M 个判别函数
(b)
判别边界：ωi
（i=1,2,…,n ）类与其它类之间的边界由 g i
(x )=0确定
(c) 32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 1221
1......)(+++++=n n n w
x w x w x w x g X W x g T
=)(为增值模式向量。
，＝为增值权向量，T n n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=
(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面
(b)
判别边界： (c) 判别规则：
(C)第三种情况：(a)判别函数：
(b)
判别边界：
g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0
(c) 判别规则：
5．什么是模式空间及加权空间，解向量及解区？ （1）模式空间：由 构成的n 维欧氏空间；
（2）加权空间：以 为变量构成的欧氏空间； （3）解向量：分界面为H ，W 与H 正交，W 称为解向量； （4）解区：解向量的变动范围称为解区。
6．超平面的四个基本性质是什么？ 性质①：W 与H 正交； 性质 ②：
W
)
x (g r
=
其中， 为x 矢量到H 的正交投影； 性质③：
X
W x g T
ij ij =)(0
)(=x g ij j
i x g ij ≠???∈→<∈→>j
i
x 0x 0)(ωω
当当X
W x g K k =)(??
?∈=小，其它
最大，当i
T k i x X W x g ω)(T
n x x x x X )
,...,,(321=1
21,...,,+n w w w r
成正比的距离与原点到11
,++=
n n W H W
W q
性质④：
7．二分法能力如何表示？
N 个样品线性可分数目(条件：样本分布良好）：
线性可分概率:
8．广义线性判别方法 （1）非线性→线性
一个非线性判别函数通过映射，变换成线性判别函数：
通过原点。
，说明超平面则若在原点负侧。则在原点正侧，若则若H x W x g W H W H W T n n n ==<>+++)(,0,0,0111???
??+>+<=∑
=-n k k
N N n N C n N n N D 011,21
,2),(若若为特征数为样本数其中n N k N k N C k
N ,,]
)!1(![)!1(1---=
-强。说明样本少时二分能力范围，即在。时，线性可分概率为
时，即值，对于任意。处出现明显的门限效应时，曲线急剧下降，在由当,1),(),1(22:)(2
1
),()1(22:)(21:)(≈+<<=+===∞→n N P n N c n N P n N n b n a λλλ.2),1(2:)(,),1(22:)(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。说明样品越线性可分概率急剧下降范围，即在=+=+>>λλn N N e n N d )(,)(...)()()(,...)()()(21211
1
增广模式向量。广义权向量其中：空间变换空间??
??
?
???????=????????????==??????→?=→→+=∑
x f x f x f Y w w w W Y g Y W x f w x g k k T y x k i i i
（2）线性判别
9．分段线性判别方法
1）基于距离:（1）子类，类判别函数 （2）判别规则
（1）子类：把ωi 类可以分成l i 个子类:
∴ 分成l 个子类。
子类判别函数：
在同类的子类中找最近的均值 （2）判别规则：
这是在M 类中找最近均值。则把x 归于ωj 类完成分类
2）基于函数：（1）子类，类判别函数 （2）判别规则
（1）子类类判别函数：对每个子类定义一个线性判别函数为：
（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M 个判别函数g i (x ),i =1,2,…..M,因此，决策规则
3）基于凹函数的并：（1）析取范式，合取范式，凹函数
（2） 判别规则
（1）
析取范式：P=(L 11∧L 12∧…∧
=Y W T 判别平面：??
?∈<∈>=2
1
,0,0)(ωωx x Y g Y W T ),...,,(21l
i i i i ωωωω=l
i l
l i x x g μ-==,...,2,1m in )(M
i x g x g i j ,...,2,1),(min )(==子类的权向量。
为其中l i l i l i l i w x w x g ω,)(=j
i M
i j x x g x g ω∈==则),(max )(,.....,2,1
L 1m )∨…∨(L q 1∧L q 2∧…∧L q m )
合取范式：Q= (L 11 ∨ L 12 ∨ … ∨ L 1m ) ∧ … ∧(L q 1 ∨ L q 2 ∨ … ∨ L q m )
凹函数：P i =L i 1∧L i 2∧…∧L i m （2）
判别规则：设第一类有q 个峰，
则有q 个凹函数。 即P=P 1∨P 2∨……∨P q
10．非线性判别方法 （1）1ω集中，2ω分散
（2）1ω, 2ω均集中
??
?=∈<=∈>=。每个子类的判别函数数子类。
m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω??
?∈≤∈>2
1
,0,0ωωx P x P 则则判别规则：协方差
为均值，为其中：大小。
的大小，决定超平面的判别函数定义111111
1121,)()()(:
ωωμμμω∑∑---=-k x x k x g T 控制大小
是个超球面由判别平面：判别规则：k 0)(,0)(,0)(12
1=??
?∈<∈>x g x x g x x g ωω协方差
，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(ωωωωμμμωω∑∑=---=-i i i i T i i i i x x k x g 。
可用来调整二类错误率判别规则：判别平面方程：212
12221212211111221111211221,,0,0)(0
)()()(2)()
()()(k k x x x g k k x x x x g x g x g T T T T ??
?∈<∈>=-+---+--=-=∑∑∑∑∑∑------ωωμμμμμμ
11．分类器的设计
（1）梯度下降法（迭代法）：准则函数，学习规则
（a ）准则函数：J(W)≈J(W k )+ ▽J T (W- W k )+(W- W k )T D(W- W k )T /2
其中D 为当W = W k 时 J(W)的二阶偏导数矩阵
（b ）学习规则：从起始值W 1开始，算出W 1处目标函数的梯度矢量▽J(W 1)，则下一步的w 值为：W 2 = W 1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，
J(W 1) 为
目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量 在第K 步的时候
W k+1 = W k -ρk ▽J(W k ) 最佳步长为ρk =||▽J||2/▽J T D ▽J 这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本）
（a ）准则函数： 其中x 0为错分样本
（b ）学习规则：
1.错误分类修正w k
如w k T x≤0并且x ∈ω
1 w k+1= w k +ρk x
如
w k T x≥0并且x ∈ω2 w k+1= w k -ρk x
2.正确分类 ，w k 不修正 如w k T x ＞0并且x ∈ω1 如w k T x ＜0并且x ∈ω2 w k+1= w k
（3）最小平方误差准则法（MSE 法）（非迭代法）：准则、权向量解 (a)准则函数：
(b)权向量解：
()
∑∈-=
0)(X X X W
W J T
(
)
∑-==-==N
i b i
X i
W T
b XW e W J 1
2
2
2
||||||||)((
)
b
X b X X
X T W T +-==
1
()
的伪逆（规范矩阵）
称为其中X X X
X T X T
=-+
1
（4）韦—霍氏法（LMS 法）（迭代法）：准则，学习规则 (a)准则函数：
(b)学习规则： W 1任意 ，W k+1=W k +ρk (b k -W k T X k ) X k
ρk 随迭代次数k 而减少，以保证算法收敛于满意的W 值
（5）何—卡氏法（H-K 法）（迭代法）：准则，b ，W 的学习规则 (a)准则：
它的解为：
（b ）b ，W 的学习规则：
其中 c 为矫正系数，e k 为误差矢量，e k =XW k -b k
初始条件 W 1=X +b 1并且b 1>0 迭代时检测
如果e k ≥0时，XW >b ，系统线性可分，迭代收敛
如果e k <0时，XW
（6）Fisher 分类法：准则函数的建立，W 权值计算，0W 的选择
(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。
即可表示为：
其中S w 为类内散布矩阵, S b 为类间散布矩阵
(
)
∑-==-==N
i b i
X i
W T
b XW e W J 1
2
2
2
||||||||)(k 1
K ρρ=
取()
∑-==-==N
i b i X i
W T b XW e W J 1
2
2
2
||||||||)(()
b
X b X X
X T W T +
-==1
k k k b b b b δ+=+1前后两次迭代后，对的增量
为其中b b k δ]
|[][|11k K k k K k K K k e e X c W b X b X b b X b X W ++=+=+==+
++++++δδ|]
|[k k k e e C b +=δ()22
12212
||)(σσ+-=Y Y W J Fisher 准则函数有所以W
S W W
S W )(w T
b T
=W J 12
w S S S =+()
(
)
11
1
1
T
S X X X X X N =
-∈-∑()
(
)
22
2
2
T
S X X X X X N =
-∈-∑
(b)W 权值计算：
(c)W 0的选择 ：
Y ki 表示第i 类中第k 个样本的投影值
N 1为ω1样本数 N 2为ω2样本数 （7）电位函数分类器：电位函数，累积电位的计算
(a)电位函数：电位分布函数有如下三种形式：
α为系数 x k 为某一特定点
(b)累计电位的计算： K k+1(x)= K k (x)+r k+1K(x,x k )
其中： x k+1∈ω1并且K k (x k+1)>0时 r k+1= 0 x k+1∈ω1并且K k (x k+1) ≤ 0时 r k+1= 1 x k+1∈ω2并且K k (x k+1)<0时 r k+1= 0 x k+1∈ω2并且K k (x k+1) ≥ 0时 r k+1= -1
12．1）二类问题的贝叶斯判别
()
X X S W W J w 211
)(-=-求极值得对2.1210Y Y W +=
2
121212102
122.2N N X W N X W N N N Y N Y N W T T
++=
++=()
()()∑
∑∑
===-+---+=N Y Y N Y Y N Y Y Y Y Y W k k k k k k 2
211111211
22112112
0)
(.3}
||||ex p{- )K( 1.2k k x x XX -=α||||11
)K( 2.2
k k x x XX -+=α|||
||||||sin |)K( 3.22
k k k x x x x XX --=αα()()
1212T
b X X X X S =--
（1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4
）决策系统的结构 （1）判别函数的四种形式：
（2）判别规则：
（3）决策面方程：g （x ）=0 （4）决策系统的结构
（A ）向量特征（B ）判别计算（C ）阈值单元（D ）决策
2）多类问题的贝叶斯判别 （1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4）决策系统的结构
（1）判别函数的四种形式：M 类有M 个判别函数g 1(x ), g 2(x ),…, g m (x ).
)(,)()
(ln )
()(ln )()()
(,)
()
()()()()()(),()()()()()()
(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=
-=-=21
12212
1
122121
22112121)
()
(ln )()(ln )()()()()()
()()()()()()()()()(ωωωωωωωωωωωωωωωωωωωωωω∈?<>=∈?<>∈?<
>
∈?<
>x P P x P x P x g D x P P x P x P C x P x P P x P B x x P x P A
（2）决策规则：
另一种形式：
（3）决策面方程：
（4）决策系统的结构：
(a)特征向量；(b)判别计算；(c)最大选择器；(d)决策
13．三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程（1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况)
(a)判别函数：
(b)判别规则：
(c)决策面方程：
)
(,
)
(
)
(
ln
)
(
)
(
ln
)
(
)
(
)
(,
)
(
)
(
)
(
)
(
)
(
)
(
)
(),
(
)
(
)
(
)
(
)
(
)
(
)
(),
(
)
(
)
(
)
(
1
2
2
1
1
2
2
1
2
2
1
1
2
1
取对数方法
似然比形式
类条件概率密度
后验概率
ω
ω
ω
ω
ω
ω
ω
ω
ω
ω
ω
ω
ω
P
P
x
P
x
P
x
g
D
P
P
x
P
x
P
x
g
C
P
x
P
P
x
P
x
g
B
x
P
x
P
x
g
A
-
=
-
=
-
=
-
=
)
,...,
2,1
(,
)
(
)
(
max
)
(
)
(
)
(
1
M
i
x
P
x
P
P
x
P
x
g
i
j
j
M
j
i
i
i
=
∈
?
=
=
≤
≤
ω
ω
ω
ω
ω
{}
i
i
j
M
j
i
i
i
x
P
x
P
P
x
P
x
g
ω
ω
ω
ω
∈
?
+
=
+
=
≤
≤
)
(
ln
)
(
ln
max
)
(
ln
)
(
ln
)
(
1
)
(
)
(
),
(
)
(=
-
=x
g
x
g
x
g
x
g
j
i
j
i
即
)
(
ln
2
1
,
2
1
)
(,
)
(
2
2
i
i
T
i
i
i
i
i
T
i
i
P
w
w
w
x
w
x
g
ω
μ
μ
δ
μ
δ
+
-
=
=
+
=
其中：
线性判别函数
{}
i
j
T
j
M
w
i
T
i
i
x
w
x
w
w
x
w
x
gω
∈
?
+
=
+
=
≤
≤
1
max
)
(
)
(
)
(
j
i
x
g
x
g=
-
（2）第二种情况：Σi ＝ Σ相等，即各类协方差相等。
(a)判别函数：
(b)判别规则：
(c)决策面方程：
（3）第三种情况(一般情况)：Σ?
为任意，各类协方差矩阵不等，二次项x T Σ? x 与i 有关。
所以判别函数为二次型函数。
(a)判别函数：
(b)判别规则：
(c)决策面方程：
14．最小风险贝叶斯分类器：判别函数，判别规则
)
(ln 2
1
,)(1010i i T i i i
i i T
i i P w W w x W x g ωμμμ+-==+=∑∑--其中（线性函数）
{}
i
j T j M
j i T i i x w x W w x W x g ω∈?+=+=≤≤010m ax )(0
)()(=-∴x g x g j i j i 相邻与若ωω)
()()()
()
(ln
)(21
)(,0)(1010j i T j i j i j i j i j i T P P x W x x W μμμμμμωωμμμμ----
-=-==-∴∑∑--。其中)
(ln ln 21
21)()(,21,)(1011
0i i i i T i i i i i i i i T i i T i P w n W n n W w x W x W x x g ωμμμ+--==?-
=++=∑∑∑∑---，维列向量矩阵其中{}
i
j T j j T M
j i T i i T i x w x W x W x w x W x W x x g ω∈?++=++=≤≤010
max )(0
)()(=-x g x g j i
（1）判别函数： 条件风险：
αi ：表示把模式x 判决为ωi 类的一次动作
期望风险：
（2）判别规则： ：
15．聂曼—皮尔逊判决：（二类）：准则，判别规则，阈值的确定
（1）准则：
（2）判别规则：
（3）阈值的确定：
16．最小最大损失准则判决（二类）：准则，判别规则，*
1()P ω的确定
（1）准则：讨论在P(ωi )变化时如何使最大可能风险最小；
（2）判别规则：风险
通过最小风险与先验概率的关系曲线 ，确定最大风险，使最大风险最小。
（3）*
1()P ω的确定：
()()[]
()())
.(,...,2,1,1
M a a i x P E x R j M
j j i j i i <===∑=ωαλωαλα()()k i M i k x x R x R ωαα∈==则若,min ,...,2,1
()()())
(,平均风险dx x P x x R R ?=α最小，使为常数时在取1022,,εεεε=.
)()(2121T x T x P x P 值皮尔逊规则归结为找阈∴∈?<
>
ωωωω最小
一定这时可确定，
为常数时，的函数在取为的分界线作时当
1222222121,)(.
,)
()
(εεεεωεωT T dx x P T T x P x P T ∴=ΩΩ=?∞
-()
()()()()()()()???
ΩΩΩ---+-=-+=+=1
2
2
222121112122112
22
12
22
1dx
x P dx x P b dx x P a bP a R ωλλλλλλωλλ
λω其中：()()()()()()()()??
?ΩΩΩ-+===---+-=ΩΩ2
1
22221222222121112122111210
.,0,dx
x P a R dx x P dx x P P R b λλλωλλλλλλω，这时候最大风险为最小即无关与使如果选择
17．什么是序贯分类？
序贯：随着时间的推移可以得到越来越多的信息。 序贯分类决策规则
18．什么是参数估计，非参数估计，监督学习，无监督学习？
参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的
学习样本估计里面的参数；
非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型； 监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。
19．（1）最大似然估计算法思想：准则，求解过程 （1）准则：第i 类样本的类条件概率密度： P(X i /ωi )= P(X i /ωi ﹒θi ) = P(X i /θi )
原属于i 类的学习样本为X i =(X 1 , X 2 ,…X N ,)T i=1,2,…M
求θi 的最大似然估计就是把P(X i /θi )看成θi 的函数，求出使它最大时的θ
i
值
（2）求解过程：
∵学习样本独立从总体样本集中抽取的
N 个学习样本出现概率的乘积
取对数：
?
???
???
?
?<<∈-=≤∈-=≥时，继续观察时时A X P X P B X e P e P B X P X P X e P e P A X P X P i i i i i i )()()(1)()
()()()(1)
()(212212112121ωωωωωωωω∏===N
k i X k P i X P i i X P i i 1
)
|()|().|(θθθω∑∏===N
k i k i
k N k X P X P 1
1
)
|(log )|(log θθ
对θi 求导,并令它为0：
（2）正态分布情况下：μ, ∑的计算 ① ∑已知, μ未知,估计μ
② ∑， μ均未知
A 一维情况：n=1对于每个学习样本只有一个特征的简单情况：
即学习样本的算术平均
样本方差
B 多维情况：n 个特征
估计值：
20．（1）贝叶斯估计算法思想：准则，求解过程
)|(log (1)
1=??????
????????????∑
=N
k i k p X P θθθ????????
?=??
=??∑
∑
==0)|(log 0
)|(log 111
θθθθi k N k p
i k N k X P X P ∧∧θθθθ＝，即为的估值利用上式求出i
i ∑=∧
=
=N
k k
X
N
1
1
μμ∑=∧∧=
=N k k
X
N
1
111
μθ()
∑=∧∧
∧
-==N
k X k N 122
1
21μ
σθ∑=∧
∧
==N
k k
X N 1
11μθ(
)(
)
∧
=∧
∧
∧--=
∑=∑
μ
μ
θX T
X N
k N
k k 1
21
(A)准则：通过对第i 类学习样本X i 的观察，使概率密度分布P(X i /θ)转化为 后验概率P(θ/X i ) ，再求贝叶斯估计；
(B)求解过程： ① 确定θ的先验分布P(θ),待估参数为随机变量。
② 用第i 类样本x i =(x 1, x 2,…. x N )T 求出样本的联合概率密度分布P(x i |θ)，它
是θ的函数。
③ 利用贝叶斯公式,求θ的后验概率
④
（2）正态分布情况下：μ的计算 对μ的估计为
若令P(μ)=N(μ0, σ02
)=N(0,1)
21．（1）贝叶斯学习概念
求出μ的后验概率之后，直接去推导总体分布即
当N ↑,μN 就反映了观察到N 个样本后对μ的最好推测，而σN 2
反映了这种推测的不确定性, N ↑, σ
N 2↓,σN 2
随观察样本增加而单调减小，且当N →∞, σ
N 2 →0
当N ↑，P(μ|x i )越来越尖峰突起；N →∞, P(μ|x i )→σ函数，这个过程成为贝叶斯学习。
（2）正态分布情况下()i
P x X 的计算 (A)一维正态：已知σ2，μ未知
?=
θθ
θθθθθd P X
P P X P X P i
i i
)()|()
().|()|(?
=∧
θθθθθd X P i
)|(求贝叶斯估计020221
20202μσσσσσσμμ+++==∑=∧N X N N k k N N ∑=∧
+=N
k k
X N N 1
11μμ
μμθθθd X P X P d X P X P X X P i i i )|()|()|()|()|(??==μ
μμθθθd x P x P d x P x P x x P i i i )|()|()|()|()|(?=?=??()
()
?
----=μ
σμμσπσμσπd x N N
N
]21ex p[21]21ex p[21
2
2
(
)
(
)
?++-?+-+--=μ
μσσμσ
σμπd x x N N N N N
]21exp[21exp[21
22222
222
2222
(B)多维正态（ 已知Σ，估计μ ）：
22．非参数估计的条件密度计算公式
（1）Parzen 窗口估计的三种形式，条件密度的计算
（A ）窗口的选择：（A ）方窗函数；（B ）正态窗函数；（C ）指数窗函数
（B ）条件密度的计算：
（2）K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法
（A ）基本思想：以x 为中心建立空胞，使v ↑，直到捕捉到K N 个样本为止。 （B ）用K-近邻法作后验概率估计的方法：由K N 近邻估计知N 个已知类别样 本落入V N 内为K N 个样本的概率密度估计为
N 个样本落入V N 内有K N 个，K N 个样本内有K i 个样本属于ωi 类，则联合概率密度：
]21
exp[21
222
22??
? ??+--+=σσμσσπN N N x 为正态函数
),(22σσμ+=N N N μμ01
010
1
)1(1)1(01∑∑∑∑∑??? ?
?∑∑+-=-++=N
N x N N k k N
N 分类器
就可以设计代入将Bayes d x P x P x x P i i N ?=μμμμ)|()|()|(???
??≤=其他
.02
1||,1)(u u ?}
21
ex p{21
)(2u u -=
π
?|}
|exp{)(u u -=?∑=-=
=N
i N
i N
N
N N h x x V
N V N K x P 1
)
||(
1
1
)(?V N
k x P N
N
N =
)(i
N k
根据Bayes
公式可求出后验概率：
23． 分类与聚类的区别是什么？
分类：用已知类别的样本训练集来设计分类器（监督学习）；
聚类（集群）：用事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习）。
24．（1）聚合聚类（系统聚类）的算法
思想：先把每个样本作为一类，然后根据它们间的相似性和相邻性聚合。
若有n 个样本：（A ）设全部样本分为n 类； （B ）作距离矩阵D(0)； （C ）求最小元素；
（D ）将距离平方最小的元素归为一类； （E ）以新类从新分类，作距离矩阵D(1)；
（F ）若合并的类数没有达到要求，转（C ），否则停止。
（2）分解聚类的算法
思想：把全部样本作为一类，然后根据相似性、相邻性分解。 目标函数：两类均值方差
N ：总样本数， ：ω1类样本数 ：ω2类样本数，
∑∑===??=M
j i N
i N N i i i i i i N x P
x P P x P P x P x P 1
1
)
,()
,()()|()
()|()|(ωωωωωωωk k x P N i
i N =)|(ω后验概率的估计：)()(21212
1x x x x T N
N N E --=1N 两类均值
:,21x x 2N
（3）动态聚类的算法（K-均值算法）
① 先选定某种距离作为样本间的相似性的度量; ② 确定评价聚类结果的准则函数;
③ 给出某种初始分类，用迭代法找出使准则函数取极值的最好的聚类结果。 25．（1）什么是模糊集，α-水平截集？
（A ）模糊集：假设论域E={x }（讨论的区间），模糊集A 是由隶属函数μA (x )描述。其中，μA (x )是定义在E 上在闭区间{0，1}中取值的一个函数，反映x 对模糊集的隶属程度。 （B ）α-水平截集：设A 为E=（x ）中的模糊集，则A={x | μA (x )≥α}称为模糊集A 的α水平集， α为阈值在（0，1）间取值。
（2）什么是模糊集的并，交，补运算？ 设：A,B 为E=（x ）上的两个模糊集 并集:μA ∪ B (x )＝max(μA (x ) ,μB (x )) 交集: μ
A ∩
B (x )＝min(μA (x ) ,μB (x ))
补集: =1- μA (x ) , μA (x ) ,μB (x ) 分别为A 、B 的隶属函数
（3）什么是模糊关系及其变换运算？
(A)模糊关系：设U,V 为两个模糊集,则u ,v 的笛卡儿乘积集记为：U×V={(u,v )|u ∈U,v ∈V}, (u,v )是 U,V 元素间的一种无约束搭配，若把这种搭配加某种限制， U,V 间的这种特殊关系叫模糊关系R 。
(B)变换运算：
)(x A μ()
()维模糊矩阵是＝维模糊矩阵；是＝r m s S m n r R ik ij ??~
~
[]
”表示求最小
”表示求最大值，“；式中“令∧∨==∧∨==),...,2,1;,...,2,1(,1
r k n i s r t jk ij m
i ik
（4）什么是相似关系，等价关系？
（A ）相似关系：具有自反性对称性的模糊关系称为相似关系（或类似关系）； （B ）等价关系：具有自反性、对称性、传递性的模糊关系称为等价关系。
26．模糊识别方法
（1）隶属原则识别法的基本思想
设： A 1, A 2,…. ,A n 是E 中的n 个模糊子集， x 0为E 中的一个元素，若有隶属函数 μi (x o ) =max(μ1(x o ), μ2(x o ),….. μn (x o )),则x o ∈ μi 。 则x o ∈A i 若有了隶属函数μ (x )，我们把隶属函数作为判别函数使用即可。
（2）择近原则识别法的基本思想 （a ）贴近度的计算：
（b ）设：E 上有n 个模糊子集 及另一模糊子集 。若贴近度
27．模糊聚类分析方法 1）基于等价关系 （1）α-水平截阵 （2）等价划分
（1）α水平截阵： R α =[x | μA (x )≥α]
（2）等价划分：若 是E 上的一个等价关系。则对任意阈值α(0≤ α ≤1)则模糊水平集R α也是E 上的一个等价关系；由小到大选取阈值α(0≤ α ≤1)，将矩阵中相同的行的特征
。的最大－最小合成关系与上式表示S R ()~
~
~
~
~
~
S
R T S R t T ik =的复合矩阵，记作对为＝)]1[21
)(~~~
~~~B A B A B A ⊙（-+=? ”表示求最小。
”表示求最大，“符号“的内积和外积。
与分别称为⊙式中∧∨∨∧=∧∨=∈∈~
~
~
~
~
~
~
~~
~
))
()(()),()((,B A x B x A B A x B x A B A E x E x ~~2~1,......,,n
A A A ~
B 方法。
，这就是择近原则识别类则最贴近与则称＝..)
(max )(~
~~
~
1~
~
i i j n
j i A B A B A B A B ∈??≤≤~
R