模式识别题目及答案

一、
（15分）设有两类正态分布的样本集，第一类均值为T
1μ=（2,0），方差
11⎡⎤∑=⎢⎥⎣⎦11/21/2，第二类均值为T
2μ=（2,2），方差21⎡⎤∑=⎢⎥⎣⎦1-1/2-1/2
，先验概率12()()p p ωω=，试求基于最小错误率的贝叶斯决策分界面。

解 根据后验概率公式()()
()()
i i i p x p p x p x ωωω=
， (2’)
及正态密度函数1
1/2
1
()exp[()()/2]2T i i i i n
i
p x x x ωμμπ-=
--∑-∑ ,1,2i =。

(2’) 基于最小错误率的分界面为1122()()()()p x p p x p ωωωω=， (2’) 两边去对数，并代入密度函数，得
11
11112222()()/2ln ()()/2ln T T x x x x μμμμ----∑--∑=--∑--∑ (1) (2’)
由已知条件可得12∑=∑，11
4/3-⎡⎤∑=⎢⎥⎣⎦4/3-2/3-2/3，21
4/3-⎡⎤∑=⎢⎥⎣⎦
4/32/32/3，(2’)
设12(,)T
x x x =，把已知条件代入式（1），经整理得
1221440x x x x --+=， (5’)
二、
（15分）设两类样本的类内离散矩阵分别为11S ⎡⎤
=⎢
⎥
⎣⎦
11/21/2, 21S ⎡⎤=⎢⎥⎣⎦
1-1/2-1/2,各类样本均值分别为T 1μ=（1,0），T
2μ=（3,2），试用fisher 准则求其决策面方程，并判断样本T
x =
（2,2）的类别。

解：122S S S ⎡⎤
=+=⎢
⎥⎣⎦
200 (2’) 投影方向为*
1
12-2-1()211/2w S μμ-⎡⎤⎡⎤⎡⎤
=-==⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦
⎣⎦1/200 (6’)
阈值为[]*0122()/2-1-131T y w μμ⎡⎤
=+==-⎢⎥⎣⎦
(4’)
给定样本的投影为[]*0-12241T y w x y ⎡⎤
===-<⎢⎥-⎣⎦
， 属于第二类 (3’)
三、 （15分）给定如下的训练样例
实例 x0 x1 x2 t(真实输出) 1 1 1 1 1 2 1 2 0 1 3 1 0 1 -1 4 1 1 2 -1
用感知器训练法则求感知器的权值，设初始化权值为0120w w w ===；
1 第1次迭代
（4’）
2 第2次迭代
（2’）
3 第3和4次迭代
四、 （15分）
i. 推导正态分布下的最大似然估计；
ii. 根据上步的结论，假设给出如下正态分布下的样本
{}1,1.1,1.01,0
.9,0.99，估计该部分的均值和方差两个参数。

1 设样本为K={x 1, x
2 ,…, xN } ，
正态密度函数1
1/2
1
()exp[()()/2]2T
i i i i n
i
p x x x ωμμπ-=--∑-∑ (2’)
则似然函数为
121()(|)(,,...,|)(|)
N N
k k l p K p p ====∏θθx x x θx θ (2’)
对数似然函数1
()ln (|)N
k
k H p ==∑θx
θ (2’)
最大似然估计
1
ˆargmax ()argmax ln (|)
ML
n
k k l p ===∑θ
θ
θθx θ (2’)
对于正态分布11
ˆN
ML k
k x
N
μ
==∑，2211ˆˆ()N
ML
k
k x
N
σ
μ
==-∑ (2’) 2 根据1中的结果1
1ˆ=1N
ML k
k x N
μ
==∑，221
1ˆ
ˆ()=0.00404N
ML
k
k x
N
σμ
==-∑ (5’)
五、
（15分）给定样本数据如下：
T （-6,-6），T
（6,6） （1） 对其进行PCA 变换
（2） 用（1）的结果对样本数据做一维数据压缩 解（1）PCA 变换
1 求样本总体均值向量T T T
μ+
==（-6,-6）（6,6）（0,0） 2 求协方差矩阵T T
3636]/23636R ⎡⎤
+=⎢
⎥⎣⎦
=[（-6,-6）（-6,-6）（6,6）（6,6） (2’)
3求特征根，令
3636036
36λλ
-=-，得172λ=，20λ=。

(1’)
由i i i R ϕλϕ=，得特征向量11/21ϕ⎡⎤
=⎢⎥⎣⎦
，21/21ϕ⎡⎤
=⎢
⎥-⎣⎦
(2’) 则PCA 为12662[,]662ϕϕ⎡⎤--⎡⎤=⎢⎥⎢⎥--⎣⎦⎢⎥⎣⎦，12662[,]662ϕϕ⎡⎤
⎡⎤=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦
(5’)
（2）要做一维压缩，就是向最大特征根对应的特征向量做投影，得
62- ，62 (5’)
六、
（10分）已知4个二维样本: T 1x =（0,0），T 2x =（0,1），T
3x =（1,2），
T
4x =（4,3）。

试用层次聚类把样本分成2类。

解：1 初始将每一个样本视为一类，得011{}G x =，022{}G x =，033{}G x =，0
44{}G x =
计算各类间的距离，得到距离矩阵0D ，(2’)
0D
011{}G x =
22{}G x = 033{}G x = 0
44{}G x =
011{}G x =
0 1 5
5
022{}G x =
1
2
25 033{}G x =
5
2
10
44{}G x =
5
25 10
2 将最短距离1对应的类011{}G x =，0
22{}G x =合并为一类，得到新的分类： (4’) 1001212{,}G G G =，1033{}G G =，10
44{}G G =
计算各类间的欧式距离，得到距离矩阵1
D (2’)
1D
100
1212{,}G G G = 1
033{}G G = 10
44{}G G =
1001212{,}G G G = 0
2
25 1033{}G G = 2
10
1044{}G G =
25 10
3 将距离最小两类1001212{,}G G G =和10
33{}G G =合并为一类，得到新的分类
2000123123{,,}G G G G =，2044{}G G =
聚类结束，结果为
1123{,,}x x x ω=，
24{}x ω= (2’)
七、
（10分）已知4个二维样本：T 1x =（0,0），T 2x =（1,0），T
3x =（6,4），
T 4x =（7,5），T
5x =（10,9）。

取K=3，用K 均值算法做聚类
解：
1 K=3，初始化聚类中心，T 11(1)z x ==（0,0），T
23(1)z x ==（6,4），T
35(1)z x ==（10,9） (2’)
2 根据中心进行分类，得112{,}x x ω=，234{,}x x ω=，35{}x ω= (2’) 3
更
新
聚
类
中
心
，
T
112(2)()/2z x x =+=（1/2,0）
，
T T T
234(2)()/2z x x =+=+=（6,4）（7,5）（13/2,9/2），T 35(2)z x ==（10,9）
(4’)
4根据新的中心进行分类，得112{,}x x ω=，234{,}x x ω=，35{}x ω=，分类已经不再变化，因此最后的分类结果为112{,}x x ω=，234{,}x x ω=，35{}x ω= (2’)
八、
（10分）设论域1234{,,,}X x x x x =，给定X 上的一个模糊关系~
R ，其模糊矩阵
为
10.80.80.20.810.850.20.80.8510.20.20.20.21R ⎡⎤
⎢⎥
⎢
⎥=⎢⎥⎢⎥⎣⎦
（1） 判断该模糊矩阵式模糊相似矩阵还是模糊等价矩阵 （2） 按不同的置信水平0.9,0.8λ
=给出分类结果
解：（1）因为 R R R = (计算过程 )，是模糊等价矩阵 (6’)
（2）0.9
1
000010000100001R ⎡⎤⎢⎥⎢⎥=⎢⎥
⎢⎥
⎣⎦
，聚类结果为1234{},{},{},{}x x x x (2’)
0.81110 1110 1110 0001
R
⎡⎤
⎢⎥
⎢⎥
=
⎢⎥
⎢⎥
⎣⎦
，聚类结果为
1234
{,,},{}
x x x x (2’)。