模式识别 习题集

模式识别习题Part 1
CH1
1. Describe the structure of a pattern classification system and give detailed information
about each module.
CH2
2. Bayesian Classifier
(a) What is the decision rule of the Bayesian classifier?
(b) Which independency assumption is used for naive Bayes and how does this affect
the decision rule?
(c) Show the optimality of the Bayesian classifier.
3. Vessel diseases are a growing problem in the western world. Now, there is a software
that can classify a diseased person as actually diseased with 99% reliability. However, it may happen in 2% of the cases that a healthy person is mistakenly classified as diseased. A statistical analysis shows that the disease is apparent in one out of 100 patients. What is the probability that a patient is actually diseased if the system classifies a disease?
4. 分别写出在以下两种情况
1) P (x|w 1)=P (x|w 2) 2) P (w 1)=P (w 2)
下的最小错误率贝叶斯决策规则。

(《模式识别》第二版，边肇祺，pp.43 2.4)
5. 若λ11=λ22=0，λ12=λ21 ，证明此时最小最大决策面是来自两类的错误率相等。

(《模式识别》第二版，边肇祺，pp.43 2.7) 6. 二维正态分布，μ1=（−1,0）T
，μ2=（1,0）T
，Σ1=Σ2=Ι，P (ω1)=P (ω2)。

试写
出对数似然比决策规则。

(《模式识别》第二版，边肇祺，pp.45 2.23)
7. 在习题6中若Σ1≠Σ2，Σ1=[1
12
1
21
]，Σ2=[
1−
12
−1
2
1
]，写出负对数似然比决策规则。

(《模式识别》第二版，边肇祺，pp.45 2.24)
8.
()()()()贝叶斯决策进行分类。

的决策表，按最小风险）中的条件，利用下面1）对（2（进行分类。

对该细胞最小错误率贝叶斯规则，用 6.0|，3.0|布曲线上查得：，从类条件概率密度分 为其观察值。

现有一个待识细胞， 2.0；异常状态： 8.0正常状态：为
）两类的先验概率分别）和异常（别中正常（）假设某部位的细胞识1（212121x x P x P x P P ====ϖϖϖϖϖϖ
9. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=2，µ1=0，µ2=3，两类先验概率
之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。

10. 设在三维特征空间里，有两类正态分布模式，每类各有4个样本，分别为
ω1：[1,0,1]T ,[1,0,0]T ,[0,0,0]T ,[1,1,0]T ω2：[0,0,1]T ,[0,1,1]T ,[1,1,1]T ,[0,1,0]T
其均值向量和协方差矩阵可用下式估计
M i =1
i
∑X ij N i
j=1
C i =
1i
∑X ij X ij T −M i M i T N i
j=1
式中，N i 为类别ωi 中样本的数目；X ij 代表在第i 类中的第j 个样本。

两类的先验概率
P (ω1)=P (ω2)=12
试确定两类之间的判别界面。

11. 设向量x =(x 1,…,x d )t 的分量为二值的（0或1），且设P(ωj )为类别状态ωj 的先验概率，
其中j=1,…,c 。

现定义
p ij =Pr[x i =1|ωj ] i =1,…,d
j =1,…,c
且对于ωj 中所有x ，其分量x i 是统计独立的。

01
a 2
a 1
71
ϖ2
ϖ损失
状态决策
（a ） 解释p ij 的含义。

（b ） 证明最小误差概率通过下面的判定规则获得：对于所有的j 和k ，如果
g k (x )≥g j (x )，则判为ωk ，其中
g j (x )=∑x i d
i=1
ln p ij
1−p ij
+∑ln(1−p ij )d
i=1
+ln P(ωj )
(《模式分类》第二版,Richard O.Duda, pp.61 43)
CH3
12. 设总体分布密度为N (μ,1),−∞＜μ＜+∞，并设Χ={x 1,x 2,…,x N }，分别用最大似然估
计和贝叶斯估计计算μ̂。

已知μ的先验分布p (μ)~N (0,1)。

(《模式识别》第二版，边肇祺，pp.81 3.1) 13. 设X ={x 1,x 2,…,x N }为来自点二项式分布的样本集，即f (x,P )=P x Q (1−x),x =0,1，0≤
P ≤1，Q =1−P ，试求参数P 的最大似然估计。

(《模式识别》第二版，边肇祺，pp.81 3.3) 14. 假设损失函数为二次函数λ(P
̂,P)=(P ̂−P)2
，以及P 的先验密度为均匀分布f(P)=1， 0≤P ≤1。

在这样假设条件下，求13题的贝叶斯估计P
̂。

(《模式识别》第二版，边肇祺，pp.81 3.4) 15. 设X ={x 1,x 2,…,x N }是来自p (x|θ)的随机样本，其中0≤x ≤θ时，p (x|θ)=1
θ，否则为0。

证明θ的最大似然估计是max k x k 。

(《模式识别》第二版，边肇祺，pp.81 3.7)
16. 考虑一维正态分布的参数估计。

设样本（一维）x 1，x 2，…x N 都是由独立的抽样试验采
集的，且密度函数服从正态分布，其均值μ与方差 2未知。

求均值和方差的最大似然估计。

17. 设一维样本集X={x 1，x 2，…x N }是取自正态分布N(μ， 2)的样本集，其中均值μ为未知
的参数，方差 2已知。

未知参数μ是随机参数，它有先验分布N(μ ， 2)的，μ 、 2已知，求μ的贝叶斯估计μ̂。

18. 令x 为服从指数概率密度函数的分布：
p (x|θ)={θe −θx x≥
0 其他
（a ） 当θ=1时，画出p(x|θ)关于x 的函数图像。

对于x=2，画出p (x|θ)关于θ，0≤θ≤5的函
数图像。

（b ） 假设n 个样本点x 1,…,x n 都独立地服从分布p (x|θ)，证明，关于θ的最大似然估计结
果为
θ
̂=1
1∑x k
n k=1
（c ） 在（a ）中θ=1的图上，标记出当n 非常大时，最大似然估计θ
̂的位置。

(《模式分类》第二版,Richard O.Duda, pp.115 1) 19. 令x 具有均匀分布的概率密度
p (x|θ)~U (0,θ)={1θ⁄ 0≤x ≤θ
0 其他
（a ） 假设n 个样本点D ={x 1,…,x n }都独立地服从p(x|θ)，证明对于θ的最大似然估计
就是D 中的最大值点max [D ]。

（b ） 假设n=5个样本点是从这个分布中抽取的，并且有max k x k =0.6。

画出在区间
0≤θ≤1上的似然函数p (D|θ)。

(《模式分类》第二版,Richard O.Duda, pp.116 2)
20. 设x 为一个d 维的二值向量（即其分量取值为0或1），服从多维伯努利分布
P (x |θ)=∏θi x
i d
i=1
(1−θi )1−x i
其中是θ=(θ1,…,θd )t 是一个未知的参数向量，而θi 为x i =1的概率。

证明，对于θ的最大似然估计为
θ̂=1n ∑x k
n k=1 (《模式分类》第二版,Richard O.Duda, pp.116 4)。