模式识别导论习题集

模式识别导论习题集1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。

解：其维数为2；序号为256×2＋4＝5162、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。

试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。

解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为：y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T因此欧氏距离为3521()14i i i x y =-=∑ ，绝对值偏差为351|()|14i i i x y =-=∑，夹角余弦为cos 0||||||||Tx y x y θ==⋅，因此夹角为90度。

3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。

现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。

解：是“9”，距离为14、对一个染色体分别用一下两种方法描述：(1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？(2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。

解：（1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。

把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。

可以区分染色体和其它圆形、椭圆细胞结构。

（2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。

它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。

这是结构表示法。

（3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。

5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，µ1=0，µ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。

解：按照公式（2－84），分界面上的点应满足：111[(0)1(0)(3)1(3)]ln ln 022111302116x x x x e x x --⋅⋅---⋅⋅--+=⇒-+=⇒=6. 设有两类正态分布的样本集，第一类均值t )0,2(1=μ，⎪⎪⎭⎫⎝⎛=∑12/12/111，t )2,2(2=μ先验概率)()(21ωωP P =，现按基于最小错误率贝叶斯决策设计分类器，试求分类器得分界面。

解：按照公式（2－84），分界面上的点应满足：11112211112212111[()()()()]ln ln10221()()()()2T T T T x x x x x x x x x x μμμμμμμμ------⋅⋅---⋅⋅--+=⇒-⋅⋅-=-⋅⋅-⇒=∑∑∑∑7. 已知某一正态分布二维随机变量的协方差矩阵为⎪⎪⎭⎫⎝⎛12/12/11，均值向量为零向量。

试求其mahalanobis 距离为1的点的轨迹。

（不要求）8. 设有二维随机变量的分布如图a 、b 、c 所示的三种情况，协方差矩阵表示成⎪⎪⎭⎫⎝⎛22211211a a a a ，试问这三种分布分别对应哪种情况（A. a12>0 B. a12<0 C. a12≈0）？解：这3种情况都存在均值向量μ＝0，所以协方差矩阵为211121222122{()}x x x x E x x E x x x x ⎛⎫⎛⎫==⎪ ⎪⎝⎭⎝⎭∑ 所以对于图a 而言，明显有12x x 的平均值>0,因此a →A,对于图b 而言，明显有12x x 的平均值=0,因此b →C, 对于图b 而言，明显有12x x 的平均值<0,因此c →B,a bc图19. 什么叫对称矩阵？什么叫正定矩阵？半正定矩阵？试问协方差矩阵是否是对称矩阵？是否是正定矩阵或半正定矩阵？答：对称阵：a ij =a ji 。

正定阵：它的特征值都大于0。

半正定阵：它的特征值都大于等于0。

协方差矩阵是正定阵。

10. 设有N 个d 维向量组成样本集，表示成X1，…，Xn ，Σ是任一个非奇异对称阵，证明使∑=--∑-Nk k T k x x x x 11)()(为最小的向量X 是该样本集的均值向量。

（不要求）证明：显然可以看出这是一个多元二次式。

故极值位置是导数为零的位置，求导，得：∑∑==--=-∑+∑-Nk Nk k Tkx x x x11110)()(,这是一个一次方程组，在Nxx Nk k∑==1处得零。

故极值在这里取得。

11. 设一个二维空间中的两类样本服从正态分布，其参数分别为t)0,1(1=μ，⎪⎪⎭⎫ ⎝⎛=∑10011，t)0,1(2-=μ，⎪⎪⎭⎫ ⎝⎛=∑20022，先验概率)()(21ωωP P =,试证明其基于最小错误率的贝叶斯决策分界面方程为一圆，并求其方程。

证明：先验概率相等条件下，基于最小错误率贝叶斯决策的分界面上两类条件概率密度函数相等。

因此有：1111112222222212121111()()ln ||()()ln ||222211(1)(1)ln 422T T X X X X x x x x μμμμ----∑--∑=--∑--∑⇒-+=+++化简为4ln 28)3(2221+=+-x x ，是一个圆的方程12. 将上题推广到一般情况（不要求）（1） 若I 21σ=∑，12∑=∑k ,试说明先验概率相等条件下，基于最小错误率的贝叶斯决策面是否是超球面；（2） 它能否用mahalanobis 距离平方为常数的轨迹表示（3） 用mahalanobis 距离表示的轨迹，分析其Σ与Σ1,Σ2的关系.13. 对两类问题，若损失函数02211==λλ，012≠λ,021≠λ,试求基于最小风险贝叶斯决策分界面处的两类错误率与12λ,21λ的关系。

（不要求）14. 思考题：如果有两类问题，ω1和ω2，现欲严格限制错将第二类误判成第一类的情况，那么应如何选择)2(2)1(2)2(1)1(1,,,λλλλ（不要求）15. 证明在Σ正定或半正定时，mahalanobis 距离r 符合距离定义的三个条件，即（不要求） （1） r(a,b)=r(b,a)（2） 当且仅当a=b 时，有r(a,b)=0 （3） r(a,c)≤r(a,b)+r(b,c)16、设五维空间的线性方程为010261632685554321=+++++x x x x x ， 试求出其权向量与样本向量点积的表达式00=+w X W T 中的W ，X 以及增广权向量与增广样本向量形式 Y a T 中的a 与Y 。

解：W=[55 68 32 16 26]T ，X=[x 1 x 2 x 3 x 4 x 5] a=[55 68 32 16 26 10]T ，Y=[x 1 x 2 x 3 x 4 x 5 1]17、上式是一个五维空间的超平面，试求该平面到坐标原点的法向距离。

解：根据式(4-8)，该式的权向量的模为：222222616126855W ++++= 而超平面到坐标原点的距离为3492100-=-=-W W w18、设在三维空间中一个类别分类问题拟采用二次曲面。

如欲采用广义线性方程求解。

试向其广义样本向量与广义权向量的表达式，其维数是多少？解：根据式(5-29)12001111()dd ddTTkk kjkj k j j k j k j j g x x Wx w x w w x wx x w x w -===+==++=+++∑∑∑∑其中111213112222321323333w w w w W w w w w w w w w w ⎡⎤⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦可得：22211122233312121313232311223302220w x w bx w cx w x x w x x w x x w x w x w x w +++++++++=因此可令其广义样本向量为222123121323123(,,,,,,,,,1)T Y x x x x x x x x x x x x =广义权向量为1112131213231230(,,,2,2,2,,,,)T W w w w w w w w w w w *=19、设两类样本的类内离散矩阵分别为⎪⎪⎭⎫⎝⎛=12/12/111S ，⎪⎪⎭⎫ ⎝⎛--=12/12/112S 均值向量t t m m )2,2(,)0,2(21== 试用fisher 准则求其决策面方程。

解：由式(4-18)和(4-32)分别得总类内离散度矩阵和最佳投影方向为⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫ ⎝⎛=-=⎪⎪⎭⎫⎝⎛=+=-*10205.0005.0)(200221121m m S W S S S w w因此，原二维空间的均值m 1、m 2在一维y 空间中的投影分别为，112202T T m W m m W m **====-，，由于两类样本分布形状是相同的（只是方向不同），根据先验知识由式(4-33)选定分界阈值点y 0应为两类均值的中点:即012()/21y m m =+=-。

20、设在一个二维空间，A 类有三个训练样本，图中用红点表示，B 类四个样本，图中用蓝点表示。

试问：（1） 按近邻法分类，这两类最多有多少个分界面（2） 画出实际用到的分界面 （3） A 1与B 4之间的分界面有没有用到？解: （1）按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A 类与四个B 类训练样本可能构成的分界面最大数量为3×4＝12。

（2）实际分界面如下图所示，由9条线段构成。

（3）没有用到。

因为它可以用A 1与B 1的分界面代替。