模式识别作业题(1)

6 ，0）的距离（这里算得的 7 个距离略） ， 5
然后排序，发现属于 W1 的有 1 个，属于 W2 的有 2 个，则判属于 W2。 本题也可使用欧式距离，不过计算较复杂。 本题也可用平均样本法、平均距离法。 使用最近邻法直接判错。 当然，若已知（1，-tan10°）为噪声点，直接去掉也行。去掉噪声点后用线性分类器也可解 答，但不大好。 本题无标准答案，论述有理、步骤正确即可。 4、已知训练样本（-1，-1）T 属于 w1 类， （0，0）T 属于 w2 类， （1，1）T 属于 w3 类，试用 感知器算法求解对应的分类器（设初始解权向量 0，步长为 1，要求给出相应解权向量的表 达式，并给出结果的图示） 。 答： 要活学活用， 了解了感知器原理和线性分类器原理就不难将书上的两类算法推广为三类。 方法一： （1）参照“两维三类问题的线性分类器的第三种情况（没有不确定区域，参考书 P35） ”的算法，求 d1,d2,d3。 训练样本矢量增广化，各类样本无需符号规范化。 x1=(-1,-1,1)’， x2=(0,0,1)’， x3=(1,1,1)’ （2）运用感知器训练算法。 增量为 1，赋初值：w1(0)=w2(0)=w3(0)=(0,0,0)’，进行迭代运算： k=1，x1∈w1，d1(x1)=d2(x1)和 d1(x1)=d3(x1)，所以 w1(1)=w1(0)+x1=(-1,-1,1)’ w2(1)=w2(0)-x1=(1,1,-1)’ w3(1)=w3(0)-x1=(1,1,-1)’
方法三：参照“两维三类问题的线性分类器的第二种情况（有不确定区域） ”的算法，求 G12,G23,G13。 G12*x1>0, G12*x2<0, G12=(-1,-1,-1)’ G23*x2>0, G23*x3<0, G23=(-1,-1,1)’ G13*x1>0, G13*x3<0, G12=(-1,-1,1)’ 有两条线重合了。
b 。 Xi
答： （1）满足 W’ TXi≥b 的 W’也满足 W’ TXi>0，故得证。 （2）W’TXi=b 到 W’TXi=0 的距离为
G (W ') b ，这是因为 P31 r= ，其中 G(W’)= W’TXi， Xi Xi
设 W’TXi=b 面上一点为 e，则 r=
G (e) eT Xi b = = 。 Xi Xi Xi
6
⎡1 1 1⎤ ⎢2 3 1⎥ ⎥ ，b=[1 2 1 2] T， 答： （1） [ X ] = ⎢ ⎢ −2 0 −1⎥ ⎢ ⎥ ⎣ −4 −1 −1⎦
X#=-0.2667 -0.0333 0.0667 -0.3667 -0.0667 0.3667 0.2667 0.0333 0.9333 -0.1333 -0.7333 0.5333 T -1 T W=(X X) X b= -1 1 1 分类器是 G(X)=-x1+x2+1 G(X)>0，为 W1，G(X)<0，为 W2。 （2）计算伪逆， 然后取余量矢量 b(0)= [1 2 1 2] T，由算法可知 W(0)= X#* b(0)=[-1 1 1]’ e(0)=XW(0)-b(0)=[0 0 0 0]’ 所以 W(0)就是所求的解，分类器和（1）一样。 （3）计算两个类别的均值向量， mx1=( 计算类内总离散度矩阵 Sw=2.5000 2.0000 -1 Sw =1.1111 -0.8889 最佳投影方向 W*=-3 3 T T W1： （1,1） 投影为 0， （2,3） 投影为 3，W2： （2,0）T 投影为-6， （4,1）T 投影为-9，阈值可 选为-3，故判决函数 G(X)=-3X1+3X2->3 判为 W1，<3 判为 W2。 其实和（1）一样。 该题很多同学写不完整，算出 W 就结束了，但是还要给出最终的分类器！ 附加题： 2.0000 2.5000 -0.8889 1.1111
模式识别第一次作业习题解答
1、 判断题 （1）训练误差越小的分类器效果越好。 （） （2）平均样本法、平均距离法和最近邻法都需要存储所有的训练样本。 （） （3）X 在超平面 G(x) = WT X + w0 = 0 上的投影是 X p = X −
G( X ) W
2
W。 （）
（4）两维三类问题的线性分类器的第三种情况（没有不确定区域，参考书 P35）中，三条 直线一定交于一点。 （） （5）已知两类样本线性可分，使用的线性分类器判别函数为 G(x) = WT X’，现求得 W1 和 W2 都是满足分类要求的权向量，则 λW1+(1-λ)W2（0≤λ≤1）也是满足要求的权向量。 （） （6）感知准则函数正比于被错分类的样本到判决界面的距离之和。 （） （7） 由于负梯度方向总是最理想的搜索方向， 所以沿着负梯度方向进行搜索的“最陡下降法” 收敛很快。 （） （8）H-K 算法可以在训练前直接判断训练样本集是否线性可分。 （） （9） 位势函数法使用 K ( X , Xn) = exp{−α X − Xn } 作为位势函数时对二维二类问题进行 分类，最终得到的判别界面一定是曲线。 （） (10)下图中，若 L1∥L2，则类内总离散度矩阵是奇异的。 （）
方法二：直接设两条直线 L1、L2，使得 L1x1<0,L2x1<0 L1x2<0,L2x2>0 L1x3>0,L2x3>0 初始化都设为 0， k=1,L1x1=0,L1=L1-x1=(1,1,-1)’ L2x1=0,L2=L2-x1=(1x2=-1,L1 不变 L2x2=-1,L2=L2+x2=(1,1,0)’ k=3,L1x3=1,L1 不变 L2x3=2,L2 不变 k=4,L1x1=-3,L1 不变 L2x1=-2,L2 不变 k=5,L1x2=-1,L1=L1 不变 L2x2=0,L2=L2+x2=(1,1,1)’ k=6,L1x3=1,L1 不变 L2x3=3,L2 不变 k=7,L1x1=-3,L1 不变 L2x1=-1,L2 不变 k=8,L1x2=-1,L1 不变 L2x2=1,L2 不变 结束， L1=x1+x2-1 L2=x1+x2+1 若 L1x1<0,L2x1<0，判为 w1 若 L1x2<0,L2x2>0，判为 w2 若 L1x3>0,L2x3>0，判为 w3
6、对于二维线性判别函数 g(x) = x1 + 2x2 − 2 （1）将判别函数写成 g(x) = wT x + w0 的形式，并画出 g(x) = 0 的几何图形； （2）映射成广义齐次线性函数 g(x) = aT y； （3）指出上述 X 空间实际是 Y 空间的一个子空间，且 aT y = 0 对于 X 子空间的划分和原 空间中 wTx + w0 = 0 对原 X 空间的划分相同，并在图上表示出来。 答： （1）w = [1, 2]T , x = [x1, x2]T ,w0 = −2，则 g(x) = wT x + w0，g(x) = 0 的图形如下图所示。
2
k=2，x2∈w2，d1(x2)>d2(x2)和 d2(x2)=d3(x2)，所以 w1(2)=w1(1)-x2=(-1,-1,0)’ w2(2)=w2(1)+x2=(1,1,0)’ w3(2)=w3(1)-x2=(1,1,-2)’ k=3，x3∈w3，d1(x3)<d3(x3)和 d2(x3)>d3(x3)，所以 w1(3)=w1(2) =(-1,-1,0)’ w2(3)=w2(2)-x3=(0,0,-1)’ w3(3)=w3(2)+x3=(2,2,-1)’ k=4，x1∈w1，d1(x1)>d2(x1)和 d1(x1)>d3(x1)，所以成功 1 次， w1(4)=w1(3) =(-1,-1,0)’ w2(4)=w2(3) =(0,0,-1)’ w3(4)=w3(3) =(2,2,-1)’ k=5，x2∈w2，d1(x2)>d2(x2)和 d2(x2)=d3(x2)，所以成功 0 次， w1(5)=w1(4) –x2=(-1,-1,-1)’ w2(5)=w2(4) +x2=(0,0,0)’ w3(5)=w3(4) –x2=(2,2,-2)’ k=6，x3∈w3，d1(x3)<d3(x3)和 d2(x3)<d3(x3)，所以成功 1 次， k=7，x1∈w1，成功 2 次， k=8，x2∈w2，成功 3 次，结束， 求得三个判别函数： d1(x)=--x1-x2-1 d2(x)=0 d3(x)=2x1+2x2-2； d12(x)= -x1-x2-1 d13(x)=-3x1-3x2+1 d23(x)=-2x1-2x2+2
W1 类，其中（1，-tan10°）已知为噪声点； （1,0） 、 （ 自选距离度量方法和分类器算法，判别（
6 ，0）属于哪一类？ 5
答：度量方法：根据题意假设各模式是以原点为圆心的扇状分布，以两个向量之间夹角（都 是以原点为起点）的余弦作为其相似性测度，P22。 然后使用 K 近邻法，K 取 3，求已知 7 个点与（
m 2 mn ] 是奇异的。 mn n 2
1
2、参考参考书 P314“模式识别的概要表示”画出第二章的知识结构图。 答：略。 3、现有两类分类问题。如下图所示， （1,
1 1 3 ） 、 （ ， ） 、 （1， 3 ） 、 （1，-tan10°）为 3 2 2 3 3 ，- * tan 10° ） 、 （2，0）为 W2 类。 5 5
4
还有同学把三点做了变换，使三个点不在同一条直线上，总体线性可分，这种做法也可以。 但其实没有必要。 有的同学先把 x1 看成一类，x2、x3 看成另一类生成一个分类器 w1，再根据 x2、x3 生成一 个分类器 w2，也可以。 该题很多同学出现的错误是：用“总体线性可分”的方法来做；或者想当然的先根据 x1、 x2 生成分类器 1，再根据 x2、x3 生成分类器 2，思路错误。 5、证明引入余量 b 之后，新的解区 W’TXi≥b(i=1,2,…) 位于原解区 W’ TXi>0(i=1,2,…)之中， 且与原解区边界之间的距离为