黄庆明 模式识别与机器学习 第三章 作业

·在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 应该是252142

6

*74132

7=+=+

=++C 其中加一是分别3类 和 7类

·一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1

(1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 (2)设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。

(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 ·两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） 如果线性可分，则4个

建立二次的多项式判别函数，则102

5=C 个

·(1)用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T , (1 0 0)T , (1 0 1)T , (1 1 0)T } ω2: {(0 0 1)T , (0 1 1)T , (0 1 0)T , (1 1 1)T } 将属于ω2的训练样本乘以（-1），并写成增广向量的形式。

x ①=(0 0 0 1)T , x ②=(1 0 0 1)T , x ③=(1 0 1 1)T , x ④=(1 1 0 1)T

x ⑤=(0 0 -1 -1)T , x ⑥=(0 -1 -1 -1)T , x ⑦=(0 -1 0 -1)T , x ⑧=(-1 -1 -1 -1)T

第一轮迭代：取C=1，w(1)=(0 0 0 0) T

因w T (1) x ① =(0 0 0 0)(0 0 0 1) T

=0 ≯0，故w(2)=w(1)+ x ① =(0 0 0 1)

因w T (2) x ② =(0 0 0 1)(1 0 0 1) T =1>0，故w(3)=w(2)=(0 0 0 1)T

因w T (3)x ③=(0 0 0 1)(1 0 1 1)T =1>0，故w(4)=w(3) =(0 0 0 1)T

因w T (4)x ④=(0 0 0 1)(1 1 0 1)T =1>0，故w(5)=w(4)=(0 0 0 1)T

因w T (5)x ⑤=(0 0 0 1)(0 0 -1 -1)T =-1≯0，故w(6)=w(5)+ x ⑤=(0 0 -1 0)T

因w T (6)x ⑥=(0 0 -1 0)(0 -1 -1 -1)T =1>0，故w(7)=w(6)=(0 0 -1 0)T

因w T (7)x ⑦=(0 0 -1 0)(0 -1 0 -1)T =0≯0，故w(8)=w(7)+ x ⑦=(0 -1 -1 -1)T

因w T (8)x ⑧=(0 -1 -1 -1)(-1 -1 -1 -1)T =3>0，故w(9)=w(8) =(0 -1 -1 -1)T

因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第二轮迭代。 第二轮迭代：

因w T (9)x ①=(0 -1 -1 -1)(0 0 0 1)T =-1≯0，故w(10)=w(9)+ x ① =(0 -1 -1 0)T

因w T (10)x ②=(0 -1 -1 0)( 1 0 0 1)T =0≯0，故w(11)=w(10)+ x ② =(1 -1 -1 1)T

因w T (11)x ③=(1 -1 -1 1)( 1 0 1 1)T =1>0，故w(12)=w(11) =(1 -1 -1 1)T

因w T (12)x ④=(1 -1 -1 1)( 1 1 0 1)T =1>0，故w(13)=w(12) =(1 -1 -1 1)T

因w T (13)x ⑤=(1 -1 -1 1)(0 0 -1 -1)T =0≯0，故w(14)=w(13)+ x ⑤ =(1 -1 -2 0)T

因w T (14)x ⑥=(1 -1 -2 0)( 0 -1 -1 -1)T =3>0，故w(15)=w(14) =(1 -1 -2 0)T

因w T (15)x ⑧=(1 -1 -2 0)( 0 -1 0 -1)T =1>0，故w(16)=w(15) =(1 -1 -2 0)T

因w T (16)x ⑦=(1 -1 -2 0)( -1 -1 -1 -1)T =2>0，故w(17)=w(16) =(1 -1 -2 0)T

因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第三轮迭代。 第三轮迭代：

w(25)=(2 -2 -2 0);

因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第四轮迭代。 第四轮迭代：

w(33)=(2 -2 -2 1)

因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第五轮迭代。 第五轮迭代：

w(41)=(2 -2 -2 1)

因为该轮迭代的权向量对全部模式都能正确判别。所以权向量即为(2 -2 -2 1),相应的判别函数为123()2221d x x x x =--+ (2)编写求解上述问题的感知器算法程序。 见附件

·用多类感知器算法求下列模式的判别函数： ω1: (-1 -1)T ω2: (0 0)T ω3: (1 1)T 将模式样本写成增广形式：

x ①=(-1 -1 1)T , x ②=(0 0 1)T , x ③=(1 1 1)T

取初始值w 1(1)=w 2(1)=w 3(1)=(0 0 0)T

，C=1。

第一轮迭代（k=1）：以x ①=(-1 -1 1)T

作为训练样本。

d 1(1)=)1(1T

w x ①=(0 0 0)(-1 -1 1)T

=0

d 2(1)=)1(2T

w x ①=(0 0 0)(-1 -1 1)T

=0

d 3(1)=)1(3T w x ①=(0 0 0)(-1 -1 1)T

=0

因d 1(1)≯d 2(1)，d 1(1)≯d 3(1)，故

w 1(2)=w 1(1)+x ①=(-1 -1 1)

T

w 2(2)=w 2(1)-x ①=(1 1 -1)T

w 3(2)=w 3(1)-x ①=(1 1 -1)T

第二轮迭代（k=2）：以x ②=(0 0 1)T

作为训练样本

d 1(2)=)2(1T

w x ②=(-1 -1 1)(0 0 1)T

=1

d 2(2)=)2(2T

w x ②=(1 1 -1)(0 0 1)T

=-1

d 3(2)=)2(3T w x ②=(1 1 -1)(0 0 1)T

=-1

因d 2(2)≯d 1(2)，d 2(2)≯d 3(2)，故

w 1(3)=w 1(2)-x ②=(-1 -1 0)

T

w 2(3)=w 2(2)+x ②=(1 1 0)T

w 3(3)=w 3(2)-x ②=(1 1 -2)T

第三轮迭代（k=3）：以x ③=(1 1 1)T

作为训练样本

d 1(3)=)3(1T

w x ③=(-1 -1 0)(1 1 1)T

=-2