模式识别_孙即祥_第3章习题解

第三章习题答案

一、设一3类问题有如下判决函数

d1(x) = - x1

d2(x) = x1 + x2 -1

d3(x) = x1 - x2 -1

试画出下列各种情况的判决边界及各类的区域：

（1）满足3.4.2节中的第一种情况；

（2）满足3.4.2节中的第二种情况, 且令

d12(x) = d1(x)，d13(x) = d2(x)，d23(x) = d3(x)；

（3）满足3.4.2节中的第三种情况。

解：

1、两分法

2、Wi/Wj 两分法

3、没有不确定区的Wi/Wj两分法

二、证明感知器的收敛性。

证明：

如果模式是线性可分的，则存在判别函数的最佳权向量解，利用梯度下降法求解函数的极小值点，即为。

构造准则函数（k<0）

当 <０时，

当时，，

∵训练模式已符号规范化，∴寻求的最小值，且满足。

令k=1/2,求得准则函数的梯度

由梯度下降法，增广权矢量的修正迭代公式为：

取＝１，则上述准则下的梯度下降法的迭代公式与感知器训练算法是一致的。∵梯度下降法是收敛到极小值点的，∴感知器算法也是收敛的。

三、习题3.4

证明：

MSE解为

其中：

则对应的

化简

由上式可得：

由（1）式可得：

代入（2）式得：

∵为标量

∴

为一标量

∴

∵、设为行向量，如果设为列向量

则

而Fisher最佳判别矢量为

不考虑标量因子的影响，和完全一致

∴当余量矢量时

MSE解等价于Fisher解。

四、

解：

设、在判别界面中

（1）－（2）得

∵在判别界面中

∴平面

则平面的单位法矢量为

设点P在判别界面d( )=0中，则

∵

∴

当和方向相同时，即为点到平面的距离时

五、以下列两类模式为样本，用感知器算法求其判决函数。（令 w(1) =

(-1,-2,-2)T）

ω1：{(0,0,0)’, (1,0,0)’, (1,0,1)’, (1,1,0)’,}

ω2：{(0,0,1)’, (0,1,1)’, (0,1,0)’, (1,1,1)’,}

解

（1）将训练样本分量增广化及符号规范化，将训练样本增加一个分量1,且把来自类的训练样本的各分量乘以－1,则得到训练模式集：

（2）运用感知器算法，任意给增广权矢量赋初值，取增量，迭代步数k=1，则有

(3)由上面的结果可以看出，经过迭代能对所有训练样本正确分类

∴＝

判别界面方程为

3x1-2x2-3x3+1=0

六、用MSE(梯度法)算法检验下列模式的线性可分性。ω1：{(0,1)’，(0,-1)’ }，ω2：{(1,0)’，(-1,0)’ }。

解：

将训练样本增广及规范化后，得到

则

利用伪逆法

利用H-K算法，

设置步数k=0

则

的各分量均为负值，则停止迭代

∴无法求得方程组的解，所以模式线性不可分。

七、已知ω1：{(0,0)’},ω2：{(1,1)’},ω3：{(-1,1)’}。用感知器算法求该三类问题的判别函数，并画出解区域。

解：

d(x)=9x2+7y2+5＝０

设y1=x2,y2=x

则广义线性判别函数为

它对应的正负空间如下图：