模式识别习题答案

将 w0 代入由 (∗∗) 得到的第二个等式得到：
1 [ N
Sw
+
N1N2 N2
(m1
−
m2)(m1
−
m2)T ]w
=
m1
−
m2
显然，
N1 N2 N2
(m1
−
m2
)(m1
−
m2
)T
w
在
m1 − m2
方向上，不妨令
N1 N2 N2
(m1
−
m2)(m1 − m2)T w = (1 − λ)(m1 − m2) 代入上式可得
g(x) = aT y, a = (1, 2, −2)T , y = (x1, x2, 1)T
(3)事实上， X 是 Y 中的一个 y3 = 1 超平面，两者有相同的表达式，因此对 原空间的划分相同。 4.8 证明在正态等协方差条件下，Fisher线性判别准则等价于贝叶斯判别。 证明： 在正态等协方差条件（ Σ1 = Σ2 = Σ ）下，贝叶斯判别的决策面方程为：
w xp = x ∓ r ∥w∥
根据超平面的定向，将 r 代入可得，
g(x) xp = x − ∥w∥2 w
4.4 对于二维线性判别函数
g(x) = x1 + 2x2 − 2
(1)将判别函数写成 g(x) = wT x + w0 的形式，并画出 g(x) = 0 的几何图形； (2)映射成广义齐次线性判别函数
∥∇J (a)∥2 ρk = ∇JT (a)D∇J(a)
时，梯度下降算法的迭代公式为
证明：
ak+1
=
ak
+
b
− aTk y1 ∥y1∥2
y1
∇J (ak) = 2(aTk y1 − b)y1, D = 2y1y1T
进而可得
ρk
=
2(aTk y1
4(aTk y1 − b)2∥y1∥2 − b)y1T · 2y1y1T · 2(aTk y1
模式识别习题答案 （第 3 − 4 次）
金文马 北京大学数学科学学院
2010.12.08
1 第四章课后习题
4.1
(1)指出从
x
到超平面
g(x)
=
wT x+w0
=
0
的距离
r
=
|g(x)| ∥w∥
是在
g(xq )
=
0
的
约束条件下，使 ∥x − xq∥2 达到极小的解；
(2)指出在超平面上的投影是
g(x) xq = x − ∥w∥2 w
wT x + w0 = 0
其中
w = Σ−1(µ1 − µ2)
w0
=
−(µ1
−
µ2)T Σ−1 µ1
+ 2
µ2
+
ln
P (w1) w2
在Fisher线 性 判 别 中 ， 如 果 用 样 本 均 值 和 协 方 差 来 估 计 µi 和 Σ ， 那 么 使Fisher准则函数取极大值的最优投影方向与 Σ−1(µ1 − µ2) 相同，忽略常 数因子取 w∗ = Σ−1(µ1 − µ2) ，显然两种方法等价。
(∗)
对 Y 的所有行进行排序，使前 N1 个样本对应 ωi 类，剩下的 N2 个样本对
应 ω2 类，记
Y = I1 x1 −I2 −x2
其中 Ii 是全为 1 的 Ni 维向量， xi 有 Ni 行。代入MSE解的表达式即可得
Байду номын сангаас
N
(N1m1 + N2m2)T
w0 =
0
(N1m1 + N2m2) Sw + N1m1mT1 + N2m2mT2
− b)y1
=
1 2∥y1∥2
代入即得。
4.15 证明：当取
[ N
NN
N ]T
b = ,··· , , ,··· ,
N1
N1 N2
N2
时，MSE解等价于Fisher解。证明：
记
b = [b1, b2]T
其中，
bi
=
[
N Ni
,
·
·
·
,
N Ni
]T
,
i
=
1,
2
，MSE解为：
a∗ = Y +b = (Y T Y )−1Y T b
解： (1)设 x 在超平面上的投影是 xp ，则显然:
wT xp + w0 = 0
w
x
−
xp
=
±r ∥w∥
将第二式代入第一式得到：
r = ± wT x + w0 = |g(x)|
∥w∥
∥w∥
显然，根据正交投影的性质，点 xp 满足 g(xp) = 0 ，且使得 ∥x − xp∥ 取得极 小值。
(2)由(1)可得，
y∈Y k
也即
J(a) = ∥a∥F (a)
则感知准则函数与被错分样本到超平面的距离之和成正比。
4.14 考虑准则函数
∑
J(a) =
(aT y − b)2
y∈Y (a)
2
其 中 ， Y(⊣) 是 使aT y ≤ b的 样 本 集 合 。 设 y1 是 Y(ak) 中 的 唯 一 样 本 ， 则 J (a) 的梯度为 ∇J (ak) = 2(aTk y1 − b)y1 ，二阶偏导数矩阵为 D = 2y1y1T 。 据此证明，若最优步长选择为
1 N Sww = λ(m1 − m2) ⇒ w = λN Sw−1(m1 − m2)
忽略比例因子，它和Fisher判别函数是一致的。
2 第五章课后习题
5.2 已知两类问题如图（见 P.134 图 5.14 ）所示，其中“ × ”表示 ω1 类训练集 的一个原型，“ ⃝ ”表示 ω2 类训练集的一个原型。 (1)找出紧互对原型对集合 P ； (2)找出与紧互对原型对集合相联系的超平面集 H ； (3)假设训练集样本与原型完全相同，找出由超平面集 H 产生的 z(x) 。 解： (1) P = {[(2, 5), (1, 3)][(3, 4), (3, 2)][(4, 6), (5, 5)]} (2)相应的超平面集为
w
N (m1 − m2)
(∗∗)
3
其中
1∑
mi
=
Ni
xi, i
xi ∈Ci
=
1, 2
∑2 ∑
Sw =
(xj − mi)(xj − mi)T
i=1 xj ∈Ci
记
m
为所有样本的均值，则
N1m1 + N2m2
=
N m, m
=
1 N
∑N
i=1
xi
，
由 (∗∗) 式得到的第一个等式可以得到：
N w0 + (N1m1 + N2m2)T w = 0 ⇒ w0 = −mT w
4.10
证明在几何上，感知准则函数正比于被错分样本到决策面的距离之和。
证明：
感知器准则函数为
J (a)
=
∑
y∈Y
k
(−aT
y)
，其中
Yk
为错分样本的集合。被错
分样本（yi）到决策面(
aT y
=0
)的距离为
|aT yi| ∥a∥
，被错分样本到决策面的距
离之和为
F (a) = ∑ − aT yi ∥a∥
g(x) = aT y
(3)指出上述 X 空间实际上是 Y 空间的一个子空间，且 aT y = 0 对 X 子空间 的划分与原空间中 wT x + w0 = 0 对原 X 空间的划分相同，并在图上标示出 来。
1
解： (1)取 w = (1, 2)T , x = (x1, x2), w0 = −2即可，图形略。 (2)映射成广义齐次线性判别函数