北邮模式识别课堂作业答案

第一次课堂作业

1.人在识别事物时是否可以避免错识

2.如果错识不可避免，那么你是否怀疑你所看到的、听到的、嗅到的到底

是真是的，还是虚假的

3.如果不是，那么你依靠的是什么呢用学术语言该如何表示。

4.我们是以统计学为基础分析模式识别问题，采用的是错误概率评价分类

器性能。如果不采用统计学，你是否能想到还有什么合理地分类器性能评价指标来替代错误率

1.知觉的特性为选择性、整体性、理解性、恒常性。错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉。认知是一个过程，需要大脑的参与.人的认知并不神秘，也符合一定的规律，也会产生错误

2.不是

3.辨别事物的最基本方法是计算 . 从不同事物所具有的不同属性为出发点认识事物. 一种是对事物的属性进行度量，属于定量的表示方法(向量表示法 )。另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。

4.风险

第二次课堂作业

作为学生，你需要判断今天的课是否点名。结合该问题(或者其它你熟悉的识别问题，如”天气预报”)，说明:

先验概率、后验概率和类条件概率

按照最小错误率如何决策

按照最小风险如何决策

ωi为老师点名的事件,x为判断老师点名的概率

1.先验概率: 指根据以往经验和分析得到的该老师点名的概率,即为先验概率P(ωi )

后验概率: 在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。

在上过课之后,了解到的老师点名的概率为后验概率P(ωi|x)

类条件概率:在老师点名这个事件发生的条件下,学生判断老师点名的概率p(x| ωi )

2.

如果P(ω1|X)>P(ω2|X)，则X归为ω1类别

如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别

3.1)计算出后验概率

已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的特征向量X

根据贝叶斯公式计算

j=1,…，x

2)计算条件风险

已知: 后验概率和决策表

计算出每个决策的条件风险

3) 找出使条件风险最小的决策αk,则αk就是最小风险贝叶斯决策。

第3次课堂作业

1.正态分布概率下采用最小错误率贝叶斯决策，满足什么条件时，分类边界是线性函数

2.什么是参数估计，什么是非参数估计(分别举例解释)

1.在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵

是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。

a)在Σi=σ2I P(ωi)=P(ωj)条件下，正态分布概率模型下的最小

错误率贝叶斯决策等价于最小距离分类器

b)Σi=σ2I P(ωi)P(ωj) 判别函数为

最小欧氏距距离分类器

c)2)Σi=Σ判别函数线性分类器

2.参数估计:已经随机变量服从正态分布,估计均值为µ和方差ε

非参数估计:未知数学模型,直接估计概率密度函数

自己举例子吧

参数估计:基于贝叶斯的最小错误率估计方法

非参数估计:Parzen窗口估计k N近邻估计

第4次课堂作业

对比两种方法，回答:

1.你怎样理解极大似然估计。

2.你怎样理解贝叶斯估计基本思想。

1.极大似然估计:已经得到实验结果的情况下,寻找着使得这个结果出现的可能性最大

的那个数值作為θ的估计

2.贝叶斯估计基本思想:已知参数θ的概率密度函数,根据样本的观测值,基于贝叶斯

决策来估计参数

(理解部分,自己加吧加吧)

第6次课堂作业

1.线性分类器的分界面是什么曲线

在线性判别函数条件下它对应d维空间的一个超平面

g(X)＝0就是相应的决策面方程

2.在两维空间存在一条不过原点的直线，a x1+b x2+c=0，采用增广向量形式：

那么，在增加一维的三维空间中，αT Y=0表示的是，它的方程表示为。

Y=[1;x2;x1] a=[c;b;a]

三维空间中决策面为一过原点的平面

这样,特征空间增加了一维，但保持了样本间的欧氏距离不变

对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的

3.设五维空间的线性方程为55x1 + 68x2 + 32x3 + 16x4 + 26x5 + 10 = 0, 试求出其权向

量与样本向量点积的表达式W T X + w0=0中的W , X和w0,以及增广样本向量形式中αT Y 的α与Y。

W=[55,68,32,16,26]’ w0=10

X=(x1,x2,x3,x4,x5)’

A=[10, 55,68,32,16,26]’

Y=[1, x1,x2,x3,x4,x5)]’

第七次作业

1.线性分类器的分界面是超平面，线性分类器设计步骤是什么

2. Fisher线性判别函数是研究这类判别函数中最有影响的方法之一,请简述它的准则.

3.感知器的准则函数是什么它通过什么方法得到最优解

(1) 1. 按需要确定一准则函数J。

2. 确定准则函数J达到极值时W*及W*0的具体数值，从而确定判别函数，完成分类

器设计。

(2)Fisher准则就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最

少，从而使分类效果为最佳。

(3)

训练样本的错分最小

梯度下降法和迭代法

第八次作业答案

1.简述最近邻的决策规则

2.简述k-最近邻的决策规则

3.比较最近邻决策和最小错误率贝叶斯决策的错误率

1.将与测试样本的类别作为决策的方法成为最近邻法

2.找测试样本的k个最近样本做决策依据的方法

3.

最近邻法的渐近平均错误率的上下界分别为贝叶斯错误率

由于一般情况下P*很小，因此又可粗略表示成

第九次作业

研究模式识别中事物的描述方法主要靠什么

设原特征空间表示成x=(x1,x2,x3)T ,即一个三维空间。现在在x空间基础上得到一个二维的特征空间Y:(y1,y2)T

–其中若y1=x1，y2=x2,属哪一种方法：特征选择还是特征提取

–若

，试问属哪种

–怎样利用距离可分性判据J2进行特征提取

1.模式就是用它们所具有的特征(Feature) 描述的。

a)一种是对事物的属性进行度量，属于定量的表示方法(向量表示法 )。

b)另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描

述方法)。

2．选择

提取

矩阵S w-1S b的本征值为λ1，λ2… λD，按大小顺序排列为:

λ1≥ λ2≥ … ≥λD，

选前d个本征值对应的本征向量作为W

即: W =[μ1，μ2…μd]

此时:

J2 (W) = λ1+ λ2 + … + λd

第10次课堂作业