2008年研究生神经网络试题A卷参考答案

研究生神经网络试题A 卷参考答案 一、名词解释(共5题，每题5分，共计25分)
1、泛化能力
答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。

泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。

2、有监督学习
答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。

3、过学习
答：过学习（over-fitting ），也叫过拟和。

在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC 维太大，所以期望风险仍然很高。

也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。

典型的过学习是多层前向网络的BP 算法
4、Hebb 学习规则
答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。

如
果用i v 、j v 表示神经元i 和j 的激活值(输出)，
ij ϖ表示两个神经元之间的连接权，则Hebb 学习规则可以表示为： ij i j w v v α∆= ，这里α表示学习速率。

Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形。

5、自学习、自组织与自适应性
答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。

而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。

能力方面的特征是神经网络的自学习、自组织与自性适应性。

自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。

自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。

自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。

也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。

二、问答题（共7题，每题8分，共计56分）
1、试述遗传算法的基本原理，并说明遗传算法的求解步骤。

答：遗传算法的基本原理如下：通过适当的编码方式把问题结构变为位串形式（染色体），在解空间中取一群点作为遗传开始的第一代，染色体的优劣程度用一个适应度函数来衡量，每一代在上一代的基础上随机地通过复制、遗传、变异来产生新的个体，不断迭代直至产生符合条件的个体为止。

迭代结束时，一般将适应度最高的个体作为问题的解。

一般遗传算法的主要步骤如下：
(1) 随机产生一个由确定长度的特征字符串组成的初始群体。

(2) 对该字符串群体迭代的执行下面的步 (a) 和 (b) ，直到满足停止标准：
(a) 计算群体中每个个体字符串的适应值；
(b) 应用复制、交叉和变异等遗传算子产生下一代群体。

(3) 把在后代中出现的最好的个体字符串指定为遗传算法的执行结果，这个结果可以表示问题的一个解。

2、什么是进化计算？它包括哪些内容？它们的出发点是什么？
答：进化计算即模仿生物来建立功能强大的算法，进而将它们运用于复杂的优化问题。

进化计算包括遗传算法、进化策略、进化编程、遗传编程和人工生命。

遗传算法是模仿生物遗传学和自然选择机理，通过人工方式构造的一类优化搜索算法，是对生物进化过程进行的一种数学仿真，是进化计算的一种最重要形式。

进化策略是一类模仿自然进化原理以求解参数优化问题的算法。

进化编程的过程，可理解为从所有可能的计算机程序形成的空间中，搜索具有高的适应度的计算机程序个体。

人工生命试图通过人工方法建造具有自然生命特征的人造系统。

3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？
答; 1．单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。

如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。

而人工神经元则忽略了这些影响，输入、输出关系十分简单。

2．信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。

3．规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。

4、感知器神经网络存在的主要缺陷是什么？
答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；
2)感知器仅能够线性地将输入矢量进行分类。

理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量；
3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。

5、请比较前馈型神经网络与反馈型神经网络的异同点。

（8分）
答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神经网络是一个非线性动力学系统。

(1)前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。

(2)前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。

(3)两者都有局部极小问题。

6、BP算法的基本思想是什么，它存在哪些不足之处？（9分）
答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。

1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。

虽然BP算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在于它的训练过程的不确定上。

具体说明如下：
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。

这主要是由于学习速率太小所造成的。

可采用变化的学习速率或自适应的学习速率来加以改进。

3）隐节点的选取缺乏理论支持；
4）训练时学习新样本有遗忘旧样本趋势
7、请描述结构风险最小化原则（SRM）的思想，并给出其数学表达式。

答：传统机器学习中的经验风险最小化（ERM）原则在有限样本情况下是不合理的。

需要同时最小化经验风险和置信界限。

统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序列，使各个子集按照VC维的大小(亦即θ的大小)排列：在每个子集中寻找最小经验风险，在子集间折衷考虑经验风险和置信界限，取得实际风险的最小，如下图所示。

这种思想称作结构风险最小化准则,即SRM准则。

结构风险最小化原则的数学表达式如下式所示：
式中R(w)为实际风险，R
emp （w）为经验风险，h是函数集的VC维，n是样本数。

n
h
n
h
w
R
w
R
emp
)
4
/
ln(
) 1
)
/
2
(ln(
)
(
)
(
η
-
+
+≤
结构风险最小化原理图
三、推导题（共一题，计19分）
1、给定图1所示的具有一个隐含层的BP简化网络图，请给出BP算法的完整推导步骤。

答：
1、信息的正向传递
1)隐含层中第i个神经元的输出为：
（1）2)输出层第k个神经元的输出为：
（2）3)定义误差函数为：
（3）2、利用梯度下降法求权值变化及误差的反向传播
(1)输出层的权值变化
对从第i个输入到第k个输出的权值有：
（4）其中：
（5）（6）同理可得：
（7）
(2)隐含层权值变化
对从第j个输入到第i个输出的权值，有：
（8）其中：（9）
同理可得：（10）。