神经网络设计 考试要点总结

1、 神经网络的定义：由大量与自然神经系统的神经细胞类似的人工神经元互联而成的网络。分类：前向网络、反馈网络，静态网络、动态网络，连续时间网络、离散时间网络，阵列网络、非阵列网络。

2、 如何选择一种网络结构：1、应用问题的输入数=网络的输入个数2、输出层神经元的数目=应用问题的输出数

3、输出层的传输函数选择至少部分依赖于应用问题的输出描述。

3、 神经网络优点：非线性特征，并行分布处理方式，便于硬件实现，自学习和自适应能力，数据融合的能力，多变量系统。

4、 写出两种神经网络传输函数

a = hard lim(n)硬极限传输函数

a =hard lims(n) 对称硬极限函数

a =purelin(n) 线性传输函数

a = poslin(n) 正线性

a =satlin(n) 饱和线性

a =satlins(n)

a =logsig(n) a = 1/1+e -n

a =tansig(n) a = e n -e -n /e n +e -n

5、单层感知机学习方法收敛的条件：a 、问题的解存在（即满足X *T Z`(i)>δ）；b 、仅在输入向量被错误分类时才改变的权值；c 、输入向量长度的上界存在π=max{||Z`（i ）||2}

6、监督学习算法w(k+1)=w(k)+2αe(k)p T (k)的物理定义：该算法在每输入一个训练值的情况下就更新权值，他能调整权值知道使均方误差达到最小。他尽力使判定边界远离训练（参考）模式，从而减小网络受噪声的影响。

7、 误差后向传播算法存在的主要问题及其改进措施：

主要问题：训练太慢，训练时间长，多层非线性网络的均方误差性能指数不是一个标准二次函数，他可能存在多个局部极小值，并且在参数空间内的曲率也不一样；

改进措施：使用启发式信息技术：

(1)、动量方法（MOBP ）

1()(1)(1)()()(1)(1)m m m m T m m m W k W k S a b k b k S γγαγγα-?=?---?=?--- 特征：1）维持算法稳定的前提下使用更高的学习速度；2）当轨迹进入某个一致方向后，加速收敛；

(2)、VLBP ：a 、如果一次权值改变后（在整个训练集上）均方误差的递增超过某个百分数ε(典型值为1%—5%)，则权值改变被取消，学习速度乘以一个小于1的因子ρ，动量系数γ设为0；b 、如果权值改变后的平方误差递减，则接受权值更新，学习速度乘以大于1的因子η，如果γ过去设置为0，则恢复到原来的值；c 、如果平方误差递增不超过ε，则接受权值更新，学习速度和动量系数不变。

8、数值优化技术：共轭梯度法(CGBP)它不需要计算二次导数，但是仍具有二次收敛的特性，它通过区间定位和区间缩小来确定函数在某个特定方向的权值。

9、Levenberg-Marquardt 算法(LMBP):

11[()()]()()T T K K K K K K K X X J X J X I J X J X μ-+=-+

21()()()()N

T i i F X V X V X V X ===∑

()2()()T F X J X V X ?=

J(x)是一阶偏导矩阵

10、 批处理：在整个训练集都提及网络后才提及系数，平均每个样本计算出的梯度以得到更精确的梯度值，如果训练集是完全的，即覆盖了所有可能的输入/输出时，则梯度估计是精确的。

11、 Kohonen 规则：i W(q)=i W(q-1)+α(P(q)-i W(q-1)),i ∈X(q)

类似于instar 规则，kohonen 规则允许神经元的权值学习输入向量，因此适用于识别和应用，与instar 规则不同的是学习并不正比于神经元输出a i (q),

他的学习发声在神经元的下标i 是集合X(q)的元素时，如果instar 规则应用于返回值为0或1的传输函数（如硬极限函数）的一层神经元时，kohonen 规则可以通过将X(q)定义为满足a i (q)=1d 的所有i 的集合，从而与instar 规则等价。

12、 Outstar 规则：instar 网络（有一个向量输入一个标量输出）可以利用特定向量刺激与响应相联想起来实现模式识别。Outstar 网有一个标量输入和一个向量输出，他可以利用一个刺激和向量响应之间的联想完成模式回忆。W j (q)=W j (q-1)+α(a(q)-W j (q-1))P j (q),这里W j 是矩阵W 的第j 列。

a = satlims(WP)

13、 单层感知机的缺点及其原因（思考题）

答：单层感知机只能识别线性可分的模式（即能够用一个线性边界区分），因为单层感知机存在一个线性边界wp+b=0，单层感知机只能对那些能够被线性边界分开的输入向量进行分类，对噪声敏感，因为训练模式常接近网络的判定边界。

14、 多层前向神经网络模型、算法、应用（论述）

LMS 算法和BP 算法都是使均方误差最小化的最速下降法，唯一区别是梯度的计算方法不同，对多层网络而言，为了计算均方误差对隐层权值和偏置值得导数，BP 算法使用了链法则，首先计算最后一层的导数，然后反向传播通过网络并用链法则计算隐层中得导数，算法也因此被称为反向传播算法。

BP 算法的主要问题是：训练时间长，收敛速度慢，存在多个局部极小点，要选择多个不同的初始值以确保算法收敛到全局极小点。

15、 监督学习算法的特点：在监督学习中，学习规则由一组描述网络行为的训练集给出{p 1,t 1}···{p q ,t q },p q 表示网络输入，t q 表示网络的目标输出。当输入作用到网络时，网络的实际输出与目标输出作比较，然而学习规则调整网络的权值和偏置值，从而使网络的实际输出越来越接近于目标输出直到网络的性能指数达到一定的精度或最优时停止训练。

16、 感知机学习相关知识：(1)、规则：W new =W old +ep T e=t-a b new =b old +e

(2)、收敛条件：a 、问题的解存在；b 、只有输入向量被错误的分类时才改编权值；c 、输入向量的长度存在上界； (3)、局限性：只能对那些能够被线性边界分开的输入向量进行分类，即只能解决线性可分问题； (4)、感知机网络模型：

a=hardlim(wp+b)

14 自联想存储器：期望输出量等于网络的输入向量（即t q=p q）

21、BP算法小结：第一步通过网络将输入向前传播a0= p

a m+1=f m+1(w m+1a m+

b m+1),其中m=1,2,3···M-1 a=a M最后一层输出；第二步通过网络将敏感性反向传播：S M=-2F M(n M)(t-a) S m=F m(n m)(W m+1)T S m+1；最后，使用近似的最速下降法更新权值和偏置值：W m(k+1)=W m(k)-αS m(a m-1)T

b m(k+1)=b m(k)-αS m

22、无监督的hebb规则：w(q)=w(q-1)+αa(q)p T(q)

带衰减的hebb规则：w(q)=w(q-1)+αa(q)p T(q)-γw(q-1)

23、监督学习方法的特点：(1)、首先需要输出一组正确的训练样本{p1，t1}···{p n，

t n}；(2)、每输入一个样本就更新一次网络参数；(3)、使军方误差达到最小。

24、反馈网络的工作原理：反馈网络在初始输入向量中产生竞争，他通过设置权值矩阵为W ij=1,i=j;W ij=-w,i~=j；来使每个神经元对其他神经元产生抑制作用，这种抑制使得初始状态最大的神经元的输出在下降的同事保持最大，而其他神经元逐渐衰减为0，最终这个竞争网络的输出只有一个非零值，该非零输出对应的神经元的输入为与原型向量最匹配的输入模式。

25、神经网络的应用：神经网络的应用越来越广泛，他不仅可以应用于工程，数学，科学领域，也可广泛应用于医学、商业、金融和文学等领域。它可以用于完成模式识别问题，作函数逼近器，函数拟合，自适应滤波，消除回声和噪声等。神经网络还能用于求解优化问题。同时，基于高速计算机和快速算法，也可用神经网络解决过去许多计算量很大的复杂工业问题。

26、Hebb学习的变形相关：(1)、过滤权值变化,过滤学习：W new=(1-γ)W old+αt q p q T；(2)、调整学习速度，增量规则：W new= W old+α(t q-a q)p q T，该规则使均方误差最小，F(x)=E[(t-a)T(t-a)]。(3)无监督Hebb：W new= W old+αa q p q T

Hebb规则是使误差平方和最小，它要等待所有输入输出已知后才计算一次权值，而增量规则是每输入一个模式就更新一次权值。

27、人工神经网络的特点：人工神经网络没有人脑那么复杂，但他们之间有两个关键相似之处。首先，两个网络的构成都是可计算单元的高度互连（虽然人工神经元比生物神经元简单得多）。其次，处理单元之间的连接决定了网络的功能。

28、稳定性概念：

1、稳定性：（在lyapunov的意义下）：一个原点是稳定的平衡点，如果对于任意

给定的值ε>0，总存在一个数δ(ε)>0,使得当‖a(0)‖<δ时产生的运动a(t)对于t>0满足‖a(t)‖<ε。

2、渐近稳定性：一个原点是一个渐近稳定的平衡点，如果存在一个值δ>0，只

要‖a(0)‖<δ，产生的运动在t→∞时满足‖a(t)‖→0。

3、正定：一个标量函数V(a)，当V(0)=0且V(a)>0(a≠0)时，称为正定。

4、半正定：一个标量函数V(a),当V(a)≥0(对于所有的a)时，称为半正定。

5、Lyapunov函数：对于非线性系统x=f(x),如果存在函数E(x)：(1)、E(x)正

定；(2)、E(x)关于各x

连续；(3)、d/d t E(X(t))<0，则上述的E(x)是Lyapunov

i

函数