神经网络试卷

神经网络试卷

一、填空题（30分）

１、人工神经元网络是由大量的神经元网络通过极其丰富和完善的联接而构成的自适应非线性动力系统。研究神经网络可以分为两个过程，即快过程，指神经网络的计算过程；慢过程，指神经网络的学习过程。

２、神经元（即神经细胞）是由细胞体、树突、轴突、和突触四个部分组成。

３、神经元的膜电位是指以外部电位作为参考电位的内部电位；静止膜电位是指没有输入时的膜电位，通常为-70mv；动作过程是指外界有输入时，受其影响膜电位的变化过程。

４、神经元的兴奋是指神经元产生膜电位约为100mv，时宽约为1ms的脉冲过程，膜电位的阈值为-55mv，大于-55mv则兴奋。

５、自组织过程就是一种非监督学习，这种学习的目的是从一组数据中提取有意义的特征或某种内在的规律性，它所遵循的规则一般是局部性的，即联接权的改变只与近邻单元的状态有关。

６、人工神经元网络按网络结构可分为前馈型和反馈型；按网络的性能分为连续性和离散性、确定性和随机性网络；按学习的方式可分为有导师和无导师学习；按照突触联接的性质分为一阶线性关联与高阶线性关联。

７、 D.D.Hebb学习规则是由Hebb D D提出来的，是最早、最著名的训练算法，Hebb规则假定：当两个神经细胞同时兴奋时，它们之间的联接强度应该加强。在ANN中Hebb算法最简单的描述为：如果一个处理单元从另一个处理单元接收输入激励信号，而且两者都处于高激励电平，那么处理单元间的加权就应当增强。

８、误差反传算法的主要思想是把学习过程分为两个阶段：第一阶段（正向传播过程）给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望输出值，则逐层递归的计算实际输出与期望输出之差值（误差）以便根据此差值调节权值，具体些说，就是可对每一个权重计算出接收单元的误差值与发送单元的激活值积。

９、在统计模式识别和回归分析中，降低输入变量的维数是很重要得。设原始变量x为d维，m

１０、神经网络常用的七种学习规则是：Hebb学习规则、感知器的学习规则、δ学习规则、Widrow-Hoff 学习规则、相关学习规则、Winner-Take-All（胜者为王）学习规则、内星和外星学习规则。

二、简答题（40分）

１、在神经网络PCA算法中，为什么引入非线性PCA算法？

答：因为我们讨论的线性PCA变换，存在一些不足：

（1）常规的PCA可用数值法有效的求解，而基于梯度法的神经网络收敛较慢

（2）主分量只由数据的二阶统计量——自相关阵确定，这种二阶统计量只能完全描述平稳的高斯分布的数据。

（3）PCA网络不能从线性组合中把独立的信号成分分离出来。

若网络中引入非线性，用神经网络又更大的优势，因为

（1）输入到输出的变换是非线性的，使得用神经网络更有效。

（2）梯度法通过迭代计算，避免了非线性方程，且可以用模拟硬件电路实现。

（3）可以使用如累计量这样的高阶统计量，可以代表非高斯数据。

（4）非线性处理可以使输出更加相互独立。

２、试用三层BP网络求解异或问题？

答：建立三层BP网络的结构图如下：

输出为：

其中：???-+==5

.12

1

2

2

1

1

x x y y

3、简述神经元的动作特征？

（1） 空间性相加

设任意一个输入信号x i ，引膜电位的变化量：w i x i ，则x 1,x 2,…,x n 引气膜电位总的变化量记为：

∑==n

i i

i

x w u 1

＝W ·X

（２）时间性相加

设w i (t ’)表示第i 个输入端的单位强度的输入信号（x i =1时）对t ’间隔之后产生的膜电位变化量，则xi 在t 时刻引起的膜电位变化量为：

?∞

-?=?=-=t

i

i

i

i

i

i

i

t w t x t x t w dt t t x t w t u )()()()()'()()(

（３）阈值的作用

)(u f Z = 非线性关系

（４）不应期

绝对不应期：膜电位低于静止膜电位-70mv 。

相对不应期：膜电位稳定在-55mv ，外界有变化就响应。 （５）疲劳

随着持续兴奋，阈值不断提高，神经元难以兴奋。 （６）可塑性

突触权w i 随信号x i 的强弱和神经元的兴奋程度变化而变化。 4、简述Hebb 学习规则？

答：考虑有ｎ个输入的单个神经元，其权向量为w ∈R n ,输入向量x ∈R n ,外加应有输出值ｄ，输入信号按未知概率分布p(x,d)提供。则神经元的统一学习方程为：

)(]),(),([)()()(t x d t x t w r t t w dt

t dw ητ+-=

省略时间变量ｔ，把τ化为右端常数，有

离散情况：w d x w r w λη-=?),,( 连续情况：w d x w r W λη-=),,(

其中，ηλ,为正实数，dt

dw

W =，),,(d x w r 为学

习信号，取

),,(d x w r 0,===λx w y T

，得到Hebb 学习规则yx W η=

三、 问答题(30分)

１、 推导PCA 的工作原理？

答：令x 代表d 维随机向量，假定其均值为零，即E[x]=0。

令u 代表一个d 维单位向量，即||u||=(u T u)1/2=1,x 在u 上的投影为a=x T u=u T x

a 亦为随机变量，均值为零（因为E[a]=u T E[x]=0），其方差为

σ2＝E[a2]=E[(u T x)( x T u)]=u T E[xx T ]u=u T R xx u

其中d ×d 阵Rxx 为x 的自相关阵（均值为0时即为协方差阵），它是一个对称阵，从上式可见a 的方差σ2

式u 的函数，即φ(u)= σ2=u T R xx u

如希望找到一个方向u 使得方差φ(u)达最大，在极值出如对u 有一个很小的扰动δu ，应满足φ(u+δu)≤φ(u)

而φ(u+δu)＝（u+δu ）T R xx （u+δu ）= u T R xx u +2(δu) R xx u +(δu)T R xx δu 忽略的二次项，得

φ(u+δu)≈φ(u)+(δu)T R xx u

由此可见，

（δu)T R xx u ≈ 0 （1）

由于 || u+δu ||=（u+δu ）T （u+δu ）≈1

所以有 （δu)T u ≈ 0 （2）

可见δU 得方向近似与U 正交，即只允许在方向上有变化，由于U 本身没有量纲的，要把（1）和（2）联合在一起，需要一个尺度因子λ

（δu)T R xx u-（δu)T u=0

即 （δu)T （R xx u-λu ）=0 可见u 满足下式

R xx u ＝λu

这是矩阵R xx 的特征值方程，即u 为R xx 的特征向量。R xx 为实对称阵时，它的特征值是非负实数，且对应不同特征值的特征向量是正交的。用λ0,λ1,…,λd-1表示R xx 的d 个特征值，则有

R xx u j =λj u j j=0,1,…,d-1

设λj 的排序为λ0≥λ1≥…≥λj ≥λj-1 ,用各特征向量构成一个矩阵

U=[u 0,u 1,…, u d-1]

则有R xx U=U Λ，其中Λ＝diag(λ0,λ1,…,λd-1)，U 为正交阵（其列向量相互正交），即U T U=I ，或U T =U -1.

所以有如下相似变换

U T R xx U=Λ

展开后有 ???≠==j

k j

k u R u j

k

xx

T

j

,0,λ

即 φ(u j )= λj ， j=0,1,…,d-1

根据以上分析可令

a j = u j T x= x T u j ， j=0,1,…,d-1

若令a=[a 0,a 1,…,a d-1]T

=[x T

u 0, x T

u 1,…, x T

u d-1]T

,则有a= U T

x ，或x=Ua=∑

==10

d j j

j

u a 。如果希望把x 压缩到m 维，

且满足压缩后的均方误差为最小，可按如下方式进行。

令λ0λ1，…, λm-1为R xx 的前m 个最大特征值。则选择变换后的前m 个分量即可：

X’=∑

==1

0d j j

j

u a m

这样做误差为

e=x-x ’=∑

==1

d m j j j

u a

原始变量x 的d 个分量的总方差为

∑-=10

2d j j

σ=∑==1

d j j

λ

而变换后的向量的前m 个分量方差为

∑-=10

2m j j

σ=∑==1

m j j

λ

可见，误差向量e 的方差的大小是∑

==1

d m

j j

λ

。

２、 求（０，１）模型下的活动度变换函数F(X)？

答：设w ji ，s j ，h j 独立的，服从正态分布s ＝E(s j ),

2

s

σ

=V(s j ),

h =E(h j ),2

h

σ

=V(h j ),

w =E(wj),2

w

σ

=V(w j )

step 1：ｎ

的个数

11==

=∑=j

n

i

j j

z z n z 根据大数定理得到：Z=prob{Z i =1} step 2：u j 的平均膜电位u j =∑

++i

j

j

i

ji

h s x w

Z j =1 u j ＞0,所以Z=prob{u i ＞0}=F(Z) step 3：设p(u) 为uj 的概率密度，则F(Z)=prob{u i ＞0}＝?∞

０du u p )( 因为w ji ，s j ，h j 服从正态分布，

所以u j 也服从正态分布。

step 4：

h s X w h s x w m

h s x w E u i

i i

j

j

i

ji

++?=-+?=-+=∑∑1

)]

([

2

2

2

2

)(]

[h

s w i

j

j i ji j

u X h s x w V u V δ

δδδ++?=-+==∑

)

(21)()(]

2)(exp[21)(2

2

022

u

y u

u u u

dy

e u

u y du

u p Z F u u u p u σ

π

δσπ

σΦ=-==∴--=--∞

-∞

∞

?

??令