基于BP的神经网络变量筛选

参数初始化：最大训练次数，学习精度，隐节点 数，初始权值、阈值，初始学习速率等
计算各层的输入和输出值 Yes
50 年代末，F·Rosenblatt 设计制作了“感知机”，它是一种多层的神经网络。这项 工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿 效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研 究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研 究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以 解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视； 其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制 作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可 能的；另外，在 1968 年一本名为《感知机》的著作中指出线性感知机功能是有限的， 它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论 点促使大批研究人员对于人工神经网络的前景失去信心。60 年代末期，人工神经网络的 研究进入了低潮。
1945 年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计 算机时代的开始。1948 年，他在研究工作中比较了人脑结构与存储程序式计算机的根本 区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机 技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计 算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算 机联系在一起的，但他也是人工神经网络研究的先驱之一。
层权值的修正量Δwij，隐含层阈值的修正量 i 。
wki

E wki
ak ；

E ak
wij ；

E wij
i ；

E i
（3-7）
输出层权值调整公式：
wki
E wki
E net k
net k wki
E ok
(Tk p ok p ) ' netk yi
p1 k 1
PL
ak
(Tk p ok p ) ' netk
p1 k 1
PL
wij
(Tkp okp ) ' netk wki (neti ) x j
p1 k 1
⒋1 附加动量法.................................................................................................................6 ⒋2 自适应学习速率.........................................................................................................7 ⒋3 动量-自适应学习速率调整算法........................................................................................ 7 ⒌ 案例--基于BP的神经网络变量筛选................................................................................... 7 ⒌1 matlab程序实现............................................................................................................. 8 ⒌2 matlab仿真结果............................................................................................................. 11 ⒍实验小结...............................................................................................................................12
wki 表示输出层第 k 个节点到隐含层第 i 个节点之间的权值，i=1,…,q； ak 表示输出层第 k 个节点的阈值,k=1,…,L； x 表示输出层的激励函数；
ok 表示输出层第 k 个节点的输出。
（1）信号的前向传播过程 隐含层第 i 个节点的输入 neti：
M
neti wij x j i j 1

yi
，
netk ak

1
，
neti wij

xj
，
neti i
1
E
yi
P

p 1
L
(Tkp okp )
k 1
'(netk ) wki
yi neti
(neti )
所以最后得到以下公式：
ok netk

'(netk )
PL
wki
1
a1
x1


…
…
…
输
入 变
xj
量
xM
i

wij
wki
…
q

…
输入层
隐含层
…
ak
aL
输出层
o1
输 出
ok 变
量
oL
图 2-1 BP 网络结构 图中： x j 表示输入层第 j 个节点的输入，j=1,…,M； wij 表示隐含层第 i 个节点到输入层第 j 个节点之间的权值； i 表示隐含层第 i 个节点的阈值； (x) 表示隐含层的激励函数；
关键词：BP 神经网络，变量筛选，matlab 仿真
1
目录
摘 要...........................................................................................................................................1 目 录...........................................................................................................................................2 ⒈ BP神经网络的发展历史......................................................................................................1 ⒉ 基本BP算法公式推导..........................................................................................................2 ⒊基本BP算法的缺陷................................................................................................................ 5 ⒋ BP算法的改进......................................................................................................................6
i 1
j 1
（3-3）
输出层第 k 个节点的输出 ok：
q
q
M

ok (netk ) ( wki yi ak ) wki ( wij x j i ) ak
i 1
i1
j 1

（2）误差的反向传播过程
（3-4）
误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差

E yi
yi neti
neti wij
（3-10）
3
隐含层阈值调整公式：
i

E i

E neti
neti i

E yi
yi neti
neti i
又因为：
E
ok
PL

(Tk p ok p )
p1 k 1
net k wki
另外，在 60 年代初期，Widrow 提出了自适应线性元件网络，这是一种连续取值的 线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些 工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。
1
2. 基本 BP 算法公式推导
基本 BP 算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出 时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
2
1. BP 神经网络的发展历史
人工神经网络早期的研究工作应追溯至上世纪 40 年代。下面以时间顺序，以著名的 人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。
1943 年，心理学家 W·Mcculloch 和数理逻辑学家 W·Pitts 在分析、总结神经元基 本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领 域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。
ok net k