bp神经网络详解
BP神经网络详解-最好的版本课件(1)
月份 1
销量 月份 销量
2056 7
1873
2
2395 8
1478
3
2600 9
1900
4
2298 10
1500
5
1634 11
2046
6
1600 12
1556
BP神经网络学习算法的MATLAB实现
➢%以每三个月的销售量经归一化处理后作为输入
P=[0.5152
0.8173 1.0000 ;
0.8173
计算误差函数对输出层的各神经元的偏导
数
。 o ( k )
p
e e yio w ho y io w ho
(
yio(k) h who
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo(k)
(do(k)yoo(k))f(yio(k)) o(k)
1.0000 0.7308;
1.0000
0.7308 0.1390;
0.7308
0.1390 0.1087;
0.1390
0.1087 0.3520;
0.1087
0.3520 0.0000;]';
➢%以第四个月的销售量归一化处理后作为目标向量
T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761];
BP神经网络模型
三层BP网络
输入层 x1
x2
隐含层
输出层
-
y1
z1
1
T1
y2
z2
-
2
BP神经网络介绍
BP神经网络介绍
一、什么是BP神经网络
BP神经网络（Back Propagation Neural Network），简称BP网络，是一种多层前馈神经网络。
它对神经网络中的数据进行反向传播，以获得
最小化计算误差的参数，进而得到最终的分类结果。
一般来说，BP网络
由输入层、隐藏层和输出层组成，输入层将输入数据传递给隐藏层，隐藏
层再将这些数据传递给输出层，最终由输出层输出最终的类别结果。
BP网络的运算原理大致可以分为三个步骤：前向传播、误差反向传
播和参数调整。
在前向传播阶段，BP网络从输入层开始，将输入数据依
次传递给各个隐藏层，并将这些数据转化为输出结果。
在误差反向传播阶段，BP网络从后面向前，利用误差函数计算每层的误差，即：将误差从
输出层一层一层向前传播，以计算各层的权值误差。
最后，在参数调整阶段，BP网络以动量法更新网络中的权值，从而使网络更接近最优解。
二、BP神经网络的优缺点
1、优点
（1）BP神经网络具有非线性分类能力。
BP神经网络可以捕捉和利用
非线性的输入特征，从而进行非线性的分类。
（2）BP神经网络可以自动学习，并能够权衡它的“权衡”参数。
BP神经网络算法
BP神经网络算法一、算法原理在BP神经网络中，每个神经元都与上一层的所有神经元以及下一层的所有神经元相连。
每个连接都有一个权重，表示信息传递的强度或权重。
算法流程:1.初始化权重和阈值：通过随机初始化权重和阈值，为网络赋予初值。
2.前向传播：从输入层开始，通过激活函数计算每个神经元的输出值，并将输出传递到下一层。
重复该过程，直到达到输出层。
3.计算误差：将输出层的输出值与期望输出进行比较，计算输出误差。
4.反向传播：根据误差反向传播，调整网络参数。
通过链式求导法则，计算每层的误差并更新对应的权重和阈值。
5.重复训练：不断重复前向传播和反向传播的过程，直到达到预设的训练次数或误差限度。
优缺点:1.优点：（1）非线性建模能力强：BP神经网络能够很好地处理非线性问题，具有较强的拟合能力。
（2）自适应性：网络参数可以在训练过程中自动调整，逐渐逼近期望输出。
（3）灵活性：可以通过调整网络结构和参数来适应不同的问题和任务。
（4）并行计算：网络中的神经元之间存在并行计算的特点，能够提高训练速度。
2.缺点：（1）容易陷入局部最优点：由于BP神经网络使用梯度下降算法进行权重调整，容易陷入局部最优点，导致模型精度不高。
（2）训练耗时：BP神经网络的训练过程需要大量的计算资源和耗时，特别是对于较大规模的网络和复杂的输入数据。
（3）需要大量样本：BP神经网络对于训练样本的要求较高，需要足够多的训练样本以避免过拟合或欠拟合的情况。
三、应用领域1.模式识别：BP神经网络可以用于图像识别、手写字符识别、语音识别等方面，具有优秀的分类能力。
2.预测与回归：BP神经网络可以应用于股票预测、销量预测、房价预测等问题，进行趋势预测和数据拟合。
3.控制系统：BP神经网络可以用于自适应控制、智能控制、机器人运动控制等方面，提高系统的稳定性和精度。
4.数据挖掘：BP神经网络可以应用于聚类分析、异常检测、关联规则挖掘等方面，发现数据中的隐藏信息和规律。
bp神经网络的原理
bp神经网络的原理BP神经网络（也称为反向传播神经网络）是一种基于多层前馈网络的强大机器学习模型。
它可以用于分类、回归和其他许多任务。
BP神经网络的原理基于反向传播算法，通过反向传播误差来调整神经网络的权重和偏差，从而使网络能够学习和适应输入数据。
BP神经网络的基本结构包括输入层、隐藏层和输出层。
每个层都由神经元组成，每个神经元都与上一层的所有神经元连接，并具有一个权重值。
神经元的输入是上一层的输出，通过加权和和激活函数后得到输出。
通过网络中的连接和权重，每层的输出被传递到下一层，最终得到输出层的结果。
BP神经网络的训练包括两个关键步骤：前向传播和反向传播。
前向传播是指通过网络将输入数据从输入层传递到输出层，计算网络的输出结果。
反向传播是基于网络输出结果与真实标签的误差，从输出层向输入层逆向传播误差，并根据误差调整权重和偏差。
在反向传播过程中，通过计算每个神经元的误差梯度，我们可以使用梯度下降算法更新网络中的权重和偏差。
误差梯度是指误差对权重和偏差的偏导数，衡量了误差对于权重和偏差的影响程度。
利用误差梯度，我们可以将误差从输出层反向传播到隐藏层和输入层，同时更新每层的权重和偏差，从而不断优化网络的性能。
通过多次迭代训练，BP神经网络可以逐渐减少误差，并提高对输入数据的泛化能力。
然而，BP神经网络也存在一些问题，如容易陷入局部最优解、过拟合等。
为了克服这些问题，可以采用一些技巧，如正则化、随机初始权重、早停等方法。
总结而言，BP神经网络的原理是通过前向传播和反向传播算法来训练网络，实现对输入数据的学习和预测。
通过调整权重和偏差，网络可以逐渐减少误差，提高准确性。
BP神经网络概述
BP神经网络概述BP神经网络由输入层、隐藏层和输出层组成。
输入层接收外界输入的数据，隐藏层对输入层的信息进行处理和转化，输出层输出最终的结果。
网络的每一个节点称为神经元，神经元之间的连接具有不同的权值，通过权值的调整和激活函数的作用，网络可以学习到输入和输出之间的关系。
BP神经网络的学习过程主要包括前向传播和反向传播两个阶段。
前向传播时，输入数据通过输入层向前传递到隐藏层和输出层，计算出网络的输出结果；然后通过与实际结果比较，计算误差函数。
反向传播时，根据误差函数，从输出层开始逆向调整权值和偏置，通过梯度下降算法更新权值，使得误差最小化，从而实现网络的学习和调整。
BP神经网络通过多次迭代学习，不断调整权值和偏置，逐渐提高网络的性能。
学习率是调整权值和偏置的重要参数，过大或过小的学习率都会导致学习过程不稳定。
此外，网络的结构、激活函数的选择、错误函数的定义等也会影响网络的学习效果。
BP神经网络在各个领域都有广泛的应用。
在模式识别中，BP神经网络可以从大量的样本中学习特征，实现目标检测、人脸识别、手写识别等任务。
在数据挖掘中，BP神经网络可以通过对历史数据的学习，预测未来的趋势和模式，用于市场预测、股票分析等。
在预测分析中，BP神经网络可以根据历史数据，预测未来的房价、气温、销售额等。
综上所述，BP神经网络是一种强大的人工神经网络模型，具有非线性逼近能力和学习能力，广泛应用于模式识别、数据挖掘、预测分析等领域。
尽管有一些缺点，但随着技术的发展，BP神经网络仍然是一种非常有潜力和应用价值的模型。
BP神经网络学习及算法
BP神经网络学习及算法1.前向传播：在BP神经网络中，前向传播用于将输入数据从输入层传递到输出层，其中包括两个主要步骤：输入层到隐藏层的传播和隐藏层到输出层的传播。
(1)输入层到隐藏层的传播：首先，输入数据通过输入层的神经元进行传递。
每个输入层神经元都与隐藏层神经元连接，并且每个连接都有一个对应的权值。
输入数据乘以对应的权值，并通过激活函数进行处理，得到隐藏层神经元的输出。
(2)隐藏层到输出层的传播：隐藏层的输出被传递到输出层的神经元。
同样，每个隐藏层神经元与输出层神经元连接，并有对应的权值。
隐藏层输出乘以对应的权值，并通过激活函数处理，得到输出层神经元的输出。
2.反向传播：在前向传播后，可以计算出网络的输出值。
接下来，需要计算输出和期望输出之间的误差，并将误差通过反向传播的方式传递回隐藏层和输入层，以更新权值。
(1)计算误差：使用误差函数（通常为均方差函数）计算网络输出与期望输出之间的误差。
误差函数的具体形式根据问题的特点而定。
(2)反向传播误差：从输出层开始，将误差通过反向传播的方式传递回隐藏层和输入层。
首先，计算输出层神经元的误差，然后将误差按照权值比例分配给连接到该神经元的隐藏层神经元，并计算隐藏层神经元的误差。
依此类推，直到计算出输入层神经元的误差。
(3)更新权值：利用误差和学习率来更新网络中的权值。
通过梯度下降法，沿着误差最速下降的方向对权值和阈值进行更新。
权值的更新公式为：Δwij = ηδjxi，其中η为学习率，δj为神经元的误差，xi为连接该神经元的输入。
以上就是BP神经网络的学习算法。
在实际应用中，还需要考虑一些其他的优化方法和技巧，比如动量法、自适应学习率和正则化等，以提高网络的性能和稳定性。
此外，BP神经网络也存在一些问题，比如容易陷入局部极小值、收敛速度慢等，这些问题需要根据实际情况进行调优和改进。
BP神经网络的基本原理_一看就懂
BP神经网络的基本原理_一看就懂BP神经网络（Back Propagation Neural Network）是一种常用的人工神经网络模型，用于解决分类、回归和模式识别问题。
它的基本原理是通过反向传播算法来训练和调整网络中的权重和偏置，以使网络能够逐渐逼近目标输出。
1.前向传播：在训练之前，需要对网络进行初始化，包括随机初始化权重和偏置。
输入数据通过输入层传递到隐藏层，在隐藏层中进行线性加权和非线性激活运算，然后传递给输出层。
线性加权运算指的是将输入数据与对应的权重相乘，然后将结果进行求和。
非线性激活指的是对线性加权和的结果应用一个激活函数，常见的激活函数有sigmoid函数、ReLU函数等。
激活函数的作用是将线性运算的结果映射到一个非线性的范围内，增加模型的非线性表达能力。
2.计算损失：将网络输出的结果与真实值进行比较，计算损失函数。
常用的损失函数有均方误差（Mean Squared Error）和交叉熵（Cross Entropy）等，用于衡量模型的输出与真实值之间的差异程度。
3.反向传播：通过反向传播算法，将损失函数的梯度从输出层传播回隐藏层和输入层，以便调整网络的权重和偏置。
反向传播算法的核心思想是使用链式法则。
首先计算输出层的梯度，即损失函数对输出层输出的导数。
然后将该梯度传递回隐藏层，更新隐藏层的权重和偏置。
接着继续向输入层传播，直到更新输入层的权重和偏置。
在传播过程中，需要选择一个优化算法来更新网络参数，常用的优化算法有梯度下降（Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）等。
4.权重和偏置更新：根据反向传播计算得到的梯度，使用优化算法更新网络中的权重和偏置，逐步减小损失函数的值。
权重的更新通常按照以下公式进行：新权重=旧权重-学习率×梯度其中，学习率是一个超参数，控制更新的步长大小。
梯度是损失函数对权重的导数，表示了损失函数关于权重的变化率。
bp神经网络原理
bp神经网络原理
BP神经网络，全称为反向传播神经网络，是一种常用的前馈
神经网络，通过反向传播算法来训练网络模型，实现对输入数据的分类、回归等任务。
BP神经网络主要由输入层、隐藏层
和输出层构成。
在BP神经网络中，每个神经元都有自己的权重和偏置值。
数
据从输入层进入神经网络，经过隐藏层的计算后传递到输出层。
神经网络会根据当前的权重和偏置值计算输出值，并与真实值进行比较，得到一个误差值。
然后，误差值会反向传播到隐藏层和输入层，通过调整权重和偏置值来最小化误差值。
这一过程需要多次迭代，直到网络输出与真实值的误差达到可接受的范围。
具体而言，BP神经网络通过梯度下降算法来调整权重和偏置值。
首先，计算输出层神经元的误差值，然后根据链式求导法则，将误差值分配到隐藏层的神经元。
最后，根据误差值和激活函数的导数，更新每个神经元的权重和偏置值。
这个过程反复进行，直到达到停止条件。
BP神经网络的优点是可以处理非线性问题，并且具有较强的
自适应能力。
同时，BP神经网络还可以通过增加隐藏层和神
经元的数量来提高网络的学习能力。
然而，BP神经网络也存
在一些问题，如容易陷入局部最优解，训练速度较慢等。
总结来说，BP神经网络是一种基于反向传播算法的前馈神经
网络，通过多次迭代调整权重和偏置值来实现模型的训练。
它
可以应用于分类、回归等任务，并具有较强的自适应能力。
但同时也有一些问题需要注意。
BP神经网络实验详解(MATLAB实现)
BP神经网络实验详解（MATLAB实现）BP（Back Propagation）神经网络是一种常用的人工神经网络结构，用于解决分类和回归问题。
在本文中，将详细介绍如何使用MATLAB实现BP神经网络的实验。
首先，需要准备一个数据集来训练和测试BP神经网络。
数据集可以是一个CSV文件，每一行代表一个样本，每一列代表一个特征。
一般来说，数据集应该被分成训练集和测试集，用于训练和测试模型的性能。
在MATLAB中，可以使用`csvread`函数来读取CSV文件，并将数据集划分为输入和输出。
假设数据集的前几列是输入特征，最后一列是输出。
可以使用以下代码来实现：```matlabdata = csvread('dataset.csv');input = data(:, 1:end-1);output = data(:, end);```然后，需要创建一个BP神经网络模型。
可以使用MATLAB的`patternnet`函数来创建一个全连接的神经网络模型。
该函数的输入参数为每个隐藏层的神经元数量。
下面的代码创建了一个具有10个隐藏神经元的单隐藏层BP神经网络：```matlabhidden_neurons = 10;net = patternnet(hidden_neurons);```接下来，需要对BP神经网络进行训练。
可以使用`train`函数来训练模型。
该函数的输入参数包括训练集的输入和输出，以及其他可选参数，如最大训练次数和停止条件。
下面的代码展示了如何使用`train`函数来训练模型：```matlabnet = train(net, input_train, output_train);```训练完成后，可以使用训练好的BP神经网络进行预测。
可以使用`net`模型的`sim`函数来进行预测。
下面的代码展示了如何使用`sim`函数预测测试集的输出：```matlaboutput_pred = sim(net, input_test);```最后，可以使用各种性能指标来评估预测的准确性。
BP神经网络ppt
人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元
1. 生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接，形成生
物神经网络 (Biological Neural Network, BNN)。
实现各种智能活动
生物神经元(neuron)是基本的信息处理单元
(1)生物神经系统
生物神经元(neuron)是基本的信息处理单元, 其组成：
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
2 1m =
2 j1
dj f
net
L1 j
2
样本集内所有样本关于该网络的总输出误差
Etotal E
输出层l L 1节点j的净输入
实际输出
nL2
net
L1 j
O L1 L2
ij i
i 1
O L1 j
1
1+e-
net
L1 j
II
输出层的权值iLj 1调整
隐含层 L 2 输出层 L 1
nL2
net
L1 j
=
O L1 L2 ij i
i 1
权值iLj 1对误差E的影响
E
iLj 1
E
net
L1 j
net
L1 j
iLj 1
O L1 L2
j
i
输出层的权值iLj 1调整 iLj 1修正应使误差E最快减小
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
学习是神经网络一种最重要也最令人注目的特点。
在神经网络的发展进程中，学习算法的研究有着十分重要的地位。
目前，人们所提出的神经网络模型都是和学习算法相应的。
所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。
有的模型可以有多种算法．而有的算法可能可用于多种模型。
不过，有时人们也称算法为模型。
自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。
其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。
直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。
1．2．1 神经网络的学习机理和机构在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。
神经网络在学习中，一般分为有教师和无教师学习两种。
感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。
在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和 Kohonen网络则无需教师信号就可以学习。
所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。
一、感知器的学习结构感知器的学习是神经网络最典型的学习。
目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。
一个有教师的学习系统可以用图1—7表示。
这种学习系统分成三个部分：输入部，训练部和输出部。
图1-7 神经网络学习系统框图输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。
在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。
学习机构可用图1—8所示的结构表示。
在图中，Xl ，X2 ，…，Xn ，是输入样本信号，W1 ，W2 ，…，Wn 是权系数。
输入样本信号Xi 可以取离散值“0”或“1”。
输入样本信号通过权系数作用，在u产生输出结果∑Wi Xi ，即有：u=∑Wi Xi =W1 X1+W2 X2 +…+Wn Xn再把期望输出信号Y(t)和u进行比较，从而产生误差信号e。
即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y(t)完全一样，则学习过程结束。
神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。
则这时才会使输出与期望一致。
故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。
原因在于神经网络的权系数W有很多分量W1 ，W2 ，----Wn ；也即是一个多参数修改系统。
系统的参数的调整就必定耗时耗量。
目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。
二、感知器的学习算法感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。
感知器如图1-9所示。
图1-9 感知器结构感知器的数学模型：(1-12) 其中：f[.]是阶跃函数，并且有(1-13)θ是阀值。
感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：(1-14)即是，当感知器的输出为1时，输入样本称为A类；输出为-1时，输入样本称为B类。
从上可知感知器的分类边界是：(1-15)在输入样本只有两个分量X1，X2时，则有分类边界条件：(1-16)即W1 X1 +W2 X2 -θ=0 (1-17)也可写成(1-18)这时的分类情况如固1—10所示。
感知器的学习算法目的在于找寻恰当的权系数w＝(w1．w2，…，Wn)，使系统对一个特定的样本x＝(xt，x2，…，xn)熊产生期望值d。
当x分类为A类时，期望值d＝1；X为B类时，d=-1。
为了方便说明感知器学习算法，把阀值θ并人权系数w中，同时，样本x也相应增加一个分量xn+1 。
故令：Wn+1 =-θ，Xn+1 =1 (1-19)则感知器的输出可表示为：(1-20)感知器学习算法步骤如下：1．对权系数w置初值对权系数w＝(W1 ．W2 ，…，Wn ，Wn+1 )的各个分量置一个较小的零随机值，但Wn+1 ＝—g。
并记为Wl (0)，W2 (0)，…，Wn (0)，同时有Wn+1(0)＝-θ。
这里Wi (t)为t时刻从第i个输入上的权系数，i＝1，2，…，n。
Wn+1 (t)为t时刻时的阀值。
图1-10 感知器的分类例子2．输入一样本X＝(X1 ，X2 ，…，Xn+1 )以及它的期望输出d。
期望输出值d在样本的类属不同时取值不同。
如果x是A类，则取d＝1,如果x是B类，则取-1。
期望输出d也即是教师信号。
3．计算实际输出值Y4．根据实际输出求误差ee＝d—Y(t) (1-21)5．用误差e去修改权系数i=1,2,…,n,n+1 (1-22)其中，η称为权重变化率，0<η≤1在式(1—22)中，η的取值不能太大．如果1取值太大则会影响wi (t)的稳定；的取值也不能太小，太小则会使Wi (t)的求取过程收敛速度太慢。
当实际输出和期望值d相同时有：Wi (t+1)=Wi (t)6．转到第2点，一直执行到一切样本均稳定为止。
从上面式(1—14)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。
因此，感知器可以用于实现逻辑函数。
下面对感知器实现逻辑函数的情况作一些介绍。
例：用感知器实现逻辑函数X1 VX2 的真值：X1 0011X2 0101X1 V X2 0111以X1VX2＝1为A类，以X1VX2=0为B类，则有方程组(1-23)即有：(1-24)从式(1—24)有：W1 ≥θ,W2 ≥θ令 W1 =1,W2 =2则有：θ ≤1取θ=0.5则有：X1+X2-0.5=0,分类情况如图1—11所示。
图1-11 逻辑函数X1 VX2 的分类1．2．2 神经网络学习的梯度算法从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使到网络对于所输入的模式样本能正确分类。
当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。
换句话讲，权系数就是存储了的输人模式。
由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。
前面的感知器的传递函数是阶跃函数，所以，它可以用作分类器。
前面一节所讲的感知器学习算法因其传递函数的简单而存在局限性。
感知器学习算法相当简单，并且当函数线性可分时保证收敛。
但它也存在问题：即函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。
为了克服存在的问题，所以人们提出另一种算法——梯度算法(也即是LMS法)。
为了能实现梯度算法，故把神经元的激发函数改为可微分函数，例如Sigmoid函数，非对称Sigmoid函数为f(X)=1/(1+e-x ),对称Sigmoid 函数f(X)=(1-e-x )/(1+e-x )；而不采用式(1—13)的阶跃函数。
对于给定的样本集Xi (i＝1，2，，n)，梯度法的目的是寻找权系数W* ，使得f[W*. Xi ]与期望输出Yi尽可能接近。
设误差e采用下式表示：(1-25)其中，Yi ＝f〔W* ·Xi ]是对应第i个样本Xi 的实时输出Yi 是对应第i个样本Xi 的期望输出。
要使误差e最小，可先求取e的梯度：(1-26) 其中：(1-27) 令 Uk =W. Xk ,则有：(1-28)即有：(1-29)最后有按负梯度方向修改权系数W的修改规则：(1-30)也可写成：(1-31)在上式(1—30)，式(1—31)中，μ是权重变化率，它视情况不同而取值不同，一般取0-1之间的小数。
很明显，梯度法比原来感知器的学习算法进了一大步。
其关键在于两点：1．神经元的传递函数采用连续的s型函数，而不是阶跃函数；2．对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。
故而有更好的动态特能，即加强了收敛进程。
但是梯度法对于实际学习来说，仍然是感觉太慢；所以，这种算法仍然是不理想的。
1．2．3 反向传播学习的BP算法反向传播算法也称BP算法。
由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。
BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。
故而．有时也称无反馈多层前向网络为BP模型。
在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。
感知机学习算法是一种单层网络的学习算法。
在多层网络中．它只能改变最后权系数。
因此，感知机学习算法不能用于多层神经网络的学习。
1986年，Rumelhart提出了反向传播学习算法，即BP(backpropagation)算法。
这种算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习。
BP算法是目前最广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。
一、BP算法的原理BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图1—12所示图1-12 网络学习结构它含有输人层、输出层以及处于输入输出层之间的中间层。
中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。
在隐层中的神经元也称隐单元。
隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。
这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。
设有一个m层的神经网络，并在输入层加有样本X；设第k层的i神经元的输入总和表示为Ui k ，输出Xi k ；从第k—1层的第j个神经元到第k层的第i个神经元的权系数为Wij 各个神经元的激发函数为f，则各个变量的关系可用下面有关数学式表示：Xi k =f(Ui k ) (1-32)(1-33)反向传播算法分二步进行，即正向传播和反向传播。
这两个过程的工作简述如下。
1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。
在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。
2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。
二、BP算法的数学表达BP算法实质是求取误差函数的最小值问题。
这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。
为了说明BP算法，首先定义误差函数e。
取期望输出和实际输出之差的平方和为误差函数，则有：(1-34)其中：Yi 是输出单元的期望值；它也在这里用作教师信号；Xi m 是实际输出；因为第m层是输出层。