BP神经网络原理及应用
BP神经网络原理及其MATLAB应用
BP神经网络原理及其MATLAB应用BP神经网络（Back Propagation Neural Network）是一种基于梯度下降算法的人工神经网络模型，具有较广泛的应用。
它具有模拟人类神经系统的记忆能力和学习能力，可以用来解决函数逼近、分类和模式识别等问题。
本文将介绍BP神经网络的原理及其在MATLAB中的应用。
BP神经网络的原理基于神经元间的权值和偏置进行计算。
一个标准的BP神经网络通常包含三层：输入层、隐藏层和输出层。
输入层负责接收输入信息，其节点数与输入维度相同；隐藏层用于提取输入信息的特征，其节点数可以根据具体问题进行设定；输出层负责输出最终的结果，其节点数根据问题的要求决定。
BP神经网络的训练过程可以分为前向传播和反向传播两个阶段。
前向传播过程中，输入信息逐层传递至输出层，通过对神经元的激活函数进行计算，得到神经网络的输出值。
反向传播过程中，通过最小化损失函数的梯度下降算法，不断调整神经元间的权值和偏置，以减小网络输出与实际输出之间的误差，达到训练网络的目的。
在MATLAB中，可以使用Neural Network Toolbox工具箱来实现BP神经网络。
以下是BP神经网络在MATLAB中的应用示例：首先，需导入BP神经网络所需的样本数据。
可以使用MATLAB中的load函数读取数据文件，并将其分为训练集和测试集：```data = load('dataset.mat');inputs = data(:, 1:end-1);targets = data(:, end);[trainInd, valInd, testInd] = dividerand(size(inputs, 1), 0.6, 0.2, 0.2);trainInputs = inputs(trainInd, :);trainTargets = targets(trainInd, :);valInputs = inputs(valInd, :);valTargets = targets(valInd, :);testInputs = inputs(testInd, :);testTargets = targets(testInd, :);```接下来，可以使用MATLAB的feedforwardnet函数构建BP神经网络模型，并进行网络训练和测试：```hiddenLayerSize = 10;net = feedforwardnet(hiddenLayerSize);net = train(net, trainInputs', trainTargets');outputs = net(testInputs');```最后，可以使用MATLAB提供的performance函数计算网络的性能指标，如均方误差、相关系数等：```performance = perform(net, testTargets', outputs);```通过逐步调整网络模型的参数和拓扑结构，如隐藏层节点数、学习率等，可以进一步优化BP神经网络的性能。
bp神经网络的原理
bp神经网络的原理BP神经网络（也称为反向传播神经网络）是一种基于多层前馈网络的强大机器学习模型。
它可以用于分类、回归和其他许多任务。
BP神经网络的原理基于反向传播算法，通过反向传播误差来调整神经网络的权重和偏差，从而使网络能够学习和适应输入数据。
BP神经网络的基本结构包括输入层、隐藏层和输出层。
每个层都由神经元组成，每个神经元都与上一层的所有神经元连接，并具有一个权重值。
神经元的输入是上一层的输出，通过加权和和激活函数后得到输出。
通过网络中的连接和权重，每层的输出被传递到下一层，最终得到输出层的结果。
BP神经网络的训练包括两个关键步骤：前向传播和反向传播。
前向传播是指通过网络将输入数据从输入层传递到输出层，计算网络的输出结果。
反向传播是基于网络输出结果与真实标签的误差，从输出层向输入层逆向传播误差，并根据误差调整权重和偏差。
在反向传播过程中，通过计算每个神经元的误差梯度，我们可以使用梯度下降算法更新网络中的权重和偏差。
误差梯度是指误差对权重和偏差的偏导数，衡量了误差对于权重和偏差的影响程度。
利用误差梯度，我们可以将误差从输出层反向传播到隐藏层和输入层，同时更新每层的权重和偏差，从而不断优化网络的性能。
通过多次迭代训练，BP神经网络可以逐渐减少误差，并提高对输入数据的泛化能力。
然而，BP神经网络也存在一些问题，如容易陷入局部最优解、过拟合等。
为了克服这些问题，可以采用一些技巧，如正则化、随机初始权重、早停等方法。
总结而言，BP神经网络的原理是通过前向传播和反向传播算法来训练网络，实现对输入数据的学习和预测。
通过调整权重和偏差，网络可以逐渐减少误差，提高准确性。
BP神经网络实验报告
BP神经网络实验报告一、引言BP神经网络是一种常见的人工神经网络模型，其基本原理是通过将输入数据通过多层神经元进行加权计算并经过非线性激活函数的作用，输出结果达到预测或分类的目标。
本实验旨在探究BP神经网络的基本原理和应用，以及对其进行实验验证。
二、实验方法1.数据集准备本次实验选取了一个包含1000个样本的分类数据集，每个样本有12个特征。
将数据集进行标准化处理，以提高神经网络的收敛速度和精度。
2.神经网络的搭建3.参数的初始化对神经网络的权重和偏置进行初始化，常用的初始化方法有随机初始化和Xavier初始化。
本实验采用Xavier初始化方法。
4.前向传播将标准化后的数据输入到神经网络中，在神经网络的每一层进行加权计算和激活函数的作用，传递给下一层进行计算。
5.反向传播根据预测结果与实际结果的差异，通过计算损失函数对神经网络的权重和偏置进行调整。
使用梯度下降算法对参数进行优化，减小损失函数的值。
6.模型评估与验证将训练好的模型应用于测试集，计算准确率、精确率、召回率和F1-score等指标进行模型评估。
三、实验结果与分析将数据集按照7:3的比例划分为训练集和测试集，分别进行模型训练和验证。
经过10次训练迭代后，模型在测试集上的准确率稳定在90%以上，证明了BP神经网络在本实验中的有效性和鲁棒性。
通过调整隐藏层结点个数和迭代次数进行模型性能优化实验，可以发现隐藏层结点个数对模型性能的影响较大。
随着隐藏层结点个数的增加，模型在训练集上的拟合效果逐渐提升，但过多的结点数会导致模型的复杂度过高，容易出现过拟合现象。
因此，选择合适的隐藏层结点个数是模型性能优化的关键。
此外，迭代次数对模型性能也有影响。
随着迭代次数的增加，模型在训练集上的拟合效果逐渐提高，但过多的迭代次数也会导致模型过度拟合。
因此，需要选择合适的迭代次数，使模型在训练集上有好的拟合效果的同时，避免过度拟合。
四、实验总结本实验通过搭建BP神经网络模型，对分类数据集进行预测和分类。
BP神经网络的基本原理_一看就懂
BP神经网络的基本原理_一看就懂BP神经网络（Back Propagation Neural Network）是一种常用的人工神经网络模型，用于解决分类、回归和模式识别问题。
它的基本原理是通过反向传播算法来训练和调整网络中的权重和偏置，以使网络能够逐渐逼近目标输出。
1.前向传播：在训练之前，需要对网络进行初始化，包括随机初始化权重和偏置。
输入数据通过输入层传递到隐藏层，在隐藏层中进行线性加权和非线性激活运算，然后传递给输出层。
线性加权运算指的是将输入数据与对应的权重相乘，然后将结果进行求和。
非线性激活指的是对线性加权和的结果应用一个激活函数，常见的激活函数有sigmoid函数、ReLU函数等。
激活函数的作用是将线性运算的结果映射到一个非线性的范围内，增加模型的非线性表达能力。
2.计算损失：将网络输出的结果与真实值进行比较，计算损失函数。
常用的损失函数有均方误差（Mean Squared Error）和交叉熵（Cross Entropy）等，用于衡量模型的输出与真实值之间的差异程度。
3.反向传播：通过反向传播算法，将损失函数的梯度从输出层传播回隐藏层和输入层，以便调整网络的权重和偏置。
反向传播算法的核心思想是使用链式法则。
首先计算输出层的梯度，即损失函数对输出层输出的导数。
然后将该梯度传递回隐藏层，更新隐藏层的权重和偏置。
接着继续向输入层传播，直到更新输入层的权重和偏置。
在传播过程中，需要选择一个优化算法来更新网络参数，常用的优化算法有梯度下降（Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）等。
4.权重和偏置更新：根据反向传播计算得到的梯度，使用优化算法更新网络中的权重和偏置，逐步减小损失函数的值。
权重的更新通常按照以下公式进行：新权重=旧权重-学习率×梯度其中，学习率是一个超参数，控制更新的步长大小。
梯度是损失函数对权重的导数，表示了损失函数关于权重的变化率。
BP神经网络数学原理及推导过程
BP神经网络数学原理及推导过程BP神经网络（Backpropagation Neural Network），也称为反向传播神经网络，是一种常见的人工神经网络模型，主要用于解决回归和分类问题。
它在数学上涉及到多元微积分、线性代数和概率论等方面的知识。
本文将从数学原理和推导过程两个方面进行阐述。
一、数学原理：1. 激活函数（Activation Function）：激活函数是神经网络中非线性变换的数学函数，用于引入非线性因素，增加神经网络的表达能力。
常见的激活函数有Sigmoid函数、ReLU函数等。
2. 前向传播（Forward Propagation）：神经网络的前向传播是指将输入数据从输入层依次传递到输出层的过程。
在前向传播中，每个神经元接收上一层神经元传递过来的激活值和权重，计算出当前神经元的输出值，并将输出值传递给下一层神经元。
3. 反向传播（Backward Propagation）：神经网络的反向传播是指根据损失函数的值，从输出层开始，沿着网络的反方向不断调整神经元的权重，以达到最小化损失函数的目的。
在反向传播中，通过链式法则计算每个神经元对损失函数的导数，进而利用梯度下降算法更新权重。
4. 误差函数（Error Function）：误差函数用于衡量神经网络输出结果和真实值之间的差异，常见的误差函数有均方差（Mean Squared Error）函数和交叉熵（Cross Entropy）函数。
5.权重更新规则：反向传播算法中的核心部分就是权重的更新。
权重更新通常采用梯度下降算法，通过计算损失函数对权重的偏导数，按照负梯度方向更新权重值，使得损失函数逐渐减小。
二、推导过程：下面将以一个简单的多层感知机为例，推导BP神经网络的权重更新规则。
假设我们有一个三层的神经网络，第一层为输入层，第二层为隐藏层，第三层为输出层，隐藏层和输出层都使用Sigmoid激活函数。
1.前向传播：首先，我们根据输入层的输入值X和权重W1，计算隐藏层的输入值H1：H1=X*W1然后，将隐藏层的输入值H1带入到Sigmoid函数中，得到隐藏层的输出值A1：A1=σ(H1)接下来，根据隐藏层的输出值A1和权重W2，计算输出层的输入值H2：H2=A1*W2最后，将输出层的输入值H2带入到Sigmoid函数中，得到输出层的输出值A2：A2=σ(H2)2.反向传播：设输出层的输出值为Y，隐藏层的输出值为A1，损失函数为L。
bp神经网络原理
bp神经网络原理
BP神经网络，全称为反向传播神经网络，是一种常用的前馈
神经网络，通过反向传播算法来训练网络模型，实现对输入数据的分类、回归等任务。
BP神经网络主要由输入层、隐藏层
和输出层构成。
在BP神经网络中，每个神经元都有自己的权重和偏置值。
数
据从输入层进入神经网络，经过隐藏层的计算后传递到输出层。
神经网络会根据当前的权重和偏置值计算输出值，并与真实值进行比较，得到一个误差值。
然后，误差值会反向传播到隐藏层和输入层，通过调整权重和偏置值来最小化误差值。
这一过程需要多次迭代，直到网络输出与真实值的误差达到可接受的范围。
具体而言，BP神经网络通过梯度下降算法来调整权重和偏置值。
首先，计算输出层神经元的误差值，然后根据链式求导法则，将误差值分配到隐藏层的神经元。
最后，根据误差值和激活函数的导数，更新每个神经元的权重和偏置值。
这个过程反复进行，直到达到停止条件。
BP神经网络的优点是可以处理非线性问题，并且具有较强的
自适应能力。
同时，BP神经网络还可以通过增加隐藏层和神
经元的数量来提高网络的学习能力。
然而，BP神经网络也存
在一些问题，如容易陷入局部最优解，训练速度较慢等。
总结来说，BP神经网络是一种基于反向传播算法的前馈神经
网络，通过多次迭代调整权重和偏置值来实现模型的训练。
它
可以应用于分类、回归等任务，并具有较强的自适应能力。
但同时也有一些问题需要注意。
BP网络的原理与应用
BP网络的原理与应用1. 简介BP神经网络，即反向传播神经网络（Back Propagation Neural Network），是一种常见的人工神经网络模型，广泛应用于模式识别、分类、预测等领域。
它通过训练数据进行反向传播的方式来调整神经网络的权重和偏置，从而实现对输入数据的学习和预测。
2. 原理BP神经网络由输入层、隐藏层和输出层构成，每层由多个神经元组成。
其中，输入层接收外界输入的数据，隐藏层进行信号的处理和转换，最终输出层给出模型的预测结果。
BP网络的训练过程主要由两个阶段组成：前向传播和反向传播。
2.1 前向传播在前向传播阶段，输入数据经过一次性的计算和传递，从输入层逐层向前，最终记录到输出层的神经元中。
具体步骤如下： 1. 将输入数据传递给输入层神经元，每个神经元计算输入数据与其对应权重和偏置的乘积之和。
2. 将计算结果经过激活函数（如Sigmoid函数）进行处理，得到隐藏层神经元的输出。
3. 重复以上步骤，将隐藏层的输出作为下一层的输入，直到传递到输出层。
2.2 反向传播在反向传播阶段，根据训练数据与实际输出之间的差距，计算输出误差，并根据误差大小调整权重和偏置，以达到提高网络性能的目的。
具体步骤如下： 1. 计算输出层的误差，即实际输出与训练数据的差值。
2. 通过链式法则逐层计算隐藏层的误差，以及权重和偏置的调整值。
3. 更新每个神经元的权重和偏置，通过选择合适的优化算法（如梯度下降法）进行调整。
4. 重复以上步骤，通过多次迭代，不断减小预测误差和损失函数，提高网络的精确度和泛化能力。
3. 应用BP神经网络广泛应用于许多领域，如图像识别、语音识别、文本分类、金融预测等。
下面列举一些常见的应用场景：•图像识别：通过训练大量图像数据，可以实现对不同物体、人脸等的自动识别和分类。
•语音识别：通过训练大量语音数据，可以实现对语音信号的识别和转换，用于语音助手、智能家居等。
•文本分类：通过训练大量文本数据，可以实现对文本内容的分类和情感分析，用于垃圾邮件过滤、情感识别等。
BP神经网络的简要介绍及应用
BP神经网络的简要介绍及应用BP神经网络（Backpropagation Neural Network，简称BP网络）是一种基于误差反向传播算法进行训练的多层前馈神经网络模型。
它由输入层、隐藏层和输出层组成，每层都由多个神经元（节点）组成，并且每个神经元都与下一层的神经元相连。
BP网络的训练过程可以分为两个阶段：前向传播和反向传播。
前向传播时，输入数据从输入层向隐藏层和输出层依次传递，每个神经元计算其输入信号的加权和，再通过一个激活函数得到输出值。
反向传播时，根据输出结果与期望结果的误差，通过链式法则将误差逐层反向传播至隐藏层和输入层，并通过调整权值和偏置来减小误差，以提高网络的性能。
BP网络的应用非常广泛，以下是一些典型的应用领域：1.模式识别：BP网络可以用于手写字符识别、人脸识别、语音识别等模式识别任务。
通过训练网络，将输入样本与正确的输出进行匹配，从而实现对未知样本的识别。
2.数据挖掘：BP网络可以用于分类、聚类和回归分析等数据挖掘任务。
例如，可以用于对大量的文本数据进行情感分类、对客户数据进行聚类分析等。
3.金融领域：BP网络可以用于预测股票价格、外汇汇率等金融市场的变动趋势。
通过训练网络，提取出对市场变动有影响的因素，从而预测未来的市场走势。
4.医学诊断：BP网络可以用于医学图像分析、疾病预测和诊断等医学领域的任务。
例如，可以通过训练网络，从医学图像中提取特征，帮助医生进行疾病的诊断。
5.机器人控制：BP网络可以用于机器人的自主导航、路径规划等控制任务。
通过训练网络，机器人可以通过感知环境的数据，进行决策和规划，从而实现特定任务的执行。
总之，BP神经网络是一种强大的人工神经网络模型，具有较强的非线性建模能力和适应能力。
它在模式识别、数据挖掘、金融预测、医学诊断和机器人控制等领域有广泛的应用，为解决复杂问题提供了一种有效的方法。
然而，BP网络也存在一些问题，如容易陷入局部最优解、训练时间较长等，因此在实际应用中需要结合具体问题选择适当的神经网络模型和训练算法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 人工神经网络简介生物神经元模型神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相 互信息传递的基本单元。
据神经生物学家研究的结果表明，人的大脑一般有10111010-个神经元。
每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。
轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。
其末端的许多神经末梢使得兴奋可以同时送给多个神经元。
树突的功能是接受来自其它神经元的兴奋。
神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。
神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
人工神经元模型神经网络是由许多相互连接的处理单元组成。
这些处理单元通常线性排列成 组，称为层。
每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关联的权重。
处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量， 再传给下一层的神经元。
目前人们提出的神经元模型已有很多，其中提出最早且影响最大的是1943年心理学家McCulloch 和数学家Pitts 在分析总结神经元基本特性的基础上首先提出的M-P 模型，它是大多数神经网络模型的基础。
)()(1∑=-=ni j i ji j x w f t Y θ （）式中,j 为神经元单元的偏置（阈值），ji w 为连接权系数（对于激发状态，ji w 取正值，对于抑制状态，ji w 取负值），n 为输入信号数目，j Y 为神经元输出，t 为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数。
人工神经网络的基本特性人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。
每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。
严格地说，人工神经网络是一种具有下列特性的有向图：（１）对于每个节点存在一个状态变量xi ；（２）从节点i 至节点j ，存在一个连接权系数wji ； （３）对于每个节点，存在一个阈值j ；（４）对于每个节点，定义一个变换函数(,,),j i ji j f x w i j θ≠,对于最一般的情况，此函数取()j ji i j if w x θ-∑形式。
人工神经网络的主要学习算法神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。
此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。
（１）有师学习 有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权。
因此，有师学习需要有个老师或导师来提供期望或目标输出信号。
有师学习算法的例子包括 规则、广义规则或反向传播算法以及LVQ 算法等。
（２）无师学习 无师学习算法不需要知道期望输出。
在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。
无师学习算法的例子包括Kohonen 算法和Carpenter-Grossberg 自适应共振理论（ART ）等。
（３）强化学习 如前所述，强化学习是有师学习的特例。
它不需要老师给出目标输出。
强化学习算法采用一个“评论员”来评价与给定输入相对应的神。
2 BP 神经网络原理基本BP 算法公式推导基本BP 算法包括两个方面：信号的前向传播和误差的反向传播。
即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
图2-1 BP网络结构Structure of BP network图中：表示输入层第个节点的输入，j=1,…,M；表示隐含层第i个节点到输入层第j个节点之间的权值；表示隐含层第i个节点的阈值；表示隐含层的激励函数；表示输出层第个节点到隐含层第i个节点之间的权值，i=1,…,q；表示输出层第k个节点的阈值,k=1,…,L；表示输出层的激励函数；表示输出层第个节点的输出。
（1）信号的前向传播过程隐含层第i个节点的输入net i：（3-1）隐含层第i个节点的输出y i：（3-2）输出层第k个节点的输入net k：（3-3）输出层第k个节点的输出o k：（3-4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。
对于每一个样本p的二次型误差准则函数为E p：（3-5）系统对P个训练样本的总误差准则函数为：（3-6）根据误差梯度下降法依次修正输出层权值的修正量Δw ki，输出层阈值的修正量Δa k，隐含层权值的修正量Δw ij，隐含层阈值的修正量。
；；；（3-7）输出层权值调整公式：（3-8）输出层阈值调整公式：（3-9）隐含层权值调整公式：（3-10）隐含层阈值调整公式：（3-11）又因为：（3-12），，，（3-13）（3-14）（3-15）（3-16）所以最后得到以下公式：（3-17）（3-18）（3-19）（3-20）图2-2 BP算法程序流程图The flowchart of the BP algorithm program基本BP算法的缺陷BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。
其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：（1）学习效率低，收敛速度慢（2）易陷入局部极小状态BP 算法的改进附加动量法附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。
在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。
该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。
带有附加动量因子的权值和阈值调节公式为：)()1()1(k w mc p mc k w ij j i ij ∆+-=+∆ηδ)()1()1(k b mc mc k b i i i ∆+-=+∆ηδ其中k 为训练次数，mc 为动量因子，一般取左右。
附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。
当动量因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。
以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时， i 将变得很小，于是)()1(k w k w ij ij ∆=+∆,从而防止了0=∆ij w 的出现，有助于使网络从误差曲面的局部极小值中跳出。
根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。
其最大误差变化率可以是任何大于或等于1的值。
典型的取值取。
所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。
训练程序设计中采用动量法的判断条件为： ⎪⎩⎪⎨⎧=mc mc 95.00 其它)1()(04.1*)1()(-<->k E k E k E k E ， E （k ）为第k 步误差平方和。
自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。
通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。
为了解决这个问题，人们自然想到在训练过程中，自动调节学习速率。
通常调节学习速率的准则是：检查权值是否真正降低了误差函数，如果确实如此，则说明所选学习速率小了，可以适当增加一个量；若不是这样，而产生了过调，那幺就应该减少学习速率的值。
下式给出了一个自适应学习速率的调整公式：⎪⎩⎪⎨⎧=+)()(7.0)(05.1)1(k k k k ηηηη 其它)(04.1)1()()1(k E k E k E k E >+<+ ， E （k ）为第k 步误差平方和。
初始学习速率(0)的选取范围可以有很大的随意性。
动量-自适应学习速率调整算法当采用前述的动量法时，BP 算法可以找到全局最优解，而当采用自适应学习速率时，BP 算法可以缩短训练时间， 采用这两种方法也可以用来训练神经网络，该方法称为动量-自适应学习速率调整算法。
网络的设计网络的层数理论上已证明：具有偏差和至少一个S 型隐含层加上一个线性输出层的网络，能够逼近任何有理数。
增加层数可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。
而误差精度的提高实际上也可以通过增加神经元数目来获得，其训练效果也比增加层数更容易观察和调整。
所以一般情况下，应优先考虑增加隐含层中的神经元数。
隐含层的神经元数网络训练精度的提高，可以通过采用一个隐含层，而增加神经元数了的方法来获得。
这在结构实现上，要比增加隐含层数要简单得多。
那么究竟选取多少隐含层节点才合适？这在理论上并没有一个明确的规定。
在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。
初始权值的选取由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛及训练时间的长短关系很大。
如果初始值太大，使得加权后的输入和n 落在了S 型激活函数的饱和区，从而导致其导数f’(n)非常小，而在计算权值修正公式中，因为)('n f ∝δ，当f’(n)0→时，则有0→δ。
这使得0∆→w，从而使得调节过程几乎停顿下来。
所以一般总是希望经过初ij始加权后的每个神经元的输出值都接近于零，这样可以保证每个神经元的权值都能够在它们的S型激活函数变化最大之处进行调节。
所以，一般取初始权值在（-1，1）之间的随机数。
学习速率学习速率决定每一次循环训练中所产生的权值变化量。
大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。
所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。
学习速率的选取范围在之间。
3 BP神经网络的应用现给出一药品商店一年当中12个月的药品销售量（单位：箱）如下：2056 2395 2600 2298 1634 1600 1873 1487 1900 1500 2046 1556训练一个BP网络，用当前的所有数据预测下一个月的药品销售量。