Matlab神经网络几个常用算法的学习和比较
matlab寻优算法 -回复
matlab寻优算法-回复Matlab寻优算法：将解决问题发挥到极致引言：Matlab是一种非常强大的数学计算工具，它在科学研究、数据分析以及工程领域中广泛应用。
在处理实际问题时，我们通常需要找到最佳的方案或者最优化问题。
而Matlab提供了多种寻优算法，能够帮助我们快速且准确地求解最优化问题。
本文将逐步介绍Matlab常用的寻优算法及其应用，帮助读者了解如何将寻优算法发挥到极致。
第一步：了解寻优算法的概念与背景知识（300字）寻优算法，也被称为优化算法，是一种通过计算方法（如迭代、梯度等）自动搜索最优解的过程。
在数学中，寻优问题经常涉及到最小化或最大化目标函数的问题。
而在实际应用中，寻优问题广泛存在于诸多领域，如经济学、工程学、计算机科学和物理学等。
对于这些问题的解决，寻优算法起着至关重要的作用，并且Matlab提供了许多强大的工具来解决这些问题。
第二步：常用寻优算法的介绍（600字）Matlab提供了多种寻优算法，其中最常用的包括梯度下降法、牛顿法和遗传算法等。
这些算法都有各自的优缺点，适用于不同类型的最优化问题。
梯度下降法是一种常用的迭代寻优算法，其核心思想是在搜索空间中沿着目标函数梯度的负方向进行迭代，直至找到局部最优解。
它可以用于解决连续可导的目标函数，并且具有简单、易于实现的特点。
然而，梯度下降法可能会陷入局部最优解，且收敛速度较慢。
牛顿法是一种基于泰勒级数的寻优算法，它利用目标函数的一阶和二阶导数信息进行迭代优化。
相较于梯度下降法，牛顿法具有更快的收敛速度。
然而，牛顿法在计算复杂的问题中可能会遇到矩阵奇异或非正定的问题，导致算法无法进行。
遗传算法是一种基于生物进化思想的寻优算法，它通过模拟自然选择的过程来搜索最优解。
遗传算法适用于解决复杂的非线性问题，在目标函数不可导或有多个最优解的情况下表现出色。
然而，遗传算法需要较长的计算时间，且其结果可能是近似最优解。
第三步：Matlab寻优算法的应用举例（600字）Matlab的寻优算法在科学研究和工程实践中有广泛的应用。
在Matlab中实现神经网络的方法与实例
在Matlab中实现神经网络的方法与实例神经网络是一种模拟人类大脑神经系统的计算模型，它能够通过学习数据的模式和关联性来解决各种问题。
在计算机科学和人工智能领域，神经网络被广泛应用于图像识别、自然语言处理、预测等任务。
而Matlab作为一种功能强大的科学计算软件，提供了一套完善的工具箱，可以方便地实现神经网络的建模和训练。
本文将介绍在Matlab中实现神经网络的方法与实例。
首先，我们会简要介绍神经网络的基本原理和结构，然后详细讲解在Matlab中如何创建并训练神经网络模型，最后通过几个实例展示神经网络在不同领域的应用。
一、神经网络的原理和结构神经网络模型由神经元和它们之间的连接构成。
每个神经元接收输入信号，并通过权重和偏置进行加权计算，然后使用激活函数对结果进行非线性变换。
这样，神经网络就能够模拟复杂的非线性关系。
常见的神经网络结构包括前馈神经网络（Feedforward Neural Network）和循环神经网络（Recurrent Neural Network）。
前馈神经网络是最基本的结构，信号只能向前传递，输出不对网络进行反馈；而循环神经网络具有反馈连接，可以对自身的输出进行再处理，适用于序列数据的建模。
神经网络的训练是通过最小化损失函数来优化模型的参数。
常用的训练算法包括梯度下降法和反向传播算法。
其中，梯度下降法通过计算损失函数对参数的梯度来更新参数；反向传播算法是梯度下降法在神经网络中的具体应用，通过反向计算梯度来更新网络的权重和偏置。
二、在Matlab中创建神经网络模型在Matlab中，可以通过Neural Network Toolbox来创建和训练神经网络模型。
首先，我们需要定义神经网络的结构，包括输入层、隐藏层和输出层的神经元数量，以及每个神经元之间的连接权重。
例如，我们可以创建一个三层的前馈神经网络模型：```matlabnet = feedforwardnet([10 8]);```其中，`[10 8]`表示隐藏层的神经元数量分别为10和8。
如何进行MATLAB神经网络的训练和预测
如何进行MATLAB神经网络的训练和预测【第一章】MATLAB神经网络的基础知识神经网络是一种模拟人类神经系统运行方式的计算模型，它通过模拟人类的感知、学习和决策过程，可以对复杂的问题进行处理和求解。
在实际应用中，MATLAB是一个常用的工具来进行神经网络的训练和预测。
本章将介绍MATLAB 神经网络的基础知识，包括神经网络的原理、MATLAB的神经网络工具箱以及神经网络训练和预测的一般步骤。
1.1 神经网络的原理神经网络由神经元（neuron）组成，每个神经元接收多个输入并产生一个输出。
神经网络的基本单元是感知器（perceptron），它由权重、偏置和激活函数组成。
权重决定了输入对输出的影响程度，偏置用于调整输出的偏移量，激活函数用于处理神经元的输出。
通过调整权重和偏置，神经网络可以学习和适应不同的输入输出模式。
常见的神经网络包括前馈神经网络（feedforward neural network）、循环神经网络（recurrent neural network）和卷积神经网络（convolutional neural network）。
前馈神经网络是最基本的神经网络类型，信息只能在网络中的一个方向流动，即从输入层到输出层。
循环神经网络具有反馈连接，可以记忆之前的状态信息，适用于序列数据的处理。
卷积神经网络则主要用于图像和语音等二维数据的处理。
1.2 MATLAB神经网络工具箱MATLAB提供了一个神经网络工具箱（Neural Network Toolbox），用于设计、训练和模拟神经网络。
该工具箱包括多种神经网络类型、各种激活函数、训练算法和性能函数等各种功能模块。
使用MATLAB神经网络工具箱可以方便地进行神经网络的建模和仿真。
在MATLAB神经网络工具箱中，神经网络被表示为一个网络对象（network object）。
网络对象由一系列图层（layer）组成，每个图层由若干个神经元组成。
网络对象还包括连接权重矩阵、偏置向量和训练参数等属性。
Matlab中的人工智能算法介绍
Matlab中的人工智能算法介绍人工智能（Artificial Intelligence，AI）作为一门学科，旨在研究和开发能够模拟人类智能行为的技术和系统。
近年来，人工智能在各个领域迅猛发展，为解决现实生活中的复杂问题提供了全新的思路和方法。
而在实现人工智能技术的过程中，算法的选择和应用显得尤为重要。
Matlab作为一款强大的科学计算工具，提供了丰富的人工智能算法库，方便研究人员和工程师在开发人工智能系统时使用。
本文将介绍几种在Matlab中常用的人工智能算法。
一、机器学习算法1. 支持向量机（Support Vector Machine，SVM）支持向量机是一种监督学习算法，主要用于分类和回归问题。
它通过找到一个最优超平面来使不同类型的数据点具有最大的间隔，从而实现分类。
在Matlab中，通过SVM工具箱可以轻松应用支持向量机算法，进行分类和回归分析。
2. 人工神经网络（Artificial Neural Network，ANN）人工神经网络是模拟人脑神经网络的计算模型，可以进行模式识别、分类、优化等任务。
在Matlab中，通过神经网络工具箱可以构建和训练不同类型的人工神经网络，如前馈神经网络、循环神经网络等。
3. 随机森林（Random Forest）随机森林是一种集成学习算法，通过随机抽样和特征选择的方式构建多个决策树，并通过投票或平均等方式进行预测。
在Matlab中，通过随机森林工具箱可以构建和训练随机森林模型，用于分类和回归问题。
二、进化算法1. 遗传算法（Genetic Algorithm，GA）遗传算法是一种模拟自然界生物进化过程的优化算法，通过模拟选择、交叉和变异等操作，逐步优化问题的解。
在Matlab中，通过遗传算法工具箱可以方便地进行遗传算法的设计和实现。
2. 粒子群优化算法（Particle Swarm Optimization，PSO）粒子群优化算法是一种模拟鸟群觅食行为的智能优化算法，通过粒子的位置和速度信息进行搜索和优化。
MATLAB中的模式识别与分类方法
MATLAB中的模式识别与分类方法引言：随着大数据和人工智能的发展，模式识别和分类成为了计算机科学和人工智能领域的重要研究方向。
在许多实际问题中，我们需要从复杂的数据中获取有用的知识，并进行分类和预测。
而MATLAB作为一种强大的科学计算软件，提供了一系列的模式识别和分类方法，方便我们进行数据分析和预测。
本文将介绍MATLAB 中的几种常用的模式识别与分类方法，包括聚类分析、支持向量机、神经网络和决策树等。
一、聚类分析聚类分析是一种常用的无监督学习方法，通过将相似的数据样本组合成簇的方式来帮助我们理解数据的内在结构。
MATLAB提供了多种聚类算法，例如K-means、层次聚类和DBSCAN等。
K-means是一种基于距离的聚类算法，通过迭代优化目标函数来将数据样本划分为K个簇。
层次聚类则是基于数据点之间的相似性来构建树状结构，通过切割树状结构来获取不同的簇。
而DBSCAN则是基于密度的聚类方法，通过划定邻域半径和最小邻居数来区分核心样本、边界样本和噪声样本。
二、支持向量机支持向量机（Support Vector Machine，简称SVM）是一种二分类模型，通过求解一个凸二次规划问题来构建一个划分超平面。
SVM在处理高维数据和非线性问题时具有较好的性能。
MATLAB提供了强大的支持向量机工具箱，可以帮助我们进行数据分类和回归分析。
使用SVM进行模式识别和分类时，我们需要选择合适的核函数（如线性核、多项式核和径向基函数核等），并进行模型训练和参数调整。
三、神经网络神经网络是一种模拟人类神经系统的机器学习模型，可以进行复杂的模式识别和分类任务。
在MATLAB中，我们可以利用神经网络工具箱来构建和训练神经网络。
神经网络的训练过程包括权重初始化、前向传播、误差计算和反向传播等步骤。
在选择神经网络结构时，我们需要确定网络层数、神经元数量和激活函数等参数。
此外，MATLAB还提供了一些常用的预训练神经网络模型，如AlexNet和ResNet 等，可以帮助我们快速搭建和训练复杂的神经网络模型。
神经网络实学习 例子
神经网络实学习例子1通过神经网络滤波和信号处理，传统的sigmoid函数具有全局逼近能力，而径向基rbf函数则具有更好的局部逼近能力，采用完全正交的rbf径向基函数作为激励函数，具有更大的优越性，这就是小波神经网络，对细节逼近能力更强。
BP网络的特点①网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。
这使得它特别适合于求解内部机制复杂的问题。
我们无需建立模型，或了解其内部过程，只需输入，获得输出。
只要BPNN结构优秀，一般20个输入函数以下的问题都能在50000次的学习以内收敛到最低误差附近。
而且理论上，一个三层的神经网络，能够以任意精度逼近给定的函数，这是非常诱人的期望；②网络能通过学习带正确答案的实例集自动提取"合理的"求解规则，即具有自学习能力；③网络具有一定的推广、概括能力。
bp主要应用回归预测(可以进行拟合，数据处理分析，事物预测，控制等)、分类识别(进行类型划分，模式识别等)，在后面的学习中，都将给出实例程序。
但无论那种网络，什么方法，解决问题的精确度都无法打到100%的，但并不影响其使用，因为现实中很多复杂的问题，精确的解释是毫无意义的，有意义的解析必定会损失精度。
BP注意问题1、BP算法的学习速度很慢，其原因主要有：a由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现"锯齿形现象"，这使得BP算法低效；结论4：由上表可以看出，后者的初始权值比较合适些，因此训练的时间变短，误差收敛速度明显快些。
因此初始权值的选取对于一个网络的训练是很重要的。
1.4，用最基本的BP算法来训练BP神经网络时，学习率、均方误差、权值、阈值的设置都对网络的训练均有影响。
综合选取合理的值，将有利于网络的训练。
在最基本的BP算法中，学习率在整个训练过程是保持不变的，学习率过大，算法可能振荡而不稳定；学习率过小，则收敛速度慢，训练时间长。
matlab分类器算法
matlab分类器算法Matlab是一种常用的科学计算工具，广泛应用于数据分析、图像处理、机器学习等领域。
其中，分类器算法是机器学习中常用的一种技术，可以根据已有的数据集对新的数据进行分类。
本文将介绍几种常用的Matlab分类器算法，并分析其原理和应用。
一、K近邻算法K近邻算法是一种基本的分类器算法，其原理是找出与待分类样本最相似的K个训练样本，然后根据这K个样本的标签进行投票决定待分类样本的类别。
在Matlab中，可以使用fitcknn函数实现K近邻分类器。
该函数可以设置K值、距离度量方法等参数，以适应不同的分类任务。
二、支持向量机算法支持向量机是一种经典的二分类算法，其目标是找到一个超平面，将两个不同类别的样本分隔开来，并使得超平面到最近样本的距离最大化。
在Matlab中，可以使用fitcsvm函数实现支持向量机分类器。
该函数可以设置核函数、惩罚系数等参数，以适应不同的分类任务。
三、决策树算法决策树是一种简单而有效的分类器算法，其原理是通过对特征的逐次划分，将数据集划分为不同的子集，直到子集中的样本属于同一类别或无法再进行划分为止。
在Matlab中，可以使用fitctree函数实现决策树分类器。
该函数可以设置最大深度、最小叶节点数等参数，以控制决策树的复杂度和泛化能力。
四、朴素贝叶斯算法朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立性假设的分类器算法，其原理是通过计算待分类样本属于每个类别的概率，并选择概率最大的类别作为分类结果。
在Matlab中，可以使用fitcnb函数实现朴素贝叶斯分类器。
该函数可以设置类别先验概率、特征条件概率等参数，以适应不同的分类任务。
五、神经网络算法神经网络是一种模拟生物神经网络结构和功能的计算模型，具有良好的非线性拟合能力和适应性。
在Matlab中，可以使用patternnet函数实现基于多层感知器的神经网络分类器。
该函数可以设置隐藏层数、神经元个数等参数，以控制神经网络的复杂度和性能。
Matlab中的机器学习与深度学习算法
Matlab中的机器学习与深度学习算法引言：在当今信息爆炸的时代，机器学习和深度学习算法成为了解决复杂问题和推动科学进步的重要工具。
Matlab作为一种强大的科学计算软件，提供了丰富的机器学习和深度学习工具包，能够帮助研究人员进行数据分析、模式识别和预测等任务。
本文将介绍几种常用的机器学习和深度学习算法，并探讨它们在Matlab中的应用。
一、线性回归算法线性回归是一种用于拟合线性模型的方法，通过最小化观测数据与预测值之间的差异来寻找最佳拟合线。
在Matlab中，可以使用内置函数fitlm实现线性回归分析。
该函数可以通过输入一个自变量和一个因变量的数据集，自动拟合最佳的线性模型，并提供各种统计指标和图形展示工具。
二、决策树分类算法决策树分类算法是一种基于树形结构的分类模型，其通过一系列的判断节点将数据集划分为不同的类别。
在Matlab中，我们可以使用内置函数fitctree来构建决策树分类模型。
该函数提供了丰富的参数设置和可视化工具，能够帮助我们快速构建和评估决策树模型，并进行预测和分类任务。
三、支持向量机算法支持向量机是一种常用的分类和回归算法，其基本思想是找到一个最优超平面来分割不同类别的数据点。
在Matlab中，我们可以使用内置函数fitcsvm来实现支持向量机分类。
该函数提供了多种不同的核函数选项和超参数设置，可以根据具体问题的需要进行灵活调整。
此外，还可以使用fitrsvm函数进行支持向量机回归任务。
四、神经网络算法神经网络是一种模仿人脑神经系统中神经元之间相互连接和传递信息的计算模型，具有较强的自适应能力和非线性拟合能力。
在Matlab中，我们可以使用内置函数patternnet和feedforwardnet来构建和训练神经网络模型。
这些函数提供了丰富的网络结构和权重训练算法选项，可以根据问题的复杂程度和数据的特点选择适合的模型。
五、卷积神经网络算法卷积神经网络是一种通过卷积和池化等操作将图像或序列数据进行特征提取和模式识别的机器学习算法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于神经网络的学习练习题某BP 神经网络如下图。
其中输入为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3121x x ； 期望输出为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.095.021d d ；第一层权值矩阵为⎢⎣⎡−=211W ⎥⎦⎤02；第一层阈值⎥⎦⎤⎢⎣⎡−=13θ 第二层权值矩阵为⎢⎣⎡=012W ⎥⎦⎤−21；第二层阈值⎥⎦⎤⎢⎣⎡=32r传输函数均为Sigmoid 函数，试训练该网络。
1 用最基本的BP 算法训练网络1.1 只改变学习率，比较学习率的改变对最后训练结果的影响 步骤：1）程序设计：第一步：定义输入向量和目标向量 p=[1 3]';t=[0.95 0.05]';第二步：创建BP 网络，设置训练函数为最速下降BP 算法 netbp=newff([-1 1;-1 1],[2 2],{'logsig' 'logsig'},'traingd');第三步：初始化权值阈值 netbp.IW{1}=[1 2;-2 0]; netbp.LW{2}=[1 1;0 -2]; netbp.b{1}=[-3 1]'; netbp.b{2}=[2 3]';第四步：设置训练函数参数netbp.trainParam.lr=1; //设置学习率netbp.trainParam.goal=0.0001; //设置最后达到的均方误差为0.0001 netbp.trainParam.epochs=5000; //设置最大训练步长d1d2第五步：训练神经网络 [netbp,tr]=train(netbp,p,t);程序运行的结果如下：经过346步运算达到设定的均方误差范围内。
最后输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out训练后权值⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤2.9992-0.77392）分别改变学习率为1.5和0.5，观察结果 学习率5.1=α 5.0=α训练步长 263 786输出⎥⎦⎤⎢⎣⎡=0.05160.9640Out⎥⎦⎤⎢⎣⎡=0.05160.9640Out第一层权值 ⎢⎣⎡= 1.6030-1.01301W ⎥⎦⎤1.19092.0391⎢⎣⎡= 1.6078-1.01351W ⎥⎦⎤1.17662.0405第二层权值 ⎢⎣⎡= 1.4443-0.7744 2W ⎥⎦⎤3.1252-0.7806 ⎢⎣⎡= 1.4343-0.77512W ⎥⎦⎤3.1505-0.7816误差性能曲线结论1：学习率增大，所需的训练步长变短，即误差收敛速度快。
3）不断改变学习率，观察误差收敛速度。
学习率为5时 需要80步长学习率为30 需要14步长⎥⎦⎤⎢⎣⎡=0.05140.9641 Out⎥⎦⎤⎢⎣⎡=0.0489 0.9636Out学习率为60，需要202步长⎥⎦⎤⎢⎣⎡=0.03890.9496Out学习率为150 达不到误差范围内⎥⎦⎤⎢⎣⎡=0.00000.9500Out结论2：由上述4例可以发现，学习率不可以无限制地增大，增大到一定程度后，误差收敛速度将减慢，甚至有可能出现最后一图中的现象，即达不到误差范围内，进入局部稳定状态。
1.2 学习率为1，改变均方误差的设置，比较均方误差的改变对最后训练结果的影响 初始误差 0001.0=MSE001.0=MSE训练步长 346 58输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out ⎥⎦⎤⎢⎣⎡=0.08340.9791Out 第一层权值⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322 ⎢⎣⎡= 1.6182- 1.01231W ⎥⎦⎤1.14532.0369第二层权值 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤3.1252-0.7806⎢⎣⎡= 1.2695- 0.96662W ⎥⎦⎤2.9717-0.9691误差性能曲线结论3：在其他条件一样的前提下，将最后要达到的均方误差值设置较大时，网络训练时间就变长，误差收敛速度慢些，但是最后的输出结果较为精确些。
1.3 学习率为1，改变初始权值的设置，比较初始权值的改变对最后训练结果的影响 初始 权值 ⎢⎣⎡−=211W⎥⎦⎤02，⎢⎣⎡=012W ⎥⎦⎤−21 ⎢⎣⎡−=5.111W ⎥⎦⎤12，⎢⎣⎡−=17.02W ⎥⎦⎤−37.0 训练步长 346146输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out⎥⎦⎤⎢⎣⎡=0.06010.9598 Out第一层权值 ⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322 ⎢⎣⎡= 1.4088-1.01311W ⎥⎦⎤1.27352.0392 第二层权值 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤3.1252-0.7806 ⎢⎣⎡= 1.6298-0.63372W ⎥⎦⎤3.6105-0.6349误差性能曲线结论4：由上表可以看出，后者的初始权值比较合适些，因此训练的时间变短，误差收敛速度明显快些。
因此初始权值的选取对于一个网络的训练是很重要的。
1.4 学习率为1，改变初始阈值的设置，比较初始阈值的改变对最后训练结果的影响 初始 阈值 ⎥⎦⎤⎢⎣⎡−=13θ， ⎥⎦⎤⎢⎣⎡=32r⎥⎦⎤⎢⎣⎡−=02θ， ⎥⎦⎤⎢⎣⎡=41r训练步长 346 137输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out ⎥⎦⎤⎢⎣⎡=0.06370.9534Out 第一层权值 ⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322⎢⎣⎡= 1.5021- 1.00991W ⎥⎦⎤1.49382.0297第二层权值 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤3.1252-0.7806⎢⎣⎡= 1.7774-1.03302W ⎥⎦⎤3.2294-0.9883误差性能曲线结论5：由上表可以看出，后者的初始阈值比较合适些，因此训练的时间变短，误差收敛速度明显快些。
因此初始阈值的选取对于一个网络的训练也是很重要的。
小结：由1.1到1.4，用最基本的BP 算法来训练BP 神经网络时，学习率、均方误差、权值、阈值的设置都对网络的训练均有影响。
综合选取合理的值，将有利于网络的训练。
在最基本的BP 算法中，学习率在整个训练过程是保持不变的，学习率过大，算法可能振荡而不稳定；学习率过小，则收敛速度慢，训练时间长。
而要在训练之前选择最佳的学习率是不现实的。
因此学习率可变的BP 算法（variable learning rate backpropagation ,VLBP）应运而生。
下一结介绍用VLBP 来训练该网络的情况。
2 用VLBP 算法训练网络。
2.1 算法简单介绍⎩⎨⎧=+)()()1(k k k k k decinc ααα )()1()()1(k E k E k E k E <+<+ （1）)()()1()()1(k x k E k x k x ∂∂−+Δ=+Δηαη （2）)1()()1(+Δ+=+k x k x k x （3）当误差以减少的方式趋于目标时，说明修正方向正确，可以使步长增加，因此学习率乘以增量因子inc k ，使学习率增加；而修正过头时，应减少步长，可以乘以减量因子dec k ，使学习率减小。
2.2 具体实现与第一部分的程序设计差不多，初始学习率为1，最后要达到的均方误差值设为0.0001，以下部分做些改动。
netbp3=newff([-1 1;-1 1],[2 2],{'logsig' 'logsig'},'traingdx');//将训练函数改为“traingdx ” netbp3.trainParam.lr_inc=1.1; //将学习率增量因子设置为1.1 netbp3.trainParam.lr_dec=0.65; //将学习率减量因子设置为0.65 最后结果比较 算法 最基本的BP 算法学习率可变的BP 算法初始学习率1=α65.01.111===dec inc k k α 训练 步长 346 50输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out⎥⎦⎤⎢⎣⎡=0.05000.9638 Out第一层权值 ⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322 ⎢⎣⎡= 1.4084-1.00451W ⎥⎦⎤1.77482.0135 第二层权值 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤3.1252-0.7806⎢⎣⎡= 1.5447-0.7669 2W ⎥⎦⎤2.8650-0.7683误差性能曲线小结：采用学习率可变的BP 算法的收敛速度明显比学习率不变的算法提高很多。
以上两种算法都是沿着梯度最陡下降方向修正权值，误差减小的速度是最快，但收敛速度不一定是最快的。
针对收敛速度提出了变梯度算法。
下一结介绍变梯度算法（conjugate gradient backpropagation,CGBP）对网络训练的情况。
3 用CGBP 算法训练网络3.1 算法简单介绍)()()1(k p k x k x α+=+ (1) )1()()()(−+−=k p k k g k p β (2) )1()1()()()(−−=k g k g k g k g k T T β (3)该算法中，沿着变化的方向进行搜索，使其收敛速度比最陡下降梯度方向的收敛速度更快。
3.2 具体实现其他部分程序设计均与基本BP 算法相同，不要设置学习率，误差也设为0.0001。
就在创建网络时由下面一条语句完成。
netbp4=newff([-1 1;-1 1],[2 2],{'logsig' 'logsig'},'traincgf'); 算法 最基本的BP 算法 CGBP 算法训练 步长 346 3输出⎥⎦⎤⎢⎣⎡=0.05140.9640Out⎥⎦⎤⎢⎣⎡=0.04980.9448Out第一层权值 ⎢⎣⎡= 1.5291-1.01071W ⎥⎦⎤1.41282.0322⎢⎣⎡= 0.7320- 0.92651W ⎥⎦⎤3.80391.7794第二层权值 ⎢⎣⎡= 1.4789-0.77132W ⎥⎦⎤3.1252-0.7806 ⎢⎣⎡= 2.1081-0.62012W ⎥⎦⎤1.7789-0.6305误差性能曲线小结：变梯度算法只要3步就能到达设定的误差范围内，其收敛速度的确是以上介绍的几种算法中最快的一种。
但是它所需要的存储空间也比普通算法要多一些。
在这个简单的网络中，它比普通算法多1000多个字节的存储空间。