神经网络在系统辨识中的应用
神经网络在系统辨识中的应用研究
４ 监视系统运行 状态 ， ） 进行 故障诊 断 。由系统 运行 的 状态信息 ， 推测系统动态特性的变化 ， 断其运 行是否正 常 。 判
若有 故障 ， 判断故障位置 、 状况等 。
２ 人 工神 经网络
人工 神经 网络是 由许多 处理单 元 。 称 神经元 。 图 １ 又 如
所示 ， 照一定 的拓扑结构相互连接 而成 的一 种具 有并行计 按 算能力的网络系统。这种 网络系统 具有非 线性 、 规模 、 大 自 适应 的动力学 特征。它 是在现 代神经 科学研究 成 功的 基础 上提 出来 的， 试图通 过模拟 人脑神 经处理信 息 的方式 ， 另 从
个研究 角度来获 得人 脑那 样的信 息处理 能力 。 目前人 工
神经 网络在系统辨识 、 模式 识别、 号处 理 、 信 图象 处理 、 障 故
诊断 以及智能控制等许多领域得到 了广泛 的应用 。 控制系统的非线性 问题 是传统控 制理 论遇到 的最 大难 题之一 ， 神经 网络逼近非线性函数的能力为控制理论 的发展 提供了生机 。用 于逼 近非线 性 函数的 神经 网络模 型 。 Ｂ 以 Ｐ 网络模 型的应用最 为广泛 ， 近年来 提 出的径 向基 函数 网络、 正交 函数 网络 、 条函数 网络等模型也显示了 良好的应用 前 样
络具有快速和高容错 性 的优点 ；）神经 网络 自身的结构 和 ３
其 多人 多出的特点 ， 使其易用 于多变 量系统 的辨识和 控制 ， 且 与其 他逼近方法相 比更经 济 ； ）神 经网 络具 有 自学习和 ４ 自适应 的特性 ， 它主要 是根据所 提供 的数 据 ， 过学 习和训 通 练 ， 出输入和输 出之间的 内在联系 ， 而求得 问题的解答 ， 找 从 而不是依靠对 问题 的先验 知识和规则 ， 因而它具 有很 好的适 应性 。神经 网络 的实现 目前最常用 的方法是软件模拟 。 由于
基于IGA的多层神经网络BP算法及在系统辨识中的应用
慢且 易 陷入 局 部极 小 点而 无法 自拔 。故 将 两者 结 合 ， 扬 长避 短 ， 可 获得 较 满 意 的 实 验 结果 。 目前 ， Ｇ 与 将 Ａ ＮＮ结 合 起来 的文章 已有一 些报 道 ， 多数是 摒弃 神 经 网络 的算法 而 只采 用 遗传 算 法 来 训 练 ＮＮ 的权 值 ， 但 在 精 度不 高 的情 况 下 ， Ａ迭代 几 百代 后 可 获得 近 似 的 解 ， 要 将精 度 提 高 ， 需 要 花 费 相 当大 的 代 价 或 者 根 Ｇ 若 则
维普资讯
第 １ ７卷
第 ２期
西
南
工
学
院
学
报
Ｖｏ ． ７ Ｎｏ ２ １１ ．
２０ ０ ２年 ６月
Ｊ ＯＵＲＮＡＬ ＯＦ Ｓ ＯＵＴＨＷ ＥＳ Ｉ ＴＩ Ｔ ＮＳ ＴＵＴＥ ＯＦ ＴＥＣＨＮＯＬ ＯＧＹ
Ｊ ｎ． ０ ２ ｕ ２ ０
摘 要 ： 文针 对 用 Ｇ 训 练 ＮＮ 权 值 时 ， 费的 代 价 随精 度 的提 高而 剧 烈 增加 的缺 陷 ， 出 了一 本 Ａ 花 提 种 利 用 Ｉ Ａ较 强的全 局搜 索能 力和 Ｉ Ｐ 较 强的局 部搜 索能 力的 结合 算 法 ； 利 用 Ｉ Ａ 优 化 多层 前 Ｇ ＢＡ 先 Ｇ 馈 神 经 网络 的权值 ， 然后 再 用 Ｉ Ｐ 提 高搜 索精 度 ， 效地避 免 了 Ｉ Ｐ 易 陷入 局 部 极 小 点和 Ｉ Ａ 过 ＢＡ 有 Ｂ Ａ Ｇ
早 收敛 的缺 点 ， 实验 结果 表 明 ， 此算 法是有 效 的 。
关键 词 ： 遗传 算 法 ； 经 网络 ； Ｐ算法 ； 神 Ｂ 系统辨 识 中 图分类 号 ： ２ ３ ２ ＴＰ ７ ． 文献标 识 码 ： Ａ
非线性系统系统辨识与控制研究
非线性系统系统辨识与控制研究引言：非线性系统是指系统在其输入与输出之间的关系不符合线性关系的系统。
这种系统具有复杂的动态行为和非线性特性，使得其辨识与控制变得非常具有挑战性。
然而，非线性系统在现实生活中的应用非常广泛，例如电力系统、机械系统和生物系统等。
因此，对非线性系统的系统辨识与控制研究具有重要意义。
一、非线性系统辨识方法研究1. 仿射变换法仿射变换法是一种常用的非线性系统辨识方法之一。
它通过将非线性系统进行仿射变换，将其转化为线性系统的形式，从而利用线性系统辨识的方法进行处理。
该方法适用于具有输入输出非线性关系的系统，但对于参数模型的选择和计算量较大的问题需要进一步研究。
2. 基于神经网络的方法神经网络作为一种强大的表达非线性关系的工具，被广泛应用于非线性系统辨识。
基于神经网络的方法可以通过训练神经网络模型，从大量的输入输出数据中学习非线性系统的映射关系。
该方法的优点是可以逼近任意非线性函数，但对于网络结构的选择和训练过程中的收敛性等问题还需深入研究。
3. 基于系统辨识方法的非线性系统辨识传统的系统辨识方法主要适用于线性系统的辨识，但其在非线性系统辨识中也有应用的价值。
通过对非线性系统进行线性化处理，可以将其转化为线性系统的辨识问题。
同时，利用最小二乘法、频域法等常用的系统辨识方法对线性化后的系统进行辨识。
这种方法的优势在于利用了线性系统辨识的经验和技术，但对于线性化的准确性和辨识结果的合理性需要进行评估。
二、非线性系统控制方法研究1. 反馈线性化控制反馈线性化是一种常用的非线性系统控制方法。
该方法通过在非线性系统中引入反馈控制器，将非线性系统转化为可控性的线性系统。
然后，利用线性系统控制方法设计控制器，并通过反馈线性化控制策略实现对非线性系统的控制。
该方法的优点在于简化了非线性系统控制的设计和分析过程，但对于系统的稳定性和性能等问题还需要进行进一步的研究。
2. 自适应控制自适应控制是一种针对非线性系统的适应性控制方法。
《系统辨识》新方法
《系统辨识》新方法在现代生产和控制系统中，系统辨识是一项至关重要的技术，可以用于确定系统的动态和静态特性。
传统的系统辨识方法主要是基于数学建模和数据分析，但由于系统的复杂性和不确定性，这些方法往往无法精确地描述系统的行为。
最近，一些新方法被提出来来处理这些限制。
这些方法包括基于深度学习的数据驱动方法和基于强化学习的模型自适应方法，它们非常适用于处理高维、非线性和时变系统。
数据驱动方法数据驱动方法是一种基于统计学和机器学习的方法，该方法可以从系统的输入输出数据中直接推断系统的动态和静态特性。
数据驱动方法对模型预测误差大的系统非常有效。
数据驱动方法的核心思想是使用神经网络等子模型来拟合输入输出数据。
其中，一些流行的数据驱动方法包括循环神经网络 (RNN)、长短期记忆网络 (LSTM)、卷积神经网络(CNN) 和自编码器 (AE)。
模型自适应方法模型自适应方法是一种基于控制理论和强化学习的方法，该方法可以通过“试错”过程来更新系统模型，并在这一过程中改善控制性能。
模型自适应方法与传统的控制器不同，可以通过优化系统模型来提高控制性能。
此外，模型自适应方法还能够应对系统非线性和不确定性，可以对高灵敏度系统进行控制。
模型自适应方法的核心思想是建立模型预测控制器 (MPC)，该控制器使用增量式状态估计器来更新系统模型，并根据模型预测控制策略来改善控制性能。
其中，一些流行的模型自适应方法包括无模仿神经网络自适应控制器 (NFNNAC) 和最优自适应滑模控制器(OOASMC)。
结论总之，数据驱动方法和模型自适应方法是现代系统辨识中的新方法。
这些方法已经被证明可以有效处理复杂、高维、非线性和时变系统，并且可以优化控制性能。
未来，这些方法将会在许多领域得到广泛应用，例如智能制造、机器学习和大数据分析。
《系统辨识》新方法
《系统辨识》新方法随着科技的不断进步，系统辨识领域也迎来了新的突破和发展。
系统辨识是指通过对系统内部结构和参数进行分析和推断，以获取对系统行为的认识和预测的过程。
它在工程控制、信号处理、机器学习等领域有着广泛的应用。
在过去，系统辨识主要依靠数学建模和理论推导来实现，但是这种方法往往需要大量的先验知识和较为复杂的计算过程。
如今，随着人工智能、深度学习等技术的发展，一些新的方法开始被引入到系统辨识领域，为系统辨识带来了新的可能性和机遇。
一种新的方法是基于深度学习的系统辨识。
深度学习是一种基于大数据和多层神经网络的机器学习方法，它可以通过学习大量的数据来获取系统的内在模式和规律。
在系统辨识中，深度学习可以应用于对系统状态的预测、参数的估计以及对系统模型的推断。
相比于传统的数学建模方法，基于深度学习的系统辨识在处理非线性系统和高维数据时更加灵活和高效。
它可以直接从数据中学习系统的内在特征，无需假设系统的具体数学结构，从而能够更准确地对系统进行辨识和预测。
另一种新的方法是基于强化学习的系统辨识。
强化学习是一种通过智能体和环境的交互来学习最优行为策略的机器学习方法，它可以应用于系统的参数优化和控制器设计。
在系统辨识中，强化学习可以通过持续的试错和调整来逐步优化系统的辨识性能。
通过与环境的交互和反馈，强化学习可以逐步改进系统辨识的准确性和稳定性。
相比于传统的批量学习方法，基于强化学习的系统辨识可以更好地适应系统的变化和非线性特性。
除了深度学习和强化学习，还有一些其他新的方法也开始被引入到系统辨识领域。
基于图神经网络的系统辨识可以通过对系统的结构和拓扑进行学习和推断，从而实现对复杂系统的辨识和模型推断。
而基于元学习的系统辨识则可以通过对辨识任务的学习和泛化来提升系统辨识的鲁棒性和适应性。
这些新的方法为系统辨识带来了更加丰富和多样的可能性，为工程实践和科学研究提供了新的思路和工具。
新方法也面临着一些挑战和问题。
新方法往往对大量的数据和计算资源有着较高的要求，这对于一些实时性要求较高的系统辨识任务来说可能会存在一定的局限性。
离散控制系统的系统辨识技术
离散控制系统的系统辨识技术离散控制系统的系统辨识技术是在离散时间下对系统进行建模和参数估计的一种方法。
通过系统辨识技术，我们可以获取到系统的数学模型和参数，从而实现对系统的控制。
本文将介绍离散控制系统的系统辨识技术及其应用。
一、系统辨识的基本概念系统辨识是指通过实验和数据分析，推导出系统的数学模型和参数的过程。
在离散控制系统中，由于系统的输入和输出变量是按照离散时间采样得到的，因此需要采用特定的辨识方法进行处理。
常见的离散控制系统的系统辨识方法包括：参数辨识、经验模型辨识和神经网络辨识等。
参数辨识方法通过对系统的输入-输出数据进行数学建模和参数估计，得到系统的差分方程或状态空间模型。
经验模型辨识方法则利用系统的输入-输出数据建立经验模型，这种方法不需要对系统做具体的建模，适用于复杂系统。
而神经网络辨识方法是通过训练神经网络模型来拟合系统的输入-输出数据，从而得到系统的模型和参数。
二、离散控制系统的参数辨识方法参数辨识是离散控制系统中常用的系统辨识方法之一。
参数辨识方法假设系统的数学模型已知，但其中的参数未知或者不准确，通过实验数据对这些参数进行估计。
在实际应用中，参数辨识方法可以分为两类：基于频域的辨识方法和基于时域的辨识方法。
基于频域的辨识方法主要利用系统的频率响应函数来识别参数，例如最小二乘法、极大似然法等。
而基于时域的辨识方法则是利用系统的时序数据来进行参数估计，例如递推最小二乘法、扩展卡尔曼滤波法等。
三、离散控制系统的经验模型辨识方法经验模型辨识方法是一种不需要假设系统的具体数学模型的系统辨识方法。
该方法通过将系统的输入-输出数据进行数据处理和分析，从中提取系统的特征，建立经验模型。
常见的经验模型辨识方法包括：自回归移动平均模型（ARMA）、自回归滑动平均模型（ARIMA）和动态线性模型（DLM）等。
这些方法都是通过对系统的输入-输出数据进行统计分析和数据建模，从中获得系统的经验模型参数。
粒子群优化神经网络算法在非线性系统辨识中的应用研究
用Ｂ Ｐ神经 网络对非线性对象进行 逼近辨识 ， 再采用粒 子群算法优化 Ｂ Ｐ网络 的方法 。仿真结果表明该方法能够实现更 大精度 的辨识效果 。 关键 谲
中图分类号
Ｎｅ ｕ ｒ ａ ｌ Ｎｅ ｔ ｗｏ ｒ ｋ Ｏｐ ｔ ｉ ｍｉ ｚ ｅ ｄ ｗｉ ｔ ｈ Ｐ ａ ｒ ｔ ｉ ｃ ｌ ｅ Ｓ ｗａ ｒ ｍ Ａｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｎ
１ 引 言
目前 神经 网络 在 很 多 领 域 取 得 了 巨 大 的 成 功 ， 但 其 也
线性 的 ， 也可 以为线性 的 ， 多层前 向神经 网络 能逼近 任意非
线 性 函数 ， 在 非线 性 控 制 领 域 有 广 泛 的 应 用
输 入层 节点 隐层节 点
。
输 出层 书点
Ａｂｓ ｔ ｒ ａ ｃ ｔ Ｔｈ ｅ ｎｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ｈａ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｄ ｇ ｒ ｅ ａ ｔ ｓ ｕ ｃ ｃ ｅ ｓ ｓ ｉ ｎ ｍａ ｎ ｙ ａ ｒ ｅ ａ ｓ ，ｂ ｕ ｔ ｉ ｔ ａ ｌ ｓ ｏ ｈ ａ ｓ ｉ ｔ ｓ ｏ ｗｎ ｄ ｅ ｆ ｉ ｃ ｉ ｅ ｎｃ ｉ ｅ ｓ ａ ｎ ｄ ｓ ｈ ｏ ｒ ｔ ｃ ｏ ｍｉ ｎ ｇ ｓ ｓ ｕ ｃ ｈ ａ ｓ
特点 ， 取 得 了 良好 的效 果 。
２ 基于 Ｂ Ｐ神 经 网络 的 系统 辨识
在现 实 中 ， 几 乎 所 有 的 实 际 系 统 都 是 非 线 性 系 统 。要
图ｌ Ｂ Ｐ神 经 Ｉ Ｎ络 结 构
解决 非线性 系统 的辨识 问题 ， 首 先要解 决 的就是 非线性 系 统的描述 问题 ， 但迄今为止 ， 仍缺 乏描述各 种非线性 系统的 统一的数学理论 ］ 。由于 Ｂ Ｐ神 经 网络 能实 现任 意非线
哈工大智能控制神经网络第十一课神经网络系统辨识
m
n
y(k) biu(k d i) ai y(k i)
i0
i 1
或
y(k) qd B(q1) u(k) B(q1) u(k d)
A(q1 )
A(q1 )
第一式为 ARMA 模型：
右边第 2 项为输出 y(k)的过去值组合称自回归部分； 第 1 项为输入 u(k)的过去值组合称滑动平均部分。
定义：
P(z)
Y (z) U (z)
Zy(k) Z u (k )
用迟后移位定理求 Z 变换，经整理得 Z 传递函数：
P( z)
b0 + b1z 1 + b2 z 2 + + bm z m 1 + a1z 1 + a2 z 2 + + an z n
z d
m
b0 (1 pi z 1)
i1
n
z d P0 (z)z d
确定性系统NN辨识——改进算法
引入加权因子，此时
h [ c 1 y (k 1 ), y c 2 (k 2 ), ， c ny (k n );
c n + 1 u (k d ),c n + 2 u (k d 1 ), c n + m + 1 u (k d m )]T
可取 ci i,01
则参数估计更新：w ( k + 1 ) w ( k ) + R ( k ) e ( k ) h ( k )
系统辨识理论基础
定义：在输入/输出数据基础上，从一组给 定模型类中确定一个所测系统等价的模型。 辨识三要素： 输入/输出数据 模型类(系统结构) 等价准则 e.g. J e
符号
P: 待辨识系统； Pˆ 辨识系统模型
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
神经网络在系统辨识中的应用摘要应用于自动控制系统的神经网络算法很多，特点不一，对于非线性系统辨识的研究有一定影响。
本文就BP网络算法进行了着重介绍，并点明了其收敛较慢等缺点，进而给出了改进算法，说明了建立在BP算法基础上的其他算法用于非线性系统辨识的可行性与有效性。
关键词神经网络BP算法；辨识；非线性系统前言神经网络是一门新兴的多学科研究领域，它是在对人脑的探索中形成的。
神经网络在系统建模、辨识与控制中的应用，大致以1985年Rumelhart的突破性研究为界。
在极短的时间内，神经网络就以其独特的非传统表达方式和固有的学习能力，引起了控制界的普遍重视，并取得了一系列重要结果。
本文以神经网络在系统辨识中的应用作一综述，而后着重介绍BP网络算法，并给出了若干改进的BP算法。
通过比较，说明改进算法具有诸多优点及用于非线性系统辨识[1]的可行性与有效性。
1 神经网絡用于系统辨识的原理及现状神经网络在自动控制系统中的应用已有多年。
目前，利用神经网络建立动态系统的输入/输出模型的理论及技术，在许多具体领域的应用得到成功，如化工过程、水轮机、机器入手臂、涡轮柴油发动机等。
运用神经网络的建模适用于相当于非线性特性的复杂系统[2]。
目前系统辨识中用得最多的是多层前馈神经网络[1]。
我们知道，自动控制系统中，一个单隐层或双隐层的具有任意数目神经元的神经网络，可以产生逼近任意函数的输入/输出映射。
但网络的输入节点数目及种类（延迟输入和输出）、隐层节点的个数以及训练所用的算法对辨识精度和收敛时间均有影响。
一般根据系统阶数取延迟输入信号，根据经验确定隐层节点数，然后对若干个神经网络进行比较，确定网络中神经元的合理数目。
现在用得较多的多层前馈神经网络的学习算法是反向传播算法（Back Propagation），即BP算法。
但BP算法收敛速度较慢，后面将会进一步讨论。
1.1 神经网络的结构感知器是最简单的前馈网络，它主要用于模式分类。
也可用在基于模式分类的学习控制和多模态控制中。
现以多层前馈神经网络为代表，来说明神经网络的结构。
多层前馈神经网络由输入、输出层以及一个或多个隐层组成。
每层有若干个计算单元称之神经元。
这些神经元在层状结构的网络中按图1所示方式相互连接。
信息按树状路径从下至上逐层传送。
一旦相邻层间神经元的连接权以及隐层中神经元的阈值被确定，整个网络的特性也就确定了。
如图1所示，第1层为输入层，第Q层为输出层，中间各层为隐层。
设第q层（q=1，2…Q）的神经元个数为，输入到第q层的第i个神经元的连接权系数为。
且神经元的变换函数采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。
该网络的输入输出变换关系为[3]：S型函数为：（1）（2）（3）这时每一层相当于一个单层感知器网络，如对于第q层，它形成一个维的超平面，它对于该层的输入模式可进行线性分类，但是由于多层的组合，最终可实现对输入模式的较复杂的分类。
1.2 用神经网络建立非线性系统模型[4]由非线性系统建模理论可知，离散时间非线性系统可以用外生输入非线性自回归滑动平均模型（NARMAX）来表示.NARMAX模型能根据输入、输出及噪声的延迟信号的非线性函数来描述非线性系统，一个r阶输入m阶输出的多变量NARMAX模型为：（4）其中，，分别是系统输出、输入及噪声向量；、和是这些信号的最大延迟；e（t）是零均值独立序列；f（·）是向量形式的非线性函数。
这种非线性关系一般非常复杂，其结构和先验知识很难预知和了解。
神经网络的出现，为这类复杂系统的建模带来了希望。
一个解决的办法是用神经网络来逼近下式表达的非线性系统：（5）应注意到（5）式是（2）式的近似形式。
研究的核心在于如何用单隐层神经网络建立（5）式所描述的非线性系统模型，达到该目的的原理框图如图2所示。
设表示神经网络中所有待估计的连接权值及阈值，是待识别参数数目。
且有（6）显然，对于单隐层网络，L=2，故图1 多层神经网络由式（1）至式（3），不难求得单隐层神经网络第i个输出节点的模型为（8）其中是网络的输入矢量。
对于SISO系统，意味着神经网络只有一个输出节点，则（8）式中的i可以去掉。
通过某种算法训练神经网络，使得所有的连接权和阈值在这样的条件下得以确定，即神经网络的输出尽可能地接近希望输出值y。
其偏差（9）称为预报误差或残差。
从图2知，神经网络的输入向量包含被识别对象的延迟输入和输出。
因此合理地确定输入节点数目以及选择正确的滞后阶数已成为用神经网络建立非线性模型的突出问题，隐层神经元的数目确定也属同样问题[5]。
2 辨识算法2.1 问题的提出神经网络能够用于非线性动态系统辨识，应该说，很大程度上归功于BP算法的产生和发展：BP网络的学习算法属于全局逼近的方法，它具有较好的泛化能力。
BP网络能够实现输入输出的非线性映射关系，但它并不依赖于模型。
其输入与输出之间的关联信息分布的存储于连接权中。
由于连接权的个数很多，个别神经元的损坏只对输入输出关系有较小的影响，因此BP网络显示了良好的兼容性。
而且由于BP网络具有很好的逼近非线性映射的能力和较好的泛化能力，故当前应用于系统辨识、系统控制等多个方面[6]。
定义能量函数J为此处、分别是网络的期望输出与实际输出。
BP算法的准则是通过沿J的负梯度方向修正未知参数的增量向量使能量函数J极小化，参数的修改量定义为=此处表示学习速率，是J对的梯度，基本的递推算式是实现上述思想的BP算法为（10）其中式中。
、、称学习速率因子，用以加快参数辨识的收敛过程；、称动量因子，用以抑制学习过快带来的不稳定现象。
此外，称k层第i元的误差信号，可以从上至下反传求得，且有顶层：（12）隐层：，（13）式（10）-（13）描述的BP算法，如果学习速率因子满足一定条件，最终参数向量将收敛于局部极小点。
大量实践已证明，该算法收敛速度很慢，尤其在学习速率常数较小时。
另外，对人为取得的学习速率、动量常数等因子非常敏感，有时甚至不能进行合理的参数估计。
2.2 实例分析取=5，=5，=1的单隐层神经网络，定义输入向量输入u（t）为零均值均匀分布白噪声序列，样本数据500对，仿真实例：y（t）=0.4对非线性系统运用BP算法。
求出由此而产生的误差指数变化曲线如图3。
误差指数=从图3可知，BP算法的误差指数曲线变化粗糙且不平稳，其收敛性能较差。
实际上，BP网络的缺点为：①收敛速度慢；②局部极值；③难以确定隐层和隐结点的个数[7]。
针对上述问题，人们对BP网络的学习算法进行了深入研究，结合神经网络的具体结构，提出了很多改进的算法。
2.3 改进算法（1）引入动量项算法为：其中既可表示单个的连接权系数，也可表示连接权向量（其元素为连接权系数）。
为k时刻的负梯度。
是k-1时刻的负梯度，为学习率，>0。
为动量项因子，<1。
该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。
（2）变尺度法BP网络算法采用的为一阶梯度法，因而收敛较慢。
而如果用二阶梯度法，则可大大改善收敛性。
算法为：其中：，0<虽然二阶梯度法具有较好的收敛性，但是它需要计算E对w的二阶导数，显然计算量很大。
故常采用变尺度法，这样它具有二阶梯度法收敛较快的优点，而且省去了计算二阶梯度，算法如下：（3）變步长法一阶梯度法寻优收敛较慢的一个重要原因是不好选择。
选的太小，收敛太慢，若选的太大，则有可能修正过头，导致振荡甚至发散。
故提出下面的算法：此算法说明，当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。
使用该算法时，由于步长在迭代过程中自行调整，因此对于不同的连接权系数实际采用了不同的学习率，弥补了BP算法的缺点[8]。
3 结束语（1）单隐层神经网络是非线性系统建模的主要模型。
但双隐层网络可能具有更好的适应性。
（2）多层神经网络的输入节点应至少为3，且应同时含有输入和输出的延迟项，能够取得较好的辨识效果。
（3）其他神经网络模型用于系统辨识，如HoPfield模型近来也取得了较大进展。
（4）在BP算法基础上的其他算法具有比较优越的性能。
已在许多BP算法无能为力的情况下体现出有效性，因而具有广泛的使用价值，是神经网络理论用于复杂系统辨识的有效途径。
参考文献[1] 潘立登.系统辨识与建模[M].北京：工业装备与信息工程出版中心，2004：277.[2] 孙增圻.智能控制理论与技术[M].北京：清华大学出版社，2011：7.[3] 温之建，潘立登.子空间辨识方法的研究与改进[J].北京化工大学学报（自然科学版），2004，31（3）：99-101.[4] 丁晓亮，潘立登.基于模型分解算法模型辨识器的设计与应用[J].控制工程，2003，10（z1）：127-128.[5] 李杰，王晓芳.线性神经网络在系统辨识中的应用研究[J].计算技术与自动化，2004，23（4）：25-27.[6] 胡德文.神经网络自适应控制[M].北京：国防科技大学出版社，2006：57-58.[7] 高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2007：177.[8] 周开利，康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京：清华大学出版社，2005：257.。