神经网络概述与BP神经网络(学生)
神经网络动态系统辨识与控制
神经网络动态系统的辨识与控制 摘要： 本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题， 简介 用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。 过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。 在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。 本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系
神经网络控制
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两
基于神经网络模型的最新系统辨识算法
基于神经网络模型的最新系统辨识算法 摘要：神经网络具有大规模并行分布式结构、自主学习以及泛化能力，因此可以利用神经网络来解决许多传统方法无法解决的问题。神经网络应用在非线性系统的辨识中有良好的结果。本文在阅读大量参考文献的基础上，对最新的基于神经网络的系统辨识算法进行总结。 关键字：神经网络；系统辨识；辨识算法 The latest algorithm about identification system based on neural network model Abstract: Neural network has large parallel distributed structure, learning by itself and has generalization ability. So neural network is used to solve many questions which traditional method cannot. Neural network is well applied to nonlinear system which has got good achievements in identification system. Based on most of documents, the paper summaries the latest algorithm about identification system based on neural network model. Keywords:Neural network, identification system, identification algorithm 0 前言 在国内，系统辨识也取得了许多成绩，尽管成果丰硕，但传统辨识法仍存在不少局限：传统辨识法较适用于输入端中扰动水平比较低的控制系统，对于具有外界干扰的控制系统，就会出现计算量大、鲁棒性不够好的问题；最小二乘法及其相关改进算法一般利用梯度算法进行信息搜索，容易陷入局部极小值。鉴于此，神经网络控制在系统辨识中得到了新的应用。本文在阅读大量文献后，针对国内基于神经网络的结合其他算法的最新辨识算法进行综述分析。 1 神经网络的应用优势 神经网络的吸引力在于：能够充分逼近任意复杂的非线性关系，能够学习适应不确定性系统的动态特性；所有定量或定性的信息都分布储存于网络内的各个神经元，所以有很强的鲁棒性和容错性；采用并行分
智能控制之神经网络系统辨识的设计
四、神经网络系统辨识分析（25分） 用BP 神经网络进行系统在线逼近的原理框图如图3所示 ) (k y n (k u (k y 图3 图4 假设某控制对象的模型为2 3 )1(1) 1()()(-+-+ =k y k y k u k y ，采样时间取t=1ms ，输入信号 t)sin(650.)u(π=k 。采用的BP 神经网络结构如图4所示，权值ij w 和2j w 的初值取 [-1，+1] 之间的随机值，权值采用δ学习算法，学习速率η取0.50，动量因子α取0.05。试分析神经网络在线逼近的运行过程，并作Matlab 仿真。 题目四、需要阐述清楚BP 网络逼近控制对象的工作原理和学习过程 BP 算法的基本思想是：对于一个输入样本,经过权值、阈值和激励函数运算后，得到一个输出y n (k)，然后让它与期望的样本y(k)进行比较，若有偏差，则从输出开始反向传播该偏差，进行权值、阈值调整，使网络输出逐渐与希望输出一致。 BP 算法由四个过程组成：输入模式由输入层经过中间层向输出层的“模式顺传播”过程，网络的希望输出与网络的实际输出之间的误差信号由输出层经过中间层向输入层逐层修正连接权的“误差逆传播”过程，由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练”过程，网络趋向于收敛即网络的全局误差趋向极小值的 “学习收敛”过程。 BP 网络（Back Propagation ），该网络是一种单向传播的多层前向网络。误差 反向传播的BP 算法简称BP 算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP 网络特点: （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节；
系统辨识综述
系统辨识课程综述 作者姓名：王瑶 专业名称：控制工程 班级：研硕15-8班
系统辨识课程综述 摘要 系统辨识是研究建立系统数学模型的理论与方法。虽然数学建模有很长的研究历史，但是形成系统辨识学科的历史才几十年在这短斩的几十年里，系统辨识得到了充足的发展，一些新的辨识方法相继问世，其理论与应用成果覆盖了自然科学和社会科学的各个领域。而人工神经网络的系统辨识方法的应用也越来越多，遍及各个领域。本文简单介绍了系统辨识的基本原理，系统辨识的一些经典方法以及现代的系统辨识方法，其中着重介绍了基于神经网络的系统辨识方法：首先对神经网络系统便是方法与经典辨识法进行对比，显示出其优越性，然后再通过对改进后的算法具体加以说明，最后展望了神经网络系统辨识法的发展方向。 关键字：系统辨识；神经网络；辨识方法 0引言 辨识、状态估计和控制理论是现代控制理论三个相互渗透的领域。辨识和状态估计离不开控制理论的支持，控制理论的应用又几乎不能没有辨识和状态估计技术。随着控制过程复杂性的提高，控制理论的应用日益广泛，但其实际应用不能脱离被控对象的数学模型。然而在大多数情况下，被控对象的数学模型是不知道的，或者在正常运行期间模型的参数可能发生变化，因此利用控制理论去解决实际问题时，首先需要建立被控对象的数学模型。所以说系统辨识是自动化控制的一门基础学科。 图1.1系统辨识、控制理论与状态估计三者之间的关系 随着社会的进步 ,越来越多的实际系统变成了具有不确定性的复杂系统 ,经典的系统辨识方法在这些系统中应用 ,体现出以下的不足 : (1) 在某些动态系统中 ,系统的输入常常无法保证 ,但是最小二乘法的系统辨
神经网络系统辨识综述
神经网络系统辨识综述 目前，国内外有许多利用神经网络来模拟设备性能、预测负荷的成功例子。1993 年，美国的Mistry和Nair成功开发了一个用来决定预期平均满意率(PMV)和温湿度参数的神经网络模型。1994 年，Curtiss利用神经网络模型成功地模拟了一台往复压缩式的冷水机组和其它暖通空调设备的性能。随后，Darred和Curtiss利用神经网络模型成功地预测了冷水机组的冷负荷和耗电量。在国内，也有利用神经网络对暖通空调优化控制、对空调器进行仿真研究的成功例子。神经网络之所以能够在国内外得到如此广泛的应用是因为： a)神经网络具有模拟高度非线性系统的优点； b)神经网络具有较强的学习能力、容错能力和联想能力； c)神经网络具有较强的自适应能力。 例如可通过重新训练网络进行设备特性的动态校准功能，这也是它优于其它控制方法的主要特点。此外，神经网络模型还具有建模时间短、易于进行计算机模拟的优点。对于智能建筑，其热动力学参数模型本质上为分布参数系统，应用系统辨识也很难获得其精确的数学模型，控制效果可想而知，而人工神经网络允许在模型理论不完善的情况下，构成一种具有自学习、自适应的体系结构，在与外界信息的交互作用中，形成一种非线性映射或线性动力学系统，以正确反映输入和输出关系而不必预先知道这种关系的精确数学模型。 神经网络在线性系统辨识中的应用 自适应线性(Adaline-Mada Line)神经网络作为神经网络的初期模型与感知机模型相对应，是以连续线性模拟量为输入模式，在拓扑结构上与感知机网络十分相似的一种连续时间型线性神经网络。这种网络模型是美国学者Widrow和Hoff
基于Elman神经网络的非线性动态系统辨识
２００７，４３（３１）神经网络辨识器 被辨识系统 ｙ（ｋ）ｅ （ｋ）ｙ !（ｋ）ｕ （ｋ）－ ＋图１系统辨识原理框图 １引言 动态系统的控制通常需要在无需预先知道精确的对象和 环境知识时便能实现，因此寻求适当的方法以解决不确定性的、高度复杂的动态系统辨识是控制理论研究的一个重要分支。神经网络是由大量处理单元广泛互连而成的网络，具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力，因而近年来在系统建模、辨识与控制中受到普遍重视。在自动控制领域，基于线性系统理论对被控系统进行辩识并修正参数的方法能较好地应用于线性系统，但很难推广到复杂的非线性系统。神经网络所具有的非线性变换特性和高度并行运算能力为系统辨识，尤其是非线性系统的辨识提供了有效的方法。 目前，系统辩识中应用最多的是多层前向网络，多层前向网络具有逼近任意连续非线性函数的能力，但这种网络结构一般是静态的，而人们更关心控制系统的动态特性，这恰恰是ＢＰ神经网络等前馈网络所缺乏的。与静态前馈型神经网络不同，动态递归网络通过存储内部状态，使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，更适合于非线性动态系统的辩识。动态递归神经网络是控制系统建模和辨识中极具发展潜力的网络，本文利用改进的动态递归Ｅｌｍａｎ神经网络实现对非线性动态系统的辨识。 ２神经网络非线性系统辨识原理 假定拟辨识对象为非线性离散时间系统，或者可以离散化 为这样的系统，用ＮＡＲＭＡ模型来描述： ｙ（ｋ）＝ｆ（ｙ（ｋ－１），…，ｙ（ｋ－ｎ），ｕ（ｋ－１），…，ｕ（ｋ－ｍ））（１） 式中，ｎ、ｍ分别为模型输出ｙ（ｔ）和输入ｕ（ｔ）的阶次，ｆ（? ）是非线性函数。 如果ｆ（? ）未知时，不确定系统的辨识问题可以描述为寻求一数学模型，使得模型的输出ｙ!（?）和被辨识系统的输出ｙ（?） 尽量接近。神经网络具有通过恰当选择网络层次和隐层单元数，能够以任意精度逼近任意连续非线性函数的特性，因此可作为辨识模型，用来对非线性系统进行辨识。 由图１所示的系统辨识原理可以看出，辨识模型和被辨识 系统具有相同的输入，定义误差ｅ（ｋ）＝ｙ!（ｋ）－ｙ（ｋ），用于对神经 网络进行学习和修正。 基于Ｅｌｍａｎ神经网络的非线性动态系统辨识 高钦和１，２，王孙安１ ＧＡＯＱｉｎ－ｈｅ１，２，ＷＡＮＧＳｕｎ－ａｎ１ １．西安交通大学机械工程学院，西安７１００２８２．第二炮兵工程学院，西安７１００２５ １．ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００２８，Ｃｈｉｎａ２．ＳｅｃｏｎｄＡｒｔｉｌｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，Ｘｉ’ａｎ７１００２５，ＣｈｉｎａＥ－ｍａｉｌ：ｇａｏ２０２＠ｙａｈｏｏ．ｃｏｍ．ｃｎ ＧＡＯＱｉｎ－ｈｅ，ＷＡＮＧＳｕｎ－ａｎ．ＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｂａｓｅｄｏｎＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｃｏｍｐｕｔｅｒ ＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３ （３１）：８７－８９．Ａｂｓｔｒａｃｔ：Ｔｈｅｔｈｅｏｒｙａｎｄｍｅｔｈｏｄｏｆｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎｂｙｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋａｒｅｓｔｕｄｉｅｄ．Ａｎｉｍｐｒｏｖｅｄ Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｓｕｃｃｅｓｓｆｕｌｌｙｕｓｅｄｔｏｉｄｅｎｔｉｆｙｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｅｖｅｎｔｈｏｕｇｈｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎｏｆｉｄｅｎｔｉｆｉｅｄｓｙｓｔｅｍ．ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｈａｓｈｉｇｈｅｒｌｅａｒｎｉｎｇｓｐｅｅｄａｎｄｂｅｔｔｅｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｔｈａｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｎｄｔｈａｔｉｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｎｏｎｌｉｎｅａｒｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ；ｄｙｎａｍｉｃｓｙｓｔｅｍ；ｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ；Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ 摘 要：研究了应用动态递归神经网络实现动态系统辨识的原理和方法，在没有被辨识对象的先验知识情况下，通过改进的Ｅｌ－ ｍａｎ网络实现了非线性动态系统的辨识。 仿真结果表明，与前馈网络相比，Ｅｌｍａｎ网络具有学习速度快、泛化能力强的特点，可用较小的网络结构实现高阶系统的辨识，适用于具有本质非线性动态系统的辨识。关键词：非线性系统辨识；动态系统；动态递归神经网络；Ｅｌｍａｎ网络文章编号：１００２－８３３１（２００７）３１－００８７－０３ 文献标识码：Ａ 中图分类号：ＴＰ１８３ 作者简介：高钦和（１９６８－），男，西安交通大学博士后，第二炮兵工程学院副教授，主要研究方向为发射系统仿真与自动检测；王孙安（１９５７－），男， 教授，博士，主要研究方向为机电系统与工业过程的计算机智能监控。 ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用８７