基于神经网络的联机手写识别系统研究与实现
基于Hopfield神经网络的联机手写识
别算法与实现
摘要：汉字的计算机识别是模式识别领域一个重要分支，其任务就是研究如何使计算机能够“识字”。联机手写识别系统(OLCCR)符合人的自然手写习惯，容易被人们所接受，因而具有非常广阔的应用前景。目前研究人员对此做了大量的研究工作，提出了很多识别算法，基本实现了联机手写识别，但是大多数研究都是针对一种手写模式进行识别，虽然识别系统可以达到较高的识别率，但是用户需要切换输入模式才可以进行有效识别，识别系统性能有待进一步提高。人工神经网络因其所具有的并行计算能力、容错能力、自学习能力和分类识别能力，其在模式识别领域得到了充分的重视和利用。本文选取离散Hopfield神经网络算法对学习样本进行二值化、归一化和插值等预处理，然后提取其像素特征，建立Hopfield神经网络，最后将汉字、数字、字母等手写测试样本以及加入噪声的样本输入网络，由仿真测试结果可以看出对于信息残缺和含有噪声的测试样本，系统均可以实现识别，具有很好的容错性。仿真结果表明，本文利用Hopfield 网络实现手写识别的效果相比用BP网络的效果更好，更具有优越性。
关键词:手写识别 Hopfield神经网络模式识别
众所周知，联机手写汉字的识别系统在智能终端己经得到了广泛的应用，并
且己经实现了高速且高效的识别效果。例如智能手写手机、智能平板电脑的面世，都表明联机手写识别技术在实际工程中己经实现。手写识别的研究方向，最终将使人们可以像在纸上书写一样，自然方便地将文字输入计算机。当下联机手写字符识别研究的主要方向有实现汉字、数字、字母、标点符号及手势等手写输入的混合识别;多民族语言的手写输入识别;数学表达式、化学方程式等的手写输入
识别等。
联机手写识别分为两步:训练阶段，识别阶段。在训练阶段，提取训练样本集的特征，建立网络模型，保存网络连接权值和闽值;在识别阶段，将待识别字符特征送入网络运行，网络运行到平衡状态后，输出即为识别结果。
本文采取Hopfield神经网络算法，基于输入字符统计特征，实现了汉字、数字、字母的混合识别。将坐标序列转化为图像，又将联机手写识别和脱机手写识别联系在一起，只要对预处理部分稍作修改，系统就可以实现联机和脱机手写的统一识别，具有一定的普遍适用性。识别的流程图如图4.2所示。
识别算法及实现步骤如下:
(1)将标准的书写字符作为训练样本，经过二值化、归一化、插值等预处理，
使得训练数据为标准16*16，并适合Hopfield神经网络处理的数据模式。提取每个标准字符的像素特征作为一个特征向量ti,T=[t1,t2,...tn],n为样本总数;
(2)将T作为Hopfield网络的目标向量，利用正交化权值设计方法建立Hopfield网络;
(3)运行网络至平衡状态，保存网络模型和输出向量Y;
(4)把用户输入的汉字转化为有序坐标序列，输入的汉字是由笔划组成的，笔划是由许多点组成的，而这些点都对应着不同的坐标，提取输入汉字的所有点坐标，转化为有序坐标序列;
(5)根据坐标序列，生成一幅bmp格式的图像，并保存图像;
(6)将图像经过预处理、提取其特征向量u，将u作为输入向量送入建立的网络运行，当网络运行达到平衡状态时，输出结果Y。
训练过程识别过程
开始坐标序列转化为bmp图像
标准书写字符预处理测试样本
图像预处理
提取特征，建提取特征
立特征库送入网络运行
建立Hopfield网络模型
训练网络，运行网络到平衡状态，
分析结果值
保存权值结束
图4.2识别流程图
参考文献
[1〕吴佑寿.教电脑识字:浅谈汉字识别「M].北京:清华大学出版社;广州:暨南大学出版社，2000. [2〕吴佑寿，丁晓青.汉字识别一一原理·方法与实现「M].北京:高等教育出版社，1992 [3〕张忻中.汉字识别技术「M].北京:清华大学出版社;广西:广西科学技术出版社，1993. [4〕杨俊，赵荣椿，任金昌.手写体汉字的回顾与展望「J].中国体视学与图像分析，1998 (3):55一57.
[5〕边肇祺，张学工.模式识别「M].北京:清华大学出版社，2004.
[6〕曹晶炯，王永成.笔顺连笔自由的联机手写汉字识别「J].计算机工程与应用，2005, 29:171
一173.
[7〕崔景楠，邢长征.基于笔顺自由及连笔的联机手写汉字识别「J].计算机系统应用，2009. 5:29-33.
[8〕黄襄念.自然手写汉字联机识别系统「D].重庆大学博士学位论文，2000.
Research and Implementation of an On-line Handwriting Recognition System Based on Neural
Network
Abstract：Computer recognition of Chinese characters is an important branch of pattern recognition. On-Line Chinese Character Recognition (OLCCR) system accords with the
nature habit when people write, so it can be easily accepted by people. Now researchers
have done much research work on it and proposed many pattern recognition algorithms.
On-line handwriting recognition has been basically realized, however most studies are
carried out for one kind of handwritten patterns. Although these systems can achieve
higher recognition rate, the users need to switch the input mode before writing. The performance should be further improved.
With the capabilities of parallel computing, fault tolerance, self-learning and classification, Artificial Neural Network is paid full attention and used in the field of
pattern recognition. DHNN is used in this paper. The learning samples are firstly preprocessed including binarization, normalization and interpolation. Secondly their
pixel features are extracted. Then DHNN is established. Finally the handwritten test
samples are input into the network. It can be seen from the simulation results that the
system can recognize the incomplete characters and characters with noises. The
simulation results show that the recognition results using Hopfield are better than using
BP.
Keyword: Handwriting Recognition Hopfield Neural Network Pattern Recognition
神经网络控制
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两
神经网络动态系统辨识与控制
神经网络动态系统的辨识与控制 摘要： 本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题， 简介 用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。 过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。 在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。 本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系
神经网络在系统辨识中的应用
神经网络在系统辨识中的应用 摘要应用于自动控制系统的神经网络算法很多，特点不一，对于非线性系统辨识的研究有一定影响。本文就BP网络算法进行了着重介绍，并点明了其收敛较慢等缺点，进而给出了改进算法，说明了建立在BP算法基础上的其他算法用于非线性系统辨识的可行性与有效性。 关键词神经网络BP算法；辨识；非线性系统 前言 神经网络是一门新兴的多学科研究领域，它是在对人脑的探索中形成的。神经网络在系统建模、辨识与控制中的应用，大致以1985年Rumelhart的突破性研究为界。在极短的时间内，神经网络就以其独特的非传统表达方式和固有的学习能力，引起了控制界的普遍重视，并取得了一系列重要结果。本文以神经网络在系统辨识中的应用作一综述，而后着重介绍BP网络算法，并给出了若干改进的BP算法。通过比较，说明改进算法具有诸多优点及用于非线性系统辨识[1]的可行性与有效性。 1 神经网絡用于系统辨识的原理及现状 神经网络在自动控制系统中的应用已有多年。目前，利用神经网络建立动态系统的输入/输出模型的理论及技术，在许多具体领域的应用得到成功，如化工过程、水轮机、机器入手臂、涡轮柴油发动机等。运用神经网络的建模适用于相当于非线性特性的复杂系统[2]。 目前系统辨识中用得最多的是多层前馈神经网络[1]。我们知道，自动控制系统中，一个单隐层或双隐层的具有任意数目神经元的神经网络，可以产生逼近任意函数的输入/输出映射。但网络的输入节点数目及种类（延迟输入和输出）、隐层节点的个数以及训练所用的算法对辨识精度和收敛时间均有影响。一般根据系统阶数取延迟输入信号，根据经验确定隐层节点数，然后对若干个神经网络进行比较，确定网络中神经元的合理数目。现在用得较多的多层前馈神经网络的学习算法是反向传播算法（Back Propagation），即BP算法。但BP算法收敛速度较慢，后面将会进一步讨论。 1.1 神经网络的结构 感知器是最简单的前馈网络，它主要用于模式分类。也可用在基于模式分类的学习控制和多模态控制中。现以多层前馈神经网络为代表，来说明神经网络的结构。多层前馈神经网络由输入、输出层以及一个或多个隐层组成。每层有若干个计算单元称之神经元。这些神经元在层状结构的网络中按图1所示方式相互连接。信息按树状路径从下至上逐层传送。一旦相邻层间神经元的连接权以及隐层中神经元的阈值被确定，整个网络的特性也就确定了。如图1所示，第1层为输
神经网络模型预测控制器
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
神经网络控制完整版
神经网络控制 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与 102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉
神经网络系统建模综述
神经网络系统建模综述 一、人工神经网络简介 1.1人工神经网络的发展历史 人工神经网络早期的研究工作应追溯至本世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。 1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。 1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。 50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。 在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。 80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。 1.2人工神经网络的工作原理 人工神经网络是由大量处理单元广泛互连而成的网络结构，是人脑的抽象、简化和模拟。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。
系统辨识研究综述
系统辨识研究综述 摘要：本文综述了系统辨识的发展与研究内容，对现有的系统辨识方法进行了介绍并分析其不足，进一步引出了把神经网络、遗传算法、模糊逻辑、小波网络知识应用于系统辨识得到的一些新型辨识方法。并对基于T-S模型的模糊系统辨识进行了介绍。文章最后对系统辨识未来的发展方向进行了介绍 关键词：系统辨识；建模；神经网络；遗传算法；模糊逻辑；小波网络；T-S 模型 1.系统辨识的发展和基本概念 1.1系统辨识发展 现代控制论是控制工程新的理论基础。辨识、状态估计和控制理论是现代控制论三个相互渗透的领域。辨识和状态估计离不开控制理论的支持；控制理论的应用又几乎不能没有辨识和状态估计。 而现代控制论的实际应用不能脱离被控对象的动态特性，且所用的数学模型需要选择一种使用方便的描述形式。但很多情况下建立被控对象的数学模型并非易事，尤其是实际的物理或工程对象，它们的机理复杂且含有各种噪声，使建立数学模型更加困难。系统辨识就是应此需要而形成的一门学科。 系统辨识和系统参数估计是六十年代开始迅速发展起来的。1960年，在莫斯科召开的国际自动控制联合会(IFCA)学术会议上，只有很少几篇文章涉及系统辨识和系统参数估计问题。然而，在此后，人们对这一学科给予了很大的注意，有关系统辨识的理论和应用的讨论日益增多。七十年代以来，随着计算机的开发和普及，系统辨识得到了迅速发展，成为了一门非常活跃的学科。 1.2系统辨识基本概念的概述 系统辨识是建模的一种方法。不同的学科领域,对应着不同的数学模型,从某种意义上讲,不同学科的发展过程就是建立它的数学模型的过程。建立数学模型有两种方法:即解析法和系统辨识。 L. A. Zadeh于1962年给辨识提出了这样的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”当然按照Zadeh的定义，寻找一个与实际过程完全等价的模型无疑是非常困难的。根据实用性观点，对模型的要求并非如此苛刻。1974年，P. E. ykhoff给出辨识的定义“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统) 本质为： 特征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。而1978
系统辨识课程综述
系统辨识课程综述 通过《系统辨识》课程的学习，了解了系统辨识问题的概述及研究进展；掌握了经典的辨识理论和辨识技术及其优缺点，如：脉冲响应法、最小二乘法（LS）和极大似然法等；同时对于那些为了弥补经典系统辨识方法的不足而产生的现代系统辨识方法的原理及其优缺点有了一定的认识，如：神经网络系统辨识、基于遗传算法的系统辨识、模糊逻辑系统辨识、小波网络系统辨识等；最后总结了系统辨识研究的发展方向。 一、系统辨识概论 自40年代Wiener创建控制论和50年代诞生工程控制论以来，控制理论和工程就一直围绕着建立模型和控制器设计这两个主题来发展。它们相互依赖、相互渗透并相互发展；随着控制过程的复杂性的提高以及控制目标的越来越高，控制理论的应用日益广泛，但其实际应用不能脱离被控对象的数学模型。但是大多数情况下，被控对象的数学模型是不知道的，或者在正常运行期间模型的参数可能发生变化，此时建立模型需要细致、完整地分析系统的机理和所有对该系统的行为产生影响的各种因素，从而变得十分困难。系统辨识建模正是适应这一需要而产生的，它是现代控制理论中一个很活跃的分支。 系统辨识是建模的一种方法，不同的学科领域，对应着不同的数学模型。从某种意义上来说，不同学科的发展过程就是建立他的数学模型的过程。所谓系统辨识，通俗地说，就是研究怎样利用对未知系统的试验数据或在线运行数据（输入/输出数据），运用数学归纳、统
计回归的方法建立描述系统的数学模型的科学。Zadeh与Ljung明确提出了系统辨识的三个要素：输入输出数据，模型类和等价准则。总之，辨识的实质就是从一组模型类中选择一个模型，按照某种准则，使之能最好地拟合我们所关心的实际过程的静态或动态特性。 通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号；对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识亦称为实验建模方法，它是“系统分析”和“控制系统设计”的逆问题。通常，预先给定一个模型类μ＝｛M｝（即给定一类已知结构的模型），一类输入信号u和等价准则J＝L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。 二、经典的系统辨识 经典的系统辨识方法包括脉冲响应法、最小二乘法（LS）和极大似然法等。其中最小二乘法(LS)是应用最广泛的方法,但由于它是非一致的，是有偏差性，所以为了克服他的缺陷，形成了一些以最小二乘法为基础的系统辨识方法：广义最小二乘法(GLS)、辅助变量法(IV)、增广最小二乘法(ELS)、广义最小二乘法(GLS)，以及将一般的最小二乘法与其他方法相结合的方法，有：最小二乘两步法(COR—LS)
智能控制大作业-神经网络
智能控制与应用实验报告神经网络控制器设计
一、实验内容 考虑一个单连杆机器人控制系统，其可以描述为： Mq + 0.5mgl sin（q） = r y = q 其中M = 0.5kgm2为杆的转动惯量，“7 = 1kg为杆的质量，/ = \m为杆长, g=9.8/n/52, g为杆的角位置，刁为杆的角速度，刁为杆的角加速度，丁为系统的控制输入。具体要求： 1、设计神经网络控制器，对期望角度进行跟踪。 2、分析神经网络层数和神经元个数对控制性能的影响。 3、分析系统在神经网络控制和PID控制作用下的抗干扰能力（加噪声干扰、加参数不确定）、抗非线性能力（加死区和饱和特性）、抗时滞的能力（对时滞大小加以改变）。 4、为系统设计神经网络PID控制器（选作）。 二、对象模型建立 根据公式（1）,令状态量得到系统状态方程为: r 一0?5 水〃?g/*sin(xj Af 山此建立单连杆机器人的模型如图1所示。 x2
图1单连杆机器人模型 三、系统结构搭建及神经网络训练 1 ?系统PID结构如图2所示: 图2系统PID结构图 PID参数设置为Kp二16, Ki二10, Kd二8得到响应曲线如图3所示:q 0.5 A mgl
1.4 0.4 ? 0.2 ； ? Q } r r r 「 「 r r r r 0123456789 10 t/s 图3 PID 控制响应曲线 采样PID 控制器的输入和输出进行神经网络训练 p 二[al' ;a2, ]; t 二b ，； net=newff ([-1 1;T 1;T 1], [3 8 16 8 1], {' tansig" ' tansig 5 1 tansig ， logsig , ' pure 1 in 1}); 产生的神经网络控制器如图4所示： 图3神经网络工具箱 训练过程如图4所示: 1.2 Custom Neural Network
一种递归模糊神经网络自适应控制方法
一种递归模糊神经网络自适应控制方法 毛六平,王耀南,孙 炜,戴瑜兴 (湖南大学电气与信息工程学院,湖南长沙410082) 摘 要: 构造了一种递归模糊神经网络(RFNN ),该RFNN 利用递归神经网络实现模糊推理,并通过在网络的第 一层添加了反馈连接,使网络具有了动态信息处理能力.基于所设计的RFNN ,提出了一种自适应控制方案,在该控制方案中,采用了两个RFNN 分别用于对被控对象进行辨识和控制.将所提出的自适应控制方案应用于交流伺服系统,并给出了仿真实验结果,验证了所提方法的有效性. 关键词: 递归模糊神经网络;自适应控制;交流伺服中图分类号: TP183 文献标识码: A 文章编号: 037222112(2006)1222285203 An Adaptive Control Using Recurrent Fuzzy Neural Network M AO Liu 2ping ,W ANG Y ao 2nan ,S UN Wei ,DAI Y u 2xin (College o f Electrical and Information Engineering ,Hunan University ,Changsha ,Hunan 410082,China ) Abstract : A kind of recurrent fuzzy neural network (RFNN )is constructed ,in which ,recurrent neural network is used to re 2alize fuzzy inference temporal relations are embedded in the network by adding feedback connections on the first layer of the network.On the basis of the proposed RFNN ,an adaptive control scheme is proposed ,in which ,two proposed RFNNs are used to i 2dentify and control plant respectively.Simulation experiments are made by applying proposed adaptive control scheme on AC servo control problem to confirm its effectiveness. K ey words : recurrent fuzzy neural network ;adaptive control ;AC servo 1 引言 近年来,人们开始越来越多地将神经网络用于辨识和控 制动态系统[1～3].神经网络在信号的传播方向上,可以分为前馈神经网络和递归神经网络.前馈神经网络能够以任意精度逼近任意的连续函数,但是前馈神经网络是一个静态的映射,它不能反映动态的映射.尽管这个问题可以通过增加延时环节来解决,但是那样会使前馈神经网络增加大量的神经元来代表时域的动态响应.而且,由于前馈神经网络的权值修正与网络的内部信息无关,使得网络对函数的逼近效果过分依赖于训练数据的好坏.而另一方面,递归神经网络[4～7]能够很好地反映动态映射关系,并且能够存储网络的内部信息用于训练网络的权值.递归神经网络有一个内部的反馈环,它能够捕获系统的动态响应而不必在外部添加延时反馈环节.由于递归神经网络能够反映动态映射关系,它在处理参数漂移、强干扰、非线性、不确定性等问题时表现出了优异的性能.然而递归神经网络也有它的缺陷,和前馈神经网络一样,它的知识表达能力也很差,并且缺乏有效的构造方法来选择网络结构和确定神经元的参数. 递归模糊神经网络(RFNN )[8,9]是一种改进的递归神经网络,它利用递归网络来实现模糊推理,从而同时具有递归神经网络和模糊逻辑的优点.它不仅可以很好地反映动态映射关系,还具有定性知识表达的能力,可以用人类专家的语言控制规则来训练网络,并且使网络的内部知识具有明确的物理意 义,从而可以很容易地确定网络的结构和神经元的参数. 本文构造了一种RFNN ,在所设计的网络中,通过在网络的第一层加入反馈连接来存储暂态信息.基于该RFNN ,本文还提出了一种自适应控制方法,在该控制方法中,两个RFNN 被分别用于对被控对象进行辨识和控制.为了验证所提方法的有效性,本文将所提控制方法用于交流伺服系统的控制,并给出了仿真实验结果. 2 RFNN 的结构 所提RFNN 的结构如图1所示,网络包含n 个输入节点,对每个输入定义了m 个语言词集节点,另外有l 条控制规则 节点和p 个输出节点.用u (k )i 、O (k ) i 分别代表第k 层的第i 个节点的输入和输出,则网络内部的信号传递过程和各层之间的输入输出关系可以描述如下: 第一层:这一层的节点将输入变量引入网络.与以往国内外的研究不同,本文将反馈连接加入这一层中.第一层的输入输出关系可以描述为:O (1)i (k )=u (1)i (k )=x (1)i (k )+w (1)i (k )?O (1)i (k -1), i =1,…,n (1) 之所以将反馈连接加入这一层,是因为在以往的模糊神经网络控制器中,控制器往往是根据系统的误差及其对时间的导数来决定控制的行为,在第一层中加入暂态反馈环,则只需要以系统的误差作为网络的输入就可以反映这种关系,这样做不仅可以简化网络的结构,而且具有明显的物理意义,使 收稿日期:2005207201;修回日期:2006206218 基金项目:国家自然科学基金项目(N o.60075008);湖南省自然科学基金(N o.06JJ50121) 第12期2006年12月 电 子 学 报 ACT A E LECTRONICA SINICA V ol.34 N o.12 Dec. 2006
系统辨识综述
系统辨识方法综述 摘要 在自然和社会科学的许多领域中，系统的设计、系统的定量分析、系统综合及系统控制，以及对未来行为的预测，都需要知道系统的动态特性。在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文论述了用于系统辨识的多种方法，重点论证了经典系统辨识方法中运用最广泛的的最小二乘法及其优缺点，引出了将遗传算法、模糊逻辑、多层递阶等知识应用于系统辨识得到的一些现代系统辨识方法，最后总结了系统辨识今后的发展方向。 关键字：系统辨识；最小二乘法；遗传算法；模糊逻辑；多层递阶 Abstract In many fields of natural and social science, the design of the system, the quantitative analysis of the system, the synthesis of the system and the control of the system, as well as the prediction of the future behavior, all need to know the dynamic characteristics of the system. It is very necessary to establish a system model in the process of studying a control system. Therefore, system identification plays an important role in the research of control system. This paper discusses several methods for system identification, the key argument is that the classical system identification methods using the least squares method and its advantages and disadvantages, and leads to the genetic algorithm, fuzzy logic, multi hierarchical knowledge application in system identification of some modern system identification method. Finally, the paper summarizes the system identification in the future direction of development. Keywords:System identification; least square method; genetic algorithm; fuzzy logic; multi hierarchy 第一章系统辨识概述 系统辨识是研究建立系统数学模型的理论和方法。系统辨识是建模的一种方法，不同的学科领域，对应着不同的数学模型。从某种意义上来说，不同学科的发展过程就是建立他的数学模型的过程。辨识问题可以归结为用一个模型来表示客观系统（或将要构造的系统）本质牲征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。当然也可以有另外的描述，辨识有三个要素：数据，模型类和准则。辨识就是按照一个准则在一组模型类中
神经网络与智能控制系统
神经网络与智能控制系统 姓名： 学号： 日期：
【摘要】本文介绍了神经网络的基本概念，论述了人工神经网络的产生与发展，以及人工神经网络在控制系统中的应用现状，分析了人工神经网络的特点和监视控制系统的原理，并阐述了几种基于神经网络的控制系统，简要介绍了人工神经网络的发展、应用及研究现状，通过实例来分析人工神经网络原理的设计和实现过程。 【关键词】人工神经网络；控制系统；智能控制；发展；应用 一、引言 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。 神经网络控制是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 神经网络控制是一种基本上不依赖于模型的控制方法，它适合于具有不确定性或高度非线性的控制对象，并具有较强的自适应和自学习功能，因此是智能控制的一个重要分支领域。人工神经网络利用物理器件来模拟生物神经网络的某些结构和功能，具有并行和分布式的信息处理网络结构，该结构一般由几个神经元组成，每一个神经元有一个单一的输出，但可通过连接的很多其它神经元，获得有多个连接通道的输入，每个连接通道对应一个连接权系数。 二、人工神经网络的产生与发展 人工神经网络的研究是从19世纪末期开始的，其发展历史经历了以下四个时期。 1.启蒙时期 启蒙时期开始于1980年美国著名心理学家W.James关于人脑结构与功能的研究，结束于1969年Minsky和Papert发表的《感知器》（Perceptron）一书。早在1943年，美国神经生物学家W.S.McCul-loch和数学家W.Pitts合作，采用数理模型的方法研究脑细胞的动作和结构，以及生物神经元的一些基本生理特征，提出了第一个神经计算模型，即神经元的阈值元件模型(M-P模型)，并指出：即使是最简单的神经网络，从原则上讲也可以进行任意算术或逻辑函数的计算。该模型把神经细胞的动作描述为：神经元的活动表现为兴奋或抑制的二值变化；任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；任何抑制性突触有输入激励后，使神经元抑制；突触的值不随时间改变；突触从感知输入到传送出一个输出脉冲的延迟时间是0.5ms。可见，M-P模型是用逻辑的
基于神经网络模型的最新系统辨识算法
基于神经网络模型的最新系统辨识算法 摘要：神经网络具有大规模并行分布式结构、自主学习以及泛化能力，因此可以利用神经网络来解决许多传统方法无法解决的问题。神经网络应用在非线性系统的辨识中有良好的结果。本文在阅读大量参考文献的基础上，对最新的基于神经网络的系统辨识算法进行总结。 关键字：神经网络；系统辨识；辨识算法 The latest algorithm about identification system based on neural network model Abstract: Neural network has large parallel distributed structure, learning by itself and has generalization ability. So neural network is used to solve many questions which traditional method cannot. Neural network is well applied to nonlinear system which has got good achievements in identification system. Based on most of documents, the paper summaries the latest algorithm about identification system based on neural network model. Keywords:Neural network, identification system, identification algorithm 0 前言 在国内，系统辨识也取得了许多成绩，尽管成果丰硕，但传统辨识法仍存在不少局限：传统辨识法较适用于输入端中扰动水平比较低的控制系统，对于具有外界干扰的控制系统，就会出现计算量大、鲁棒性不够好的问题；最小二乘法及其相关改进算法一般利用梯度算法进行信息搜索，容易陷入局部极小值。鉴于此，神经网络控制在系统辨识中得到了新的应用。本文在阅读大量文献后，针对国内基于神经网络的结合其他算法的最新辨识算法进行综述分析。 1 神经网络的应用优势 神经网络的吸引力在于：能够充分逼近任意复杂的非线性关系，能够学习适应不确定性系统的动态特性；所有定量或定性的信息都分布储存于网络内的各个神经元，所以有很强的鲁棒性和容错性；采用并行分
基于神经网络的智能控制系统概述
神经网络的智能控制系统 摘要：介绍了神经网络的基本概念，论述了人工神经网络的产生与发展，以及人工神经网络在控制系统中的应用现状，分析了人工神经网络的特点和监视控制系统的原理，并阐述了几种基于神经网络的控制系统, 最后展望了基于神经网络控制的发展方向。 关键词：人工神经网络；控制系统；监视控制系统；智能控制； 1引言 基于神经网络的控制（NCC）.神经网络控制是一门崭新的智能信息处理学科，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。它的发展对人工智能、计算机科学、信息科学、非线性科学、认识科学、自动控制、微电子、模式识别、脑神经科学等产生了重要影响。 人工神经网络是一门发展十分迅速的交叉学科，它是由大量处理单元组成的非线性大规模自适应动力系统，具有学习能力、记忆能力、计算能力以及智能处理能力，并在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。同时，人工神经网络具有非线性、非局域性、非定常性、非凸性等特点，因此在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、智能传感技术与机器人、生物医学工程等方面都有了长足的发展。 神经网络控制是一种基本上不依赖于模型的控制方法，它适合于具有不确定性或高度非线性的控制对象，并具有较强的自适应和自学习功能，因此是智能控制的一个重要分支领域。人工神经网络利用物理器件来模拟生物神经网络的某些结构和功能，具有并行和分布式的信息处理网络结构，该结构一般由几个神经元组成，每一个神经元有一个单一的输出，但可通过连接的很多其它神经元，获得有多个连接通道的输入，每个连接通道对应一个连接权系数。 2人工神经网络的产生与发展 早在1943年，美国神经生物学家W.S.McCul-loch就与数学家W.Pitts合作，采用数理模型的方法研究脑细胞的动作和结构，以及生物神经元的一些基本生理特征，提出第一个神经计算模型，即神经元的阈值元件模型(MP模型)，并指出:即使是最简单的神经网络，从原则上讲也可以进行任意算术或逻辑函数的计算。1949年，D.O.Hebb提出了改变神经元连接强度的Hebb规则，其正确性30年后才得到证实，至今仍在各种神经网络模型中起着重要的作用。 1957年F.Rosenblatt提出并设计制作了著名的感知器(Perceptron)，从而掀起第一次研究神经网络的热潮。1960年B.Windrow和M.E.Hoff提出自适应线性单元(Adaline)网络，这与当时占主导地位的以顺序离散符号推理为基本特征的AI途径完全不同，因而引起人们的兴趣，同时也引起符号主义与连接主义的争论。1969年M.Minsky和S.Papert编写了影响很大的《Perceptron》一书。
智能控制之神经网络系统辨识的设计
四、神经网络系统辨识分析（25分） 用BP 神经网络进行系统在线逼近的原理框图如图3所示 ) (k y n (k u (k y 图3 图4 假设某控制对象的模型为2 3 )1(1) 1()()(-+-+ =k y k y k u k y ，采样时间取t=1ms ，输入信号 t)sin(650.)u(π=k 。采用的BP 神经网络结构如图4所示，权值ij w 和2j w 的初值取 [-1，+1] 之间的随机值，权值采用δ学习算法，学习速率η取0.50，动量因子α取0.05。试分析神经网络在线逼近的运行过程，并作Matlab 仿真。 题目四、需要阐述清楚BP 网络逼近控制对象的工作原理和学习过程 BP 算法的基本思想是：对于一个输入样本,经过权值、阈值和激励函数运算后，得到一个输出y n (k)，然后让它与期望的样本y(k)进行比较，若有偏差，则从输出开始反向传播该偏差，进行权值、阈值调整，使网络输出逐渐与希望输出一致。 BP 算法由四个过程组成：输入模式由输入层经过中间层向输出层的“模式顺传播”过程，网络的希望输出与网络的实际输出之间的误差信号由输出层经过中间层向输入层逐层修正连接权的“误差逆传播”过程，由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练”过程，网络趋向于收敛即网络的全局误差趋向极小值的 “学习收敛”过程。 BP 网络（Back Propagation ），该网络是一种单向传播的多层前向网络。误差 反向传播的BP 算法简称BP 算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP 网络特点: （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节；
神经网络控制修订稿
神经网络控制 公司标准化编码 [QQX96QT-XQQB89Q8-NQQJ6Q8-MQM9N]
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与 102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量
非线性系统辨识综述
系统辨识综述 张培硕研4班 摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。 关键词：非线性系统辨识；多层递阶；神经网络 1 引言 系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。 从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。 非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。目前关于非线性理论的研究正处于发展阶段。建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。 对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。针对每一类特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。同时，也对这些算法的估计一致性问题进行了讨论。随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。常用的非线性系统描述方法有微分(或差分)法、泛函级数法、NARMAX 模型法及分块系统法等。一些学者已经对非线性系统辨识方法进行了某方面的综述。例如，1965 年Arnold 和Stark 讨论了正交展开方法在非线性系统辨识中的应用，1968 年Aleksandrovskii 和Deich及1977 年Hung 和Stark综述了核辨识算法，1989 年Titterington 和Kitsos总结了非线性试验设计的最新发展，并列举了十五个在化工领域中常遇到的非线性模型。 本文对近年来新的非线性系统的辨识方法作以简单的综述。