模糊控制与神经网络

BP神经网络

BP (Back Propagation)神经网络是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络。

如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，够成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。

在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。

BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

神经网络

神经网络是：

思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。

逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。目前，主要的研究工作集中在以下几个方面：

（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机馍拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

【人工神经网络的工作原理】

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。

“人脑是如何工作的？”

“人类能否制作模拟人脑的人工神经元？”

多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。

心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。

生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决目前不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。

人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。

人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。

与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。

人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。

神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。

树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（15～50)×10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。下面通过人工神经网络与通用的计算机工作特点来对比一下：

若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。

人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。虽然人脑每日有大量神经细胞死亡（平均每小时约一千个），但不影响大脑的正常思维活动。

普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。

人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。

普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。

人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要

求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。

人工神经网络早期的研究工作应追溯至本世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。

50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。

另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。

随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

【人工神经网络的主要研究机构】

模糊理论

模糊理论(Fuzzy Logic)

模糊的基本概念

概念是思维的基本形式之一，它反映了客观事物的本质特征。人类在认识过程中，把感觉到的事物的共同特点抽象出来加以概括，这就形成了概念。比如从白雪、白马、白纸等事物中抽象出“白”的概念。一个概念有它的内涵和外延，内涵是指该概念所反映的事物本质属性的总和，也就是概念的内容。外延是指一个概念所确指的对象的范围。例如“人”这个概念的内涵是指能制造工具，并使用工具进行劳动的动物，外延是指古今中外一切的人。

所谓模糊概念是指这个概念的外延具有不确定性，或者说它的外延是不清晰的，是模糊的。例如“青年”这个概念，它的内涵我们是清楚的，但是它的外延，即什么样的年龄阶段内的人是青年，恐怕就很难说情楚，因为在“年轻”和“不年轻”之间没有一个确定的边界，这就是一个模糊概念。

需要注意的几点：首先，人们在认识模糊性时，是允许有主观性的，也就是说每个人对模糊事物的界限不完全

一样，承认一定的主观性是认识模糊性的一个特点。例如，我们让100个人说出“年轻人”的年龄范围，那么我们将得到100个不同的答案。尽管如此，当我们用模糊统计的方法进行分析时，年轻人的年龄界限分布又具有一定的规律性；

其次，模糊性是精确性的对立面，但不能消极地理解模糊性代表的是落后的生产力，恰恰相反，我们在处理客观事物时，经常借助于模糊性。例如，在一个有许多人的房间里，找一位“年老的高个子男人”，这是不难办到的。这里所说的“年老”、“高个子”都是模糊概念，然而我们只要将这些模糊概念经过头脑的分析判断，很快就可以在人群中找到此人。如果我们要求用计算机查询，那么就要把所有人的年龄，身高的具体数据输入计算机，然后我们才可以从人群中找这样的人。

最后，人们对模糊性的认识往往同随机性混淆起来，其实它们之间有着根本的区别。随机性是其本身具有明确的含义，只是由于发生的条件不充分，而使得在条件与事件之间不能出现确定的因果关系，从而事件的出现与否表现出一种不确定性。而事物的模糊性是指我们要处理的事物的概念本身就是模糊的，即一个对象是否符合这个概念难以确定，也就是由于概念外延模糊而带来的不确定性。

模糊理论的发展

模糊理论是在美国加州大学伯克利分校电气工程系的L.A.zadeh教授于1965年创立的模糊集合理论的数学基础上发展起来的,主要包括模糊集合理论、模糊逻辑、模糊推理和模糊控制等方面的内容.

早在20世纪20年代,著名的哲学家和数学家B.Russell就写出了有关"含糊性"的论文.他认为所有的自然语言均是模糊的,比如"红的"和"老的" 等概念没有明确的内涵和外延,因而是不明确的和模糊的.可是,在特定的环境中,人们用这些概念来描述某个具体对象时却又能心领神会,很少引起误解和歧义.

美国加州大学的L.A.Zadeh教授在1965年发表了著名的论文，文中首次提出表达事物模糊性的重要概念:隶属函数,从而突破了19世纪末笛卡尔的经典集合理论,奠定模糊理论的基础.

1966年,P.N.Marinos发表模糊逻辑的研究报告,1974年,L.A.Zadeh发表模糊推理的研究报告,从此,模糊理论成了一个热门的课题。

1974年,英国的E.H.Mamdani首次用模糊逻辑和模糊推理实现了世界上第一个实验性的蒸汽机控制,并取得了比传统的直接数字控制算法更好的效果,从而宣告模糊控制的诞生。1980年丹麦的L.P.Holmblad和Ostergard在水泥窑炉采用模糊控制并取得了成功,这是第一个商业化的有实际意义的模糊控制器。

事实上,模糊理论应用最有效，最广泛的领域就是模糊控制,模糊控制在各种领域出人意料的解决了传统控制理论无法解决的或难以解决的问题,并取得了一些令人信服的成效。

模糊控制的基本思想:

把人类专家对特定的被控对象或过程的控制策略总结成一系列以"IF(条件)THEN(作用)"形式表示的控制规则,通过模糊推理得到控制作用集,作用于被控对象或过程.控制作用集为一组条件语句,状态语句和控制作用均为一组被量化了的模糊语言集,如"正大","负大","正小","负小",零等。

模糊控制的几个研究方向:

·模糊控制的稳定性研究

·模糊模型及辩识

·模糊最优控制

·模糊自组织控制

·模糊自适应控制

·多模态模糊控制

模糊控制的主要缺陷:

信息简单的模糊处理将导致系统的控制精度降低和动态品质变差.若要提高精度则必然增加量化级数,从而导致规则搜索范围扩大,降低决策速度,甚至不能实时控制. 模糊控制的设计尚缺乏系统性,无法定义控制目标.控制规则的选择,论域的选择,模糊集的定义,量化因子的选取多采用试凑发,这对复杂系统的控制是难以奏效的。[编辑本段]模糊理论的基本精神

模糊理论是以模糊集合(fuzzy set)为基础，其基本精神是接受模糊性现象存在的事实，而以处理概念模糊不确定的事物为其研究目标，并积极的将其严密的量化成计算机可以处理的讯息，不主张用繁杂的数学分析即模型来解决模型。

模糊理论至今的应用

模糊理论发展至今已接近三十余年，应用的范围非常广泛，从工程科技到社会人文科学都可以发现模糊理论研

究的踪迹与成果。我们分别由工程科技与社会人文科学的角度，了解模糊理论应用的范畴。

一、工程科技方面

1、型样识别：文字识别、指纹识别、手写字体辨识、影像辨识、语音辨识

2、控制工程：机器人控制、汽车控制、家电控制、工业仪表控制、电力控制

3、信号及资讯处理：影像处理、语音处理、资料整理、数据库管理

4、人工智能及专家系统：故障诊断、自然语言处理、自动翻译、地震预测、工业设计

5、环保：废水处理、净水处理厂工程、空气污染检验、空气品质监控

6、其他：建筑结构分析、化工制程控制

二、教育、社会及人文科学方面

1、教育：教学成果评量、心理测验、性向测验、计算机辅助教学

2、心理学：心理分析、性向测验

3、决策决定：决策支援、决策分析、多目标评价、综合评价、风险分析

模糊神经网络

自适应及模糊信模糊神经网络(Fuzzy network-FNN)就是模糊理论同神经网络相结合的产物，它汇集了神经网络与模糊理论的优点，集学习、联想、识别、息处理于一体。

模糊理论和神经网络技术是近年来人工智能研究较为活跃的两个领域。人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。但缺点是它不能处理和描述模糊信息，不能很好利用已有的经验知识，特别是学习及问题的求解具有黑箱特性，其工作不具有可解释性，同时它对样本的要求较高;模糊系统相对于神经网络而言，具有推理过程容易理解、专家知识利用较好、对样本的要求较低等优点，但它同时又存在人工干预多、推理速度慢、精度较低等缺点，很难实现自适应学习的功能，而且如何自动生成和调整隶属度函数和模糊规则，也是一个棘手的问题。如果将二者有机地结合起来，可以起到互补的效果。

模糊神经网络有如下三种形式：

1．逻辑模糊神经网络

2．算术模糊神经网络

3．混合模糊神经网络

模糊神经网络就是具有模糊权系数或者输入信号是模糊量的神经网络。上面三种形式的模糊神经网络中所执行的运算方法不同。

模糊神经网络无论作为逼近器，还是模式存储器，都是需要学习和优化权系数的。学习算法是模糊神经网络优化权系数的关键。对于逻辑模糊神经网络，可采用基于误差的学习算法，也即是监视学习算法。对于算术模糊神经网络，则有模糊BP算法，遗传算法等。对于混合模糊神经网络，目前尚未有合理的算法；不过，混合模糊神经网络一般是用于计算而不是用于学习的，它不必一定学习。

模糊神经网络可用于模糊回归、模糊控制器、模糊专家系统、模糊谱系分析、模糊矩阵方程、通用逼近器。

在控制领域中，所关心的是由模糊神经网络构成的模糊控制器。在这一章中．介绍模糊神经网络的基本结构、遗传算法、模糊神经网络的学习算法，以及模糊神经网络的应用。

仿生学

仿生学是发展相当迅速的一门新兴科学，仿生学主要是利用自然界动物的特性和习性来研究其特性应用的一门科学。生活在海洋中的动物是科学家们研究仿生应用的重要动物之一。现在介绍几种海洋动物及其仿生应用。

金枪鱼金枪鱼是海洋鱼类动物中运动速度最快的动物之一，金枪鱼捕食时会达到大约８０公里的时速。在美国麻省理工大学，科学家们以金枪鱼为模型，制造了一条名叫"查理"的１．２米长的机器鱼，并在水箱中开始了测试。科学家们已经把这个发现推向技术方面的应用。

鱼的尾鳍既能作为推进动力又能导向，考虑到这个特点，在计算机上分析金枪鱼的外形，研究的成果已经为水面船只提供了鳍类推进方式。并且，机器鱼鳍的运动也经过改善，能在角落里自由游动。科学家们也研究了金枪鱼的皮肤，希望能获得更好的流线特性。

鲑鱼鲑鱼能够在湍急的水流中生活。尽管它们的运动系统很像金枪鱼，但还是有差别。鲑鱼不但能够自如地控制自己，还能以闪电般的速度启动，从不动的状态立即达到１４公里的时速。它们为什么能够做到这一点呢？除了尾巴摆动的频率以外，通常鱼越大越长就游得越快。科学家们发现，鲑鱼在加速时每秒能摆尾１５次。因此，其仿生价值极高。

企鹅企鹅在陆地上看起来很笨拙，但在水中却异常灵活。为寻找流线型的理想模式，科学家们把微型测量仪器装在企鹅背上，记录下它每天运动距离、深度和速度。为拍摄照片，科学家们还在南极装了一个特殊的水道。通过进一步的实验，发现企鹅的运动与鱼类不同，几乎只靠鳍来推进自己，这说明企鹅的身体已经进化成了大体积小阻力的优化典范。而且，它的身体在水中几乎不改变形状，这个事实使模型实验变得十分简单。

鲨鱼鲨鱼在海洋里已经生活了３．５亿年，能达到超过７０公里的高时速。科学家在显微镜下检查深海鲨鱼的皮肤时意外地发现鲨鱼的鳞屑是扇形的，而且有小槽。然而，在传统的观念中，表面越光滑产生的阻力就越小。于是，科学家们把数百个模型鳞片按不同的角度装配，形成了一个人造的测试表面。测试的结果表明：摩擦损失比光滑表面还要小１０％，这项新发现马上找到了技术应用。这种仿生皮肤被用来包裹空中客车飞机的外表面，使每架飞机的年燃料消耗减少了３５０吨。如果每年来往于世界各地的飞机都装上这种皮肤，节省的燃料价值可达数十亿美元之巨，造成温室效应的二氧化碳和氮氧化合物也将会大大减少。