人工神经网络文献综述
人工神经网络综述
人工神经网络综述〔摘要〕本文使用通谷易懂的语言从物理概念上深入浅出地介绍了人工神经网络的工作原理、特点及几种典型神经网络，避免出现繁琐的公式及数学推导。
希望能通过本文引起广大科研工作者对人工神经网络的认识和重视。
1 神经元模型的提出“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称A.N.N.)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。
早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。
其后，F.Rosenblatt、Widrow和Hopf、J.J.Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。
据神经生物学家研究的结果表明，人的一个大脑一般有～个神经元。
如图1所示，每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。
轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。
其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。
树突的功能是接受来自其它神经元的兴奋。
神经元细胞体将接受到的所有信号进行简单地处理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在权值上——有所不同)后由轴突输出。
神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
图1 神经元结构图图2 神经元模型对应于图1，可以很容易的建立起神经元的模型，如图2所示。
大脑之所以能够处理极其复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面还在于神经元能够对输入信号进行非线性处理。
因此，对图2可进一步建立起更接近于工程的数学模型，如图3所示，它是一个多输入单输出的非线性器件。
其中的权值W即代表神经元之间的连接强度，f(x)为非线性函数。
神经网络【文献综述】
毕业论文文献综述应用物理神经网络人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。
每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。
与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制人工神经元的研究起源于脑神经元学说。
19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。
人们认识到复杂的神经系统是由数目繁多的神经元组合而成。
大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。
但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。
人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。
人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。
虽然人脑每日有大量神经细胞死亡（平均每小时约一千个），但不影响大脑的正常思维活动。
而普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。
元器件的局部损坏及程序中的微小错误都可能引起严重的失常。
人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。
人工神经网络发展综述
人工神经网络发展综述人工神经网络发展综述1 绪论人工神经网络(Artificial Neural Network, ANN)是由大量处理单元互联组成的非线性、自适应信息处理系统。
它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
ANN 通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成果，实现对信息的处理，是一种新兴的交叉学科，不但推动了智能化计算的应用和发展，同时也为信息科学和神经生物学的研究方法带来革命性的变化，现已成功应用于脑科学，认知科学，模式识别，智能控制，计算机科学等多个领域。
在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法。
而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。
所谓神经网络训练，也就是网络参数的学习和调整，是一个反复调节节点之间权值和阈值的过程,其学习可以分成三类,即有监督学习,无监督学习和强化学习，本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。
2 前馈神经网络2.1 前馈神经网络的特点前馈神经网络的主要种类包括：感知器，线性神经网络，BP 网络，径向基网络(RBF)等。
其训练算法主要采用梯度下降法，包括：误差反向传播算法，改进的BP算法，Levenberg -Marquardt 法(LM)等。
前馈神经网络具有学习简单，收敛较快等优点，因此在实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数。
当网络结构已知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。
人工智能文献综述10000字
人工智能文献综述10000字人工智能（Artificial Intelligence，AI）是指通过模拟、延伸和扩展人类智能的技术和方法。
人工智能已经渗透到了各个领域，如医疗、金融、交通等。
本文将对人工智能领域的一些重要文献进行综述，以期了解目前人工智能领域的研究进展和热点。
1. "Deep Residual Learning for Image Recognition" (Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 2016)这篇论文提出了一种新的深度残差网络（Deep Residual Network，ResNet）结构，通过引入残差学习的方法解决了深度神经网络的退化问题。
该论文在ImageNet数据集上取得了当时最先进的结果，为深度学习的发展做出了重要贡献。
2. "Playing Atari with Deep Reinforcement Learning" (Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller, 2013)这篇论文提出了一种基于深度强化学习的方法，将深度神经网络应用于Atari游戏的自动游戏玩家训练中。
这种方法通过将图像作为输入，直接从原始像素中学习游戏策略，取得了比之前所有方法更好的结果。
这是深度强化学习在游戏领域的开创性工作。
3. "Generative Adversarial Networks" (Ian J. Goodfellow,Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, 2014)这篇论文提出了一种新的生成模型，称为生成对抗网络（Generative Adversarial Networks，GANs）。
人工神经网络综述【范本模板】
人工神经网络综述摘要：人工神经网络是属于人工智能的一个组成部分，它的提出是基于现代神经科学的相关研究，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力.首先论述了人工神经网络的发展历程,并介绍了几种常见的模型及应用现状，最后总结了当前存在的问题及发展方向。
关键词：神经网络、分类、应用0引言多年以来，科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密，希望能制作模拟人脑的人工神经元.特别是近二十年来. 对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。
大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统.在研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域,称之为“人工神经网络”。
神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动.1 人工神经网络概述1.1 人工神经网络的发展人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点，因其具有独特的结构和处理信息的方法，使其在许多实际应用中取得了显著成效。
1。
1。
1 人工神经网络发展初期1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性,他们提出了第一个神经计算模型,即神经元的阈值元件模型，简称MP 模型，这是人类最早对于人脑功能的模仿。
他们主要贡献在于结点的并行计算能力很强,为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究.1958年Frank Rosenblatt提出了感知模型(Pereeptron）,用来进行分类，并首次把神经网络的研究付诸于工程实践。
人工神经网络文献综述.
WIND一、人工神经网络理论概述 (一人工神经网络基本原理神经网络 (Artificialneuralnet work , ANN 是由大量的简单神经元组成的非线性系统,每个神经元的结构和功能都比较简单,而大量神经元组合产生的系统行为却非常复杂。
人工神经元以不同的方式,通过改变连接方式、神经元的数量和层数,组成不同的人工神经网络模型 (神经网络模型。
人工神经元模型的基本结构如图 1所示。
图中X=(x 1, x 2, … x nT∈ R n表示神经元的输入信号 (也是其他神经元的输出信号 ; w ij 表示神经元 i 和神经元 j 之间的连接强度,或称之为权值; θj 为神经元 j 的阀值 (即输入信号强度必须达到的最小值才能产生输出响应 ; y i 是神经元 i 的输出。
其表达式为 y i =f(nj =iΣw ij x j+θi式中, f (·为传递函数 (或称激活函数 ,表示神经元的输入 -输出关系。
图 1(二人工神经网络的发展人工神经网络 (ArtificialNeuralNetwork 是一门崭新的信息处理科学,是用来模拟人脑结构和智能的一个前沿研究领域,因其具有独特的结构和处理信息的方法,使其在许多实际应用中取得了显著成效。
人工神经网络系统理论的发展历史是不平衡的,自 1943年心理学家 McCulloch 与数学家 Pitts 提出神经元生物学模型 (简称MP-模型以来,至今已有 50多年的历史了。
在这 50多年的历史中,它的发展大体上可分为以下几个阶段。
60年代末至 70年代,人工神经网络系统理论的发展处于一个低潮时期。
造成这一情况的原因是人工神经网络系统理论的发展出现了本质上的困难,即电子线路交叉极限的困难。
这在当时条件下,对神经元的数量 n 的大小受到极大的限制,因此它不可能去完成高度智能化的计算任务。
80年代中期人工神经网络得到了飞速的发展。
这一时期,多种模型、算法与应用问题被提出,主要进展如:Boltzmann 机理论的研究, 细胞网络的提出,性能指标的分析等。
人工神经网络模型算法和应用的综述
人工神经网络模型算法和应用的综述人工神经网络（Artificial Neural Network，ANN）是一种模仿生物神经网络的计算模型，由许多人工神经元节点组成。
它通过模拟人类神经系统的工作方式，实现对信息的处理和学习能力。
随着计算机科学和人工智能领域的发展，人工神经网络模型算法和应用得到了广泛的研究和应用。
本文将对人工神经网络模型算法以及其在各个领域中的应用进行综述。
一、人工神经网络模型算法1. 感知器模型感知器模型是最早应用于人工神经网络中的一种模型。
它由多个输入节点和一个输出节点组成，通过对输入节点和权重的线性组合，利用激活函数将结果转化为输出。
感知器模型的简单结构和快速训练特性使得它在二分类问题中得到广泛应用。
2. 多层前馈神经网络（Feedforward Neural Network，FNN）多层前馈神经网络是一种典型的人工神经网络模型。
它由多个神经元层组成，每一层的神经元与上一层的神经元全连接。
信息在网络中只向前传递，从输入层经过隐藏层最终到达输出层。
多层前馈神经网络通过反向传播算法进行训练，可以应用于各种复杂的非线性问题。
3. 循环神经网络（Recurrent Neural Network，RNN）循环神经网络是一种具有反馈环的神经网络模型。
它在网络中引入了记忆机制，使得信息可以在网络中进行循环传播。
循环神经网络适用于序列数据的处理，如自然语言处理和时间序列预测等任务。
4. 卷积神经网络（Convolutional Neural Network，CNN）卷积神经网络是一种专门用于图像识别和处理的人工神经网络模型。
它通过卷积层、池化层和全连接层等组件，实现对图像中特征的提取和分类。
卷积神经网络在计算机视觉领域中具有重要的应用，如图像分类、目标检测和语义分割等任务。
二、人工神经网络的应用1. 自然语言处理人工神经网络在自然语言处理中具有广泛的应用。
例如，利用循环神经网络可以实现语言模型和机器翻译等任务；利用卷积神经网络可以进行文本分类和情感分析等任务。
人工神经网络文献综述
WIND一、人工神经网络理论概述 (一人工神经网络基本原理神经网络 (Artificialneuralnet work , ANN 是由大量的简单神经元组成的非线性系统,每个神经元的结构和功能都比较简单,而大量神经元组合产生的系统行为却非常复杂。
人工神经元以不同的方式,通过改变连接方式、神经元的数量和层数,组成不同的人工神经网络模型 (神经网络模型。
人工神经元模型的基本结构如图 1所示。
图中X=(x 1, x 2, … x nT∈ R n表示神经元的输入信号 (也是其他神经元的输出信号 ; w ij 表示神经元 i 和神经元 j 之间的连接强度,或称之为权值; θj 为神经元 j 的阀值 (即输入信号强度必须达到的最小值才能产生输出响应 ; y i 是神经元 i 的输出。
其表达式为 y i =f(nj =iΣw ij x j+θi式中, f (·为传递函数 (或称激活函数 ,表示神经元的输入 -输出关系。
图 1(二人工神经网络的发展人工神经网络 (ArtificialNeuralNetwork 是一门崭新的信息处理科学,是用来模拟人脑结构和智能的一个前沿研究领域,因其具有独特的结构和处理信息的方法,使其在许多实际应用中取得了显著成效。
人工神经网络系统理论的发展历史是不平衡的,自 1943年心理学家 McCulloch 与数学家 Pitts 提出神经元生物学模型 (简称MP-模型以来,至今已有 50多年的历史了。
在这 50多年的历史中,它的发展大体上可分为以下几个阶段。
60年代末至 70年代,人工神经网络系统理论的发展处于一个低潮时期。
造成这一情况的原因是人工神经网络系统理论的发展出现了本质上的困难,即电子线路交叉极限的困难。
这在当时条件下,对神经元的数量 n 的大小受到极大的限制,因此它不可能去完成高度智能化的计算任务。
80年代中期人工神经网络得到了飞速的发展。
这一时期,多种模型、算法与应用问题被提出,主要进展如:Boltzmann 机理论的研究, 细胞网络的提出,性能指标的分析等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人工神经网络文献综述摘要：人工神经网络是由类似于生物神经网络中的单个单元构成系统来实现功能。
术语“神经网络”通常是指在统计，认知心理学和人工智能领域采用的模型。
现代人工神经网络，灵感来自生物学.人工神经网络最大的优点在于其的预测性，可以节省大量的人力和物力，在过去的几十年内，人工神经网络得到的迅速的发展产生了许多分支，同时在在现实生活，心理学，认知心理学，人工智能，控制，风险评估等诸多领域得到了迅猛的发展和应用。
关键词：人工神经网络分支应用Abstract：Neural networks are similar to biological neural networks in the performing offunctions collectively and in parallel by the units, rather than there being a clear delineation of subtasks to which individual units are assigned. The term "neural network" usually refers to models employed in statistics, cognitive psychology and artificial intelligence.In modern software implementations of artificial neural networks, the approaches are inspired by biology. What attract us most is that its capability of forecasting, which save a considerable number of money and time. With rapid development in the past three decades, artificial neural networks have developed into several branches, which are widely applied in our real-life, cognitive psychology, artificial intelligence, control and risk appraisal.keywords：Artificial Neural Networks Branches Applications目录1.前言 (1)2.国内外的发展历史和研究现状 (1)2.1国内发展现状 (1)2.2国外发展现状 (2)3.重要理论：BP神经网络和RBF神经网络和优化 (2)3.1BP神经网络 (4)3.2 RBF神经网络 (6)4.应用领域 (7)5.不足及未来发展趋势 (9)5.1不足之处 (9)5.2发展趋势 (9)参考文献 (11)1.前言20世纪以来，随着集成电路以及微型电子技术的大量运用与发展，计算机对人们的生活产生了重大影响。
但由于计算机是按照冯•诺依曼原理，基于程序存取进行工作的，历经几十年发展，其结构模式与运行机制仍然没有跳出逻辑运算规则[1]。
在现实生活中，我们将自然界的信息分为俩大类：线性和非线性俩种。
线性信息指的是可以用数学语言或模型清楚明了而又严格地描述，并且可以将问题实现算法公式化，可用编写程序来快速高效求解。
对于非线性信息的分析，人们难以把自己的思维认识翻译成计算机指令，只能进行极其简单抽象的描述，比如开车，跑步等涉及到我们的感知联想和经验的问题时，人的大脑可以从中体会，运用自己的思维而掌握的处理问题的方法，从而顺利的完成想要达到的目标。
计算机在处理这类问题的方面却显得十分有限，迄今为止，计算机在解决图像处理与景物分析、语言识别与理解、智能机器人控制时，与人脑的能力相差很大，在很多时候甚至无能为力[2]。
随着信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。
于是人们的思想转向研究人脑结构模式和信息处理机制时，这推动了脑科学的深入发展以及人工神经网络和脑模型的研究。
人工神经网络因此应运而生，人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
神经网络是一种运算模型，由大量的节点相互联接构成。
神经网络具有学习能力，本质上来说，就是模拟生物对真实自然环境的反应。
例如，给杂乱无章的俩堆数据，让我们去寻找俩堆数据之间的关联，正常情况下，我们是很难通过人工计算算出结果的，但是通过构建合适的人工神经网络，我们可以找到俩个数据之间的关系，同时，找到这个关系之后，整个神经网络具有记忆作用，当我们给与新的数据时候，整个网络可以自动得出结果，如同我们人类的经验。
记忆了以前曾经发生的事情，再次遇到整个事情的时候，我们可以又快又好的处理[3]。
正是因为人工神经网络的学习和记忆能力，从出现时就引起了国内外学者的广泛的关注，解决了各行各业中的诸多难题。
2.国内外的发展历史和研究现状2.1国内发展现状20世纪80年代，随着神经网络在国外的流行，我国也逐步掀起了对其的研究热潮。
1990年2月国内8个顶尖学会联合在北京召开“中国神经网络首届学术会议”。
这次大会开创了中国人工神经网络及神经计算机方面科学研究的新纪元。
2004 年，武妍、王守觉等人提出了一种基于结果反馈的神经网络训练算法，其将输入调整与权值调整的BP算法结合起来，通过双重调整来最小化误差函数。
该方法是通过对输入样本集的模糊化处理来避免学习过程中的过拟合，提高了网络的泛化能力。
经过多年的发展，目前已有上百种的神经网络模型被提出。
这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。
2.2国外发展现状在国外，1943年，神经生物学家MeCulloch和青年数学家Pitts合作，提出了第一个人工神经元模型，并在此基础上抽象出神经元的数理模型，开创了人工神经网络的研究，此后各国无数的科学家开始了对神经网络的深入研究，并取得了广泛的成功。
人工智能的创始人之一Minsky 和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，1969年出版轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题[4]。
在20世纪70年代，电子技术的飞速发展使得传统的计算机进入鼎盛时期，其未显现出来的局限性掩盖了神经网络需求的必要性，使得神经网络出现了发展的低潮。
到七十年代后期时候，由于传统模型距人体真实模型较远，表现出了极大的局限性。
计算机不能从现实世界的现象和实例中获取并总结学习知识，从而导致了新一轮对神经网络的研究。
1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。
1984年，他又提出了连续时间Hopfield神经网络模型，有力地推动了神经网络的研究。
1986年进行认知微观结构地研究，提出了并行分布处理的理论。
人工神经网络的研究受到了各个发达国家的重视。
1987 年，在美国加州召开了第一届国际神经网络学会。
此后每年召开两次国际联合神经网络大会（IJCNN）。
同时也创建了很多相关刊物。
至此，神经网络理论研究在国内国外学术领域已经受到了相当的关注[5]。
3.重要理论：BP神经网络和RBF神经网络和优化人工神经网络从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。
它是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。
每个节点代表一种特定的输出函数，称为激励函数。
每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。
网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。
下图分别是生物神经网络图和简单人工神经网络示意图。
图1：生物神经元构成图2：人工神经网络构成其中图1可见，生物神经元通常由树突，轴突，细胞体，神经末梢组成，最初的人工神经网络就是完全模仿生物神经元。
人工神经网络模型主要由网络连接的拓扑结构、神经元的特征、学习规则等组成。
如图2所示：1n a a -为输入向量的各个分量；1n W W -为神经元各个突触的权值b 为偏置；f 为传递函数，通常为非线性函数；t 为神经元输出；数学表示 (WA'b)t f =+，W 为权向量；A 为输入向量；'A 为A 向量的转置；b 为偏置；f 为传递函数。
可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。
图3：前向网络图4：反馈网络目前，已有近40种神经网络模型，根据连接的拓扑结构，模型可以分为：（1）前向网络：网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示如图3所示。
这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。
网络结构简单，易于实现。
（2）反馈网络：网络内神经元间有反馈，可以用一个无向的完备图表示。
这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。
系统的稳定性与联想记忆功能有密切关系。
如图4所示，这种带有反馈的网络一般用于优化设计中。
在这些网络中，最重要发展最快的是BP神经网络和RBF神经网络。
3.1 BP神经网络BP神经网络是目前应用最为广泛的一种模型。
BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，如下图所示。
图4：BP 神经网络模型由上图可知，BP 神经网络和其他神经网络最大的不同在于其中带有反馈。
BP 神经的学习过程，由信息的正向传播和误差反向传播两个部分组成。
首先整个BP 神经网络中，我们需要输入量，权值，传递函数，阈值（已知），期望（已知）。
我们通过输入一个数值，然后通过前向网络得出一个结果到达隐含层，隐含层中含有传递函数，数值经过传递函数变为1y ，然后我们再通过权值，经过输出层的传递函数得出输出结果。
我们通过比对期望和通过神经网络算出结果的插值，计算其中的误差，最后不断的修改权值，是的误差达到我们接受的范围。
具体计算如下 前向传播：在图1中,三层前馈网络中,输入向量为X =(x 1,x 2,......,x N1),，隐层输出量Y =( y 1,y 2,......,y N2),输出层向量Z =( z 1,z 2,......,z N3), 输入层和隐层之间的权值V = (W 1,W 2.......W N1),隐层和输出层之间的权值W =(W 1',W 2'.......W N2')，期望输出向量d =（d 1,d 2,......,d N3）。