神经网络基本知识
深度学习基础知识
深度学习基础知识深度学习(Depth Learning)是机器学习的一个重要分支，旨在模仿人类大脑的工作方式，通过神经网络的构建和训练实现智能化的数据分析与决策。
在深度学习的背后，有一些基础知识需要我们掌握，才能更好地理解和应用深度学习技术。
一、神经网络的基本结构神经网络是深度学习的核心，它由多个神经元组成，每个神经元都有激活函数，能接收来自其他神经元的输入，并产生输出。
神经网络通常包括输入层、隐藏层和输出层，其中隐藏层可以有多个。
输入层接受外部数据输入，隐藏层负责对数据进行特征提取和转换，输出层产生最终的结果。
二、梯度下降算法梯度下降算法是深度学习中最基础且最常用的优化算法，用于调整神经网络中各个神经元之间的连接权重，以最小化损失函数。
在训练过程中，通过计算损失函数对权重的偏导数，不断地更新权重值，使得损失函数逐渐减小，模型的性能逐渐提升。
三、反向传播算法反向传播算法是神经网络中用于训练的关键算法，通过将误差从输出层倒推到隐藏层，逐层计算每个神经元的误差贡献，然后根据误差贡献来更新权重值。
反向传播算法的核心思想是链式法则，即将神经网络的输出误差按照权重逆向传播并进行计算。
四、卷积神经网络(CNN)卷积神经网络是一种主要用于图像处理和识别的深度学习模型。
它通过共享权重和局部感受野的方式，有效地提取图像中的特征。
卷积神经网络通常包括卷积层、池化层和全连接层。
其中卷积层用于提取图像中的局部特征，池化层用于降低特征的维度，全连接层用于输出最终的分类结果。
五、循环神经网络(RNN)循环神经网络是一种主要用于序列数据处理的深度学习模型。
它通过引入时间维度，并在每个时间步上传递隐藏状态，实现对序列数据的建模。
循环神经网络可以解决序列数据中的时序依赖问题，适用于音频识别、语言模型等任务。
六、生成对抗网络(GAN)生成对抗网络是一种通过让生成器和判别器相互博弈的方式，实现模型训练和生成样本的深度学习模型。
生成器负责生成与真实样本相似的假样本，判别器负责对真假样本进行分类。
深度学习知识点总结
深度学习知识点总结深度学习是一种人工智能（AI）的子领域，它的目标是让计算机系统像人类一样具有分析、理解和解释数据的能力。
通过模拟人脑中神经元的工作原理，深度学习算法可以学习和理解数据中的复杂模式，并进行非常准确的分类和预测。
本文将系统地总结深度学习的基本概念和常见技术，帮助读者全面了解深度学习的核心知识点。
一、基本概念1. 神经网络神经网络是深度学习的基础，它模拟了人脑中神经元之间的连接关系。
一个神经网络由许多神经元组成，并通过神经元之间的连接来传递信息。
通常，神经网络被组织成多个层次，包括输入层、隐藏层和输出层。
每个神经元接收来自上一层神经元的输入，通过加权求和和激活函数的处理后产生输出。
神经网络可以通过训练来学习适应不同的数据模式和特征。
2. 深度学习深度学习是一种使用多层神经网络进行学习的机器学习技术。
与传统的浅层神经网络相比，深度学习能够更好地处理大规模高维度的数据，并学习到更加复杂的特征和模式。
深度学习已经广泛应用在图像识别、语音识别、自然语言处理等领域，取得了显著的成果。
3. 监督学习监督学习是一种常见的机器学习方法，它通过使用有标签的数据样本来训练模型。
在监督学习中，模型通过学习输入和输出之间的关系来进行预测。
常见的监督学习算法包括：神经网络、决策树、支持向量机等。
4. 无监督学习无监督学习是一种不使用标签数据的机器学习方法，它通过学习数据之间的内在结构和模式来进行数据分析和分类。
无监督学习常用的算法包括聚类、关联规则、降维等。
5. 强化学习强化学习是一种通过与环境交互来学习最优决策策略的机器学习方法。
在强化学习中，智能体通过观察环境的反馈和奖励来调整自身的行为，并不断优化决策策略。
强化学习在机器人控制、游戏AI等领域有着广泛应用。
6. 深度学习框架深度学习框架是一种方便开发者进行深度学习模型搭建和训练的软件工具。
常见的深度学习框架包括：TensorFlow、PyTorch、Keras、Caffe等。
神经网络基本知识
神经网络基本知识一、内容简述神经网络是机器学习的一个重要分支，是一种模拟生物神经网络结构和功能的计算模型。
它以其强大的学习能力和自适应能力广泛应用于多个领域，如图像识别、语音识别、自然语言处理等。
《神经网络基本知识》这篇文章将带领读者了解神经网络的基本概念、原理和应用。
1. 神经网络概述神经网络是一种模拟生物神经系统结构和功能的计算模型。
它由大量神经元相互连接构成，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
神经网络的概念自上世纪五十年代提出以来，经历了漫长的发展历程，逐渐从简单的线性模型演变为复杂的多层非线性结构。
神经网络在人工智能领域发挥着核心作用，广泛应用于计算机视觉、语音识别、自然语言处理等领域。
神经网络的基本构成单元是神经元，每个神经元接收来自其他神经元的输入信号，通过特定的计算方式产生输出信号，并传递给其他神经元。
不同神经元之间的连接强度称为权重，通过训练过程不断调整和优化。
神经网络的训练过程主要是通过反向传播算法来实现的，通过计算输出层误差并反向传播到输入层，不断调整权重以减小误差。
神经网络具有强大的自适应能力和学习能力，能够处理复杂的模式识别和预测任务。
与传统的计算机程序相比，神经网络通过学习大量数据中的规律和特征，自动提取高级特征表示，避免了手动设计和选择特征的繁琐过程。
随着深度学习和大数据技术的不断发展，神经网络的应用前景将更加广阔。
神经网络是一种模拟生物神经系统功能的计算模型，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
它在人工智能领域的应用已经取得了巨大的成功，并将在未来继续发挥重要作用。
2. 神经网络的历史背景与发展神经网络的历史可以追溯到上个世纪。
最初的神经网络概念起源于仿生学，模拟生物神经网络的结构和功能。
早期的神经网络研究主要集中在模式识别和机器学习的应用上。
随着计算机科学的快速发展，神经网络逐渐成为一个独立的研究领域。
在20世纪80年代和90年代，随着反向传播算法和卷积神经网络的提出，神经网络的性能得到了显著提升。
神经网络基础知识
神经网络基础知识神经网络是一种模拟大脑处理信息的计算机系统。
神经网络通过自动学习和适应来执行任务，例如图像和语音识别。
对于普通人来说，理解神经网络可能有些困难。
因此，我们准备了这篇文章，以帮助您了解神经网络的基本知识。
1.神经元神经元是神经网络最基本的组成部分。
神经元接收输入信号，将其加权处理，然后传递给下一个神经元。
每个神经元都有一个阈值，当加权输入信号超过该阈值时，它产生一个输出信号。
神经元的目的是对输入信号进行分类或数据处理。
可以通过调整神经元之间的连接权重来改变神经元的行为，从而调整神经网络的性能。
2.神经网络神经网络由许多相互连接的神经元组成，这些神经元可以分为层。
每个神经元接收其上一层的输出信号，加权后将其传递到下一层。
一般而言，神经网络通常有三层：输入层，隐藏层和输出层。
输入层接收外部输入，并将其传递到隐藏层。
隐藏层在接收输入信号后产生新特征，这些新特征可以用于进一步处理，最终生成输出。
输出层将处理后的结果展示给用户。
3.训练神经网络训练神经网络分为两个步骤：前向传递和反向传递。
·前向传递：给网络提供输入数据，网络经过处理后，输出一个结果。
·反向传递：通过改变神经元之间的连接权重（weight）来训练神经网络，在误差反向传播的过程中逐渐调整。
误差越小，神经网络的性能就越好。
4.损失函数损失函数的主要功能是对神经网络的性能进行评估。
损失函数可以描述神经网络的误差和数据之间的差异。
损失函数的大小越小，神经网络的性能就越好。
常用的损失函数有平方损失函数、交叉熵损失函数、绝对值损失函数等。
5.深度学习深度学习是一种基于神经网络的机器学习方法，这种方法通过将多层神经网络组合起来来模拟人类大脑的学习方式。
深度学习的一个优点是可以在没有人工干预的情况下自动学习。
由于网络和数据集的复杂性，深度学习的计算成本很高，但是随着技术的发展，越来越多的公司和研究机构正在将深度学习应用于实际场景中。
神经网络与深度学习知识点整理
神经网络与深度学习知识点整理●神经网络基础●MP神经元模型●可以完成任何数学和逻辑函数的计算●没有找到训练方法，必须提前设计出神经网络的参数以实现特定的功能●Hebb规则●两个神经元同时处于激发状态时，神经元之间的连接强度将得到加强●Hebb学习规则是一种无监督学习方法，算法根据神经元连接的激活水平改变权值，因此又称为相关学习或并联学习。
●●感知机模型●有监督的学习规则●神经元期望输出与实际输出的误差e作为学习信号，调整网络权值●●LMS学习规则是在激活函数为f(x)=x下的感知器学习规则●由于激活函数f的作用，感知器实际是一种二分类器●感知器调整权值步骤●单层感知器不能解决异或问题●BP网络●特点：●同层神经网络无连接●不允许跨层连接●无反馈连接●BP学习算法由正向传播和反向传播组成●BP网络的激活函数必须处处可导——BP权值的调整采用 Gradient Descent 公式ΔW=－η（偏E/偏w），这个公式要求网络期望输出和单次训练差值（误差E)求导。
所以要求输出值处处可导。
s函数正好满足处处可导。
●运算实例（ppt）●Delta( δ )学习规则●误差纠正式学习——神经元的有监督δ学习规则，用于解决输入输出已知情况下神经元权值学习问题●δ学习规则又称误差修正规则，根据E/w负梯度方向调整神经元间的连接权值，能够使误差函数E达到最小值。
●δ学习规则通过输出与期望值的平方误差最小化，实现权值调整●●1●自动微分●BP神经网络原理：看书●超参数的确定，并没有理论方法指导，根据经验来选择●BP算法已提出，已可实现多隐含层的神经网络，但实际只使用单隐层节点的浅层模型●计算能力的限制●梯度弥散问题●自编码器●●自编码器（Auto-Encoder）作为一种无监督学习方法网络●将输入“编码”为一个中间代码●然后从中间表示“译码”出输入●通过重构误差和误差反传算法训练网络参数●编码器不关心输出（只复现输入），只关心中间层的编码————ℎ=σ(WX+b)●编码ℎ已经承载原始数据信息，但以一种不同的形式表达！●1●正则编码器——损失函数中加入正则项，常用的正则化有L1正则和L2正则●稀疏自编码器——在能量函数中增加对隐含神经元激活的稀疏性约束，以使大部分隐含神经元处于非激活状态●去噪自编码器——训练数据加入噪声，自动编码器学习去除噪声获得无噪声污染的输入，迫使编码器学习输入信号更加鲁棒的表达●堆叠自编码器●自编码器训练结束后，输出层即可去掉，网络关心的是x到ℎ的变换●将ℎ作为原始信息，训练新的自编码器，得到新的特征表达．●逐层贪婪预训练●1●深度神经网络初始化●●卷积神经网络●全连接不适合图像任务●参数数量太多●没有利用像素之间的位置信息●全连接很难传递超过三层●卷积神经网络是一种前馈神经网络，其输出神经元可以响应部分区域内的输入信息，适宜处理图像类信息●1●1●Zero Padding：在原始图像周围补0数量●卷积尺寸缩小，边缘像素点在卷积中被计算的次数少，边缘信息容易丢失●●卷积神经网络架构发展●1●深度发展●LeNet●具备卷积、激活、池化和全连接等基本组件●但GPU未出现，CPU的性能又极其低下●LetNet只使用在手写识别等简单场景，未得到重视●LeNet主要有2个卷积层（5*5）、2个下抽样层（池化层）、3个全连接层●通过sigmoid激活●全连接层输出：共有10个节点分别代表数字0到9，采用径向基函数作为分类器●AlexNet●第一次采用了ReLU，dropout，GPU加速等技巧●AlexNet网络共有：卷积层 5个(1111,55,3*3)，池化层 3个，全连接层3个●首次采用了双GPU并行计算加速模式●第一卷积模块：96通道的特征图被分配到2个GPU中，每个GPU上48个特征图；2组48通道的特征图分别在对应的GPU中进行ReLU激活●第一层全连接：同时采用了概率为0.5的Dropout策略●VGG●通过反复堆叠3x3卷积和2x2的池化，得到了最大19层的深度●卷积-ReLU-池化的基本结构●串联多个小卷积，相当于一个大卷积的思想●使用两个串联的3x3卷积，达到5x5的效果，但参数量却只有之前的18/25●串联多个小卷积，增加ReLU非线性激活使用概率，从而增加模型的非线性特征●VGG16网络包含了13个卷积层，5个池化层和3个全连接层。
BP神经网络PPT全文
输出层与隐含层的激活函数可以不同，并且输出层
各单元的激活函数可有所区别
2024/8/16
26
2 多层网络的表达能力
按照Kolmogorov定理,任何一个判决均可用 前式所示的三层神经网络实现。
即： 只要给定足够数量的隐含层单元、适 当的非线性函数、以及权值， 任何由输入向输 出的连续映射函数均可用一个三层前馈神经网络 实现。
神经网络的计算通过网络结构实现；
不同网络结构可以体现各种不同的功能；
网络结构的参数是通过学习逐渐修正的。
2024/8/16
7
(1)基本的人工神经元模型
McCulloch-Pitts神经元模型
输入信号；链接强度与权向量；
信号累积
2024/8/16
激活与抑制
8
人工神经元模型的三要素 :
一组连接 一个加法器 一个激励函数
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
2024/8/16
5
(2)生物神经元的基本特征
5 假定：第l层为当前处理层；
其前一层l 1、当前层l、后一层l 1的计算单元序号为i, j,k；
位于当前层第j个计算单元的输出为Olj，j 1,..., nl
前层第i个单元到本层第j个单元的连接权值为ilj , i 1,..., nl1
本层第j个单元到后层第k个单元的连接权值为
l 1 jk
,
连接权值，突触连接强度
人工神经网络基础知识
x0 x0
• MP模型
可知当神经元i的输入信号加权和超过阈值时，输出为
“1”，即“兴奋”状态；反之输出为“0”，是“抑制” 状态。
激发函数的基本作用
– 控制输入对输出的激活作用 – 对输入、输出进行函数转换 – 将可能无限域的输入变换成指定的有限范围内的输出
例、实现逻辑函数“与门”（AND gate）运 算。
2 人工神经网络基础知识
2.1人工神经网络的生物学基础
人的智能来自于大脑，大脑是由大量的神经细胞或神经元 组成的。每个神经元可以看作为一个小的处理单元，这些神经 元按照某种方式互相连接起来，构成了大脑内部的生物神经元 网络，他们中各神经元之间连接的强弱，按照外部的激励信号 作自适应变化，而每个神经元又随着接收到的多个激励信号的 综合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过 程就是神经元之间连接强度随外部激励信息做自适应变化的过 程，大脑处理信息的结果确由神经元的状态表现出来。显然， 神经元是信息处理系统的最小单元。虽然神经元的类型有很多 种，但其基本结构相似。
（1）每个神经元都是一个多输入单输出的信息处理单元； （2）突触分兴奋性和抑制性两种类型； （3）神经元具有空间整合特性和阈值特性； （4）神经元输入输出间有固定的时滞，主要取决于突触延搁； （5）忽略时间整合作用和不应期； （6）神经元本身是非时变的，即其突触时延和突触强度均为常 数。
MP模型：
1
x 1ex
f(x) (1t 2
h2)1ex
f(x) 1.0
o
x
-1.0
图
双极 性 S型函数
3、线性函数 （1）线性作用函数：输出等于输入，即 yf(x)x
（2）饱和线性作用函数 （3）对称饱和线性作用函数
神经网络基础知识介绍
神经网络基础知识介绍神经网络是一种模拟生物神经系统的计算模型，通过对复杂的非线性模式进行学习和分类，逐步发展成为目前人工智能领域中的重要算法之一。
本篇文章将重点介绍神经网络的基础知识，包括神经元、层、权重、偏置等概念及其在神经网络中的应用。
一、神经元神经元是神经网络的基本单元，也称为“节点”或“神经元”。
它们模拟了生物神经元的功能，根据输入信号产生输出信号。
一个神经元通常接受多个输入信号，对每个输入信号都有一个权重，通过加权和计算后，再通过一个激活函数进行处理，最终产生输出信号。
二、层神经元可以组合成层，层是神经网络的基本组成部分。
神经网络通常包括输入层、中间层和输出层。
输入层负责将数据输入网络，中间层则负责逐步分析并提取数据的特征，输出层则输出最终的结果。
层与层之间的神经元之间也有权重和偏置。
三、权重权重是神经元之间互相连接的强度，是神经网络的核心参数之一。
每个输入信号都有一个对应的权重，权重的大小决定了该输入信号对神经元输出的影响程度。
在神经网络的训练中，权重会不断地调整以达到最优的分类效果。
四、偏置偏置是每个神经元的一个常数项，用于控制神经元的激活状态。
偏置通常被设置为一个较小的值，以确保神经元能够在没有输入信号的情况下仍然处于激活状态。
五、前向传播前向传播是神经网络中最基本的计算过程之一，也称为“向前计算”或“前向推理”。
在前向传播过程中，输入数据从输入层顺序传递到隐藏层和输出层，直至产生最终的输出结果。
神经网络的预测和分类都是基于前向传播算法完成的。
六、反向传播反向传播是神经网络中最重要的学习算法之一，用于不断调整神经网络的权重和偏置以提高其分类能力。
在反向传播过程中，先计算输出层的误差，再按照一定的规则将误差反向传播到每一层的神经元中，从而计算每个神经元上的误差，并根据这些误差值来更新神经元之间的权重和偏置。
综上所述，神经网络作为一种模拟生物神经系统的计算模型，通过不断学习和调整，在图像识别、自然语言处理、语音识别等领域中都发挥了越来越重要的作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
神经网络基本知识、BP神经网络一．概述1.1神经网络的定义人工神经网络(Artificial Neural Networks，简写为 ANNs)是由大量类似于生物神经元的处理单元相互连接而成的非线性复杂网络系统。
它是用一定的简单的数学模型来对生物神经网络结构进行描述，并在一定的算法指导下，使其能够在某种程度上模拟生物神经网络所具有的智能行为，解决传统算法所不能胜任的智能信息处理的问题。
它是巨量信息并行处理和大规模并行计算的基础，神经网络既是高度非线性动力学系统，又是自组织自适应系统，可用来描述认知、决策和控制的智能行为。
1.2 神经网络的发展历史对人工神经网络的研究始于 1943 年，经历 60 多年的发展，目前已经在许多工程研究领域得到了广泛应用。
但它并不是从一开始就倍受关注，它的发展道路曲折、几经兴衰，大致可以分为以下五个阶段：①奠基阶段：1943 年，由心理学家 McCulloch 和数学家 Pitts 合作，提出第一个神经计算模型，简称 M-P 模型，开创了神经网络研究这一革命性的思想。
②第一次高潮阶段：20 世纪 50 年代末 60 年代初，该阶段基本上确立了从系统的角度研究人工神经网络。
1957 年 Rosenblatt 提出的感知器(Perceptron)模型，可以通过监督学习建立模式判别能力。
③坚持阶段：随着神经网络研究的深入开展，人们遇到了来自认识、应用实现等方面的难题，一时难以解决。
神经网络的工作方式与当时占主要地位的、以数学离散符号推理为基本特征的人工智能大相径庭，但是更主要的原因是：当时的微电子技术无法为神经网络的研究提供有效的技术保证，使得在其后十几年内人们对神经网络的研究进入了一个低潮阶段。
④第二次高潮阶段：20 世纪 70 年代后期，由于神经网络研究者的突出成果，并且传统的人工智能理论和 Von.Neumann 型计算机在许多智能信息处理问题上遇到了挫折，而科学技术的发展又为人工神经网络的物质实现提供了基础，促使神经网络的研究进入了一个新的高潮阶段。
⑤快速发展阶段：自从对神经网络的研究进入第二次高潮以来，各种神经网络模型相继提出，其应用已经很快渗透到计算机图像处理、语音处理、优化计算、智能控制等领域，并取得了很大的发展。
综上所述，神经网络的研究虽然有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。
目前神经网络发展的重点是以应用为导向，研究和利用大脑神经网络的一些特性，设计出具有类似的某些大脑功能的智能系统。
神经网络正在蓬勃发展，其理论研究结果和应用范围一时还无法准确预料。
1.3 神经网络的特点①具有高速信息处理的能力神经网络是由大量的神经元广泛互连而成的系统，并行处理能力很强，因此具有高速信息处理的能力。
②神经网络的知识存储容量大在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。
它分散地表示和存储于整个网络内的各神经元及其连线上。
每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。
只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。
③具有很强的不确定性信息处理能力由于神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的对不确定性信息的处理能力。
即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图像。
只要输入的模式接近于训练样本，系统就能给出正确的推理结论。
④具有很强的健壮性正是因为神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如专家系统等，具有另一个显著的优点：健壮性。
生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。
因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。
⑤一种具有高度非线性的系统神经网络同现行的计算机不同，是一种非线性的处理单元。
只有当神经元对所有的输入信号的综合处理结果超过某一阈值后才输出一个信号。
因此神经网络是一种具有高度非线性的系统。
它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为。
⑥十分强的自适应、自学习功能人工神经网络可以通过训练和学习来获取网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。
1.4 神经网络的应用近年来，人工神经网络独特的结构和信息处理方法，使其在许多实际应用领 域中取得了显著的成绩。
神经网络的应用突出的领域有： ①模式识别。
如图像识别、语音识别、手写体识别等。
②信号处理。
包括特征提取、燥声抑制、统计预测、数据压缩、机器人视觉等。
③判释决策。
如模糊评判、市场分析、系统辩识、系统诊断、预测估值等。
1 ④组合优化。
包括旅行商问题、任务分配、排序问题、路由选择等。
⑤知识工程。
如知识表示、专家系统、自然语言处理和实时翻译系统等。
⑥复杂控制。
包括多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。
二．基本问题和神经网络分类2.1神经元基本结构人工神经网络是由大量简单的基本元件—神经元(neuron)相互连接而成的自适应非线性动态系统，神经元是神经网络的基本处理单元，它一般是一个多输入单输出的非线性动态系统，其结构模型如图2.1所示图2.1神经元结构其中，i X 为神经元i 个神经元的输入信号，i W 为相应的突触强度或联结权值，()f ∙为激励函数，它是作用前面部分的加权和，O 为实际输出。
激励函数可取不同的函数，但常用的基本激励函数有三种，分别是阈值函 数(此时神经元的输出取1或0，反映了神经元的兴奋或抑制)、分段线性函数(这种形式的激励函数可看作是非线性放大器的近似)和 S 型(Sigmoid)函数, 它也是人工神经网络中最常用的激励函数。
人们还在不断研究新的激励函数，如用广义同余函数作激励函数。
2.2基本术语概念网络训练：要使网络模型实现某种功能，必须对它进行训练，让它逐步学会要做的事情，并把所学到的知识记忆在网络的权值中，人工神经网络的权值的确定不是通过计算，而是通过网络的自身训练来完成的。
调整权重类似于智能过程，网络最重要的信息存在于调整过的权重之中。
于是，神经网络的关键就在于如何决定每一神经元的权值。
网络学习：就是具体到了神经网络模型是怎么样确定最后的权重的，这就是学习的过程，相应的就有很多学习准则(方法)，往往网络的训练和网络的学习是放在一起讲的，都是通过样本集最后到确定好权重在模型中，以备下次使用。
由于训练网络权值的原理不同，从而形成各种各样的神经网络学习规则。
常用的学习规则有以下几种：(1)Hebb 规则它的基本规则可归纳为：如果某处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元的连接权重就要被加强。
(2)Delta 规则Delta 规则是常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有输出间的误差。
这个规则也叫 Widrow 一 Hoff 规则，它首先应用于Adaline 模型中，也可称为最小均方差规则。
(3)反向传播学习方法此过程涉及两步，首先是正向传播，当数据输入网络，网络从前往后计算每一个单元输出，将每个单元的输出与应用的输出进行比较，并计算误差。
第二步是反向传播，从后向前重新计算误差，并修改权重。
完成这两步后，才能输入新的数据。
(4)Kohonen 学习规则该规则只用于无指导训练网络。
在学习过程中，处理单元竞争学习的机会。
具有高的输出单元是胜利者，有能力阻止它的竞争者并激发相邻的单元。
只有胜利者才能被输出，也只有胜利者与其相邻的单元可以调节权重。
(5)Grosberg 学习方法Grossberg 结合 Hebb 模型，建立了新的模型。
Grossberg 模型将每个神经网络划分为由星内(instars)和星外(Outstars)的单元组成。
星内单元是接受许多输入的处理单元，而星外单元是指其输出发送到许多其他处理单元的单元。
如果一个单元的输入和输出活动激烈，其权重的改变就比较大，如果总的输入或输出小，权重的变化就很小。
对不重要的连接，权重可能接近于零。
泛化能力：它是指经训练(学习)后的预测模型对未在训练集中出现(但具有统一规律性)的样本作出正确反映的能力，学习不是简单地记忆已经学过的输入，而是通过对有限个训练样本的学习，学到隐含在样本中的有关环境本身的内在规律性。
例如，在有导师学习的网络，通过对已有样本的学习，将所提取的样本把其中的非线性映射关系存在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据(与训练集同分布)时，网络也能完成由输入空间相输出空间的正确映射。
2.3神经网络分类到目前为止，人们已经提出了上百种人工神经网络模型，学习算法更是层出不穷。
但是，从人工神经网络的应用价值来看，研究最多的只有十几种，他们是从各个角度对生物神经系统不同层次的描述和模拟，表2-1给出了几种人工神经网络的典型模型。
表 2-1 人工神经网络的典型模型模型名称有师或无师学习规则正向或反向传播主要应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-I无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb/竞争律反向组合优化AM无Hebb律反向模式存储ABAM无Hebb律反向信号处理CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向工程检测、控制LAM有Hebb律正向系统控制OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类Perceptron有误差修正正向线性分类、预测Adalin/Madaline有误差修正反向分类、噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射反向组合优化BM有Hebb/模拟退火CM有Hebb/模拟退反向组合优化火AHC有误差修正反向控制ARP有随机增大反向模式匹配、控制SNMF有Hebb律反向语音、图象处理而这些网络从结构上也仅可分为多层前向神经网络和动态递归网络两种。
前向神经网络是目前应用最广、发展最迅速的人工神经网络之一，其中， BP神经网络是多层前向神经网络的一种，也是人工神经网络模型中最典型、应用最广泛的一种网络模型。
在人工神经网络的实际应用中，80%～90%的人工神经网络模型是采用BP前向网络或它的变化形式。
如果按学习方式分为：有导师学习和无导师学习。
有导师学习也称为有监督学习。
在这种学习方式下，要对一组给定的输入提供应有的输出结果。
这组已知的输入－输出数据就称为训练数据。
网络根据训练数据的输入和输出来调节本身的权重，使网络的输出符合实际的输出。