智能控制技术 第四章-2

• 其中：
• 由于 • 所以有： • 设
• 所以有：
下面分两种情况计算 （1）节点 是输出层上的节点 此时 则
由于
所以
（1）
（2）节点不是输出层上的节点
其中
其中 表示输出节点 • 所以 （2）
这表明：内层节点的 值 是通过上一层节点的 值来计 算的。也就是说：首先由（1） 式计算出输出层上各节点的 值，并将它反传到较低层上， 然后用（2）式计算出各较低 层上节点的 值。 下面给出一个简单反传网络， 来说明反传时的 值的计算 方法。
神经元的状态。然后，以其输出与样例的期望输出进 行比较，如果它们的误差不能满足要求，则沿着原来的 连接通路逐层返回，并利用两者的误差按一定的原则对 各层节点的连接权值进行调整，使误差逐步减小，直到 满足要求为止。 由上述训练过程不难看出：B-P算法的学习过程是由正 向传播与反向传播组成的。正向传播用于进行网络计算， 对某一输入求出它的输出；反向传播用于逐层传递误差， 修改连接权值，以便网络能进行正确的计算。
R
+ _
e ANN ∆e
u*(t) KP
u(t)
对象
u (t)=u*(t) * KP
•
(1) 传统PID作教师训练网络
T(t)
R
+ _
e
uNN ANN uPID PID KP 对象
y
uNN=f(w *F(w * xi)) uPID=u(t)+Kp*e(t)+KI∑e(t)+KD .
e(t)-e(t-1) T
Hale Waihona Puke 立方体的每一个顶角代表一个网络状态。一般来说，如果 在输出层有n个神经元，则网络就有 个状态，它可以与一 个n维超立体的顶角相联系。当有一个输入向量输入到网络 后，网络的迭代过程就不断地从一个顶角转向另一个顶角， 直至稳定于一个顶角为止。如果网络的输入不完全或只有部 分正确，则网络将稳定于所期望顶角附近的一个顶角那里。
2、B-P算法 下面讨论B-P算法的学习过程： 学习的目的是对网络的连接权值进行调整，使得对任何一 个输入都能得到所期望的输出。 学习的方法是用一组训练样例对网络进行训练，每一个样 例都包括输入及期望的输出两部分。 学习训练过程：首先，把样例的输入信息输入到网络中， 由网络自第一个隐层开始逐层地进行计算，并向下一层传递， 直到传至输出层，其间每一层神经元只影响到下一层
二、B-P模型 1、B-P模型 B-P（Back-Propagation）模型是一种用于前向多层神经网络的 反传学习算法，它是目前应用最广且最重要的一种训练前向神 经网络的学习算法。 B-P网络模型由输入层、隐层和输出层三部分组成，其中隐层 含有一层或多层。B-P算法主要用于B-P网络的训练。B-P网络 的工作原理是：当有信息向网络输入时，信息首先由输入层传 至隐层节点，经特性函数作用后，再传至下一隐层，直到最终 传至输出层进行输出，其间每经过一层都要由相应的特性函数 进行变换。节点的特性函数要求是可微的，通常选用S型函数， 即
2、Hopfield模型的算法 （1）设置互连权值
其中 为S类样例的第 个分量，可取值为（或1和0），样例类 别数为 ，节点数为 。 （2）未知类别样本初始化 其中 为节点 在时刻 的输出， 为输入样本的第 个分量。 就是节点 的初始值，
（3）迭代直到收敛
该过程将一直重复进行，直到进一步的迭代不再改变节点的输 出为止。 （4）转（2）继续进行。 Hopfield网络是一种非线性的动力学网络，它通过反复运 算这一动态过程求解问题。Hopfield网络可用于复杂优化问题 的求解，例如TSP（旅行推销员问题Traveling Salesman Problem）。TSP是指给定N个城市，要求找出一条能够到达 各个城市但又可重复询问的最短路径。对该问题，若用穷尽 搜索的方法求解，则运算将随城市数N的增加呈指数性
结构： R +
e′=x
+
_
u(t)
y
对象
_
ANN1
KP
^e z
ANN2
ZZ
^y
工作过程：ANN1控制器： ANN2模型： 其中 W1，W2表示控制器网络的权值 V1，V2表示模型网络的权值 X=（e1(t),e2(t)……,en(t)）控制网络输入信号 Z=（u(t),u(t-1),y(t-1),……y(t-n)）模型网络的输入 定义学习信号 (3)
(2)
R +
ANN自学习控制
u*(t)
e ANN _ ∆e
u(t) KP 对象
u (t)=u*(t) * KP=KP*f(w1*F(w2*E))
1. 2. 3. 4. 5.
二、神经网络间接间控控器设计 ANN自适应控制 ANN模型预测控制 ANN专家系统控制 模糊神经网络控制 混合神经网络控制 ANN自适应控制（自适应控制） 原理：用一个神经网络做控制器, 用另一个神经网络建模
③网络中隐节点个数的选取尚无理论上的指导。 ④当有新样例加入时，将会影响到已学习过的样例，而且要求 刻画每个输入样例的特征数目相同。 三、Hopfield模型及算法 1、Hopfield模型 Hopfield模型是Hopfield分别于1982年和1984年提出的两个 神经网络模型，一个是离散的，一个是连续的，它们都属于 反馈网络，即从输入层至输出层都有反馈存在，如图为一个 单层反馈神经网络。
增长，若用Hopfield网络求解这个问题，就可把最短路径问题 化为一个网络能量求极小的问题，这个动态系统的最后运行 结果就是问题的解。用这种方法求解的解不一定最优，而是 某条较短路径。 Hopfield模型的不足之处是：（1）很难精确分析网络的性能； （2）其动力学行为比较简单。
• 神经网络直接控制器的设计 • ANN控制器设计
• 由图可以看出：
•
（1）计算
（2）计算
同样可以按照上述权值的学习方式对阀值 进行学习，只要 把 设想为神经元的连接权值，其输入信号总是单位值1 就可以了。 B-P算法是一个有效的算法，许多问题都可以用它来解决。 由于它具有理论依据坚实，推导过程严谨、物理概念清晰 及通用性好等优点，使它至今仍然是前向网络学习的主要 算法，但BP算法也存在一些不足之处。 ①该学习算法的收敛速度非常慢，常常需要成千上万次迭代， 而且随着训练样例维数的增加网络性能变差。 ②从数学上看它是一种梯度最速下降法，这就有可能出现局 部极小问题。当局部极小点产生时，B-P算法所求得的解 就不是问题的解，故B-P算法是不完备的。
B-P算法学习的具体步骤： （1）从训练样例集中取一样例，把输入信息输入到网络 中。 （2）由网络分别计算各层节点的输出。 （3）计算网络的实际输出与期望输出的误差。 （4）从输出层反向计算到第一个隐层，按一定原则向减 小误差方向调整网络的各个连接权值。 （5）对训练样例集中的每一个样例重复以上步骤，直到 对整个训练样例集的误差达到要求时为止。 以上步骤中，关键是第（4）步，必须确定如何沿减 小误差的方向调整连接权值。
设：
为节点 为节点 为节点
的输出，； 的输入； 到节点 的连接权值；
， 分别为输出层上节点k的实际输出（由网络计算得到 的输出）及期望输出； 为输入到输出的变换函数； 和 接权值； 分别为时刻 和 从节点 到节点 的连
为权值的变化量； 为增益因子，或称为学习率。
则：对于节点 输入为： 输出为： 误差函数为： 连接权值的修改由下式计算： 下面采用梯度下降法来确定 ，即连接权值的变化沿着 的梯度变化方向调整，一般取
其中 为从节点 为节点 到节点 的阀值 的连接权值
Hopfield离散网络模型有异步和同步两种工作方式，异步 方式是指在任一时刻 只有一个神经元 发生状态变化，而 其它 个神经元保持状态不变，即
同步方式是指在任何一时刻，至少有多于一个神经元同时 改变状态。
在反馈网络中，由于网络的输出要反复地作为输入送入网络中， 这就使得网络的状态在不断改变，因而就提出了网络的稳 定性问题。一个网络是稳定的，是指从某一时刻开始，网 络的状态不再改变。设用 表示网络在时刻 的状态，如 果从 的任一初态 开始，存在一个有限的时刻 ，使 得从此时刻开始神经网络的状态不再发生变化，即， 就称该网络是稳定的。 若输出层只有两个节点，并用1和0分别表示每个节点的状态， 则整个网络共有四种状态，即00、01、10、11。若输出层 有三个节点，则整个网络共有八种状态，每个状态是一个 三位二进制数。
Hopfield提出的离散网络模型是一个离散时间系统，每个 神经元只有1和-1（或1和0）两种状态，由连接权值 所构 成的矩阵是一个零对角的对称矩阵，即
在该网络中，每当有信息进入输入层时，在输入层不做任 何计算，直接将输入信息分布地传递给下一层各有关节点。 若用 表示节点 在时刻 的状态，则该节点在下一时 刻的状态由下式决定：
(1) (2)
(4)
权值修正学习算法: (5) (6) 计算步骤: (1)给定期望值 ,初值W(0),V(0),δ,ε,η (2)采样:实时采样数据{yd, y(t)} (3)计算:用(1)式计算控制量u(t) 用(2)式计算模型网络输出计算 (4)用(3),(4)式计算误差E, 用(5),(6)式计算权值W,V (5)判断 E<ε < δ 是转(2);否则转(4),学习M次,学习次数>M转到 (2),直到Ty>>Tu :