神经网络动态系统辨识与控制

神经网络动态系统的辨识与控制

摘要：

本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题，

简介

用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。

过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。

在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。

本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系

统的自适应控制器设计有了主要的提高，这种控制器就不能用于非线性系统的整体控制。因此所提出的这个模型在表现这个方向的第一步。第二个目标是为基于反向传播的参数动态调整提出规定的方法这项反相传播算法将在这节中加以介绍。第三个最后的目标是明确规定必须假定的方法论设想以提出问题。在整个论文中运用了经常用于系统理论的系统方框图、电脑仿真来对不同概念进行阐述。本文的结构如下：

第二章讲述的是贯穿全文的基本概念和标记性细节。第三章多层网络和回归网络的统一。第四章讲述的是神经网络参数调整的静态和动态方法。第五章讲述辨识模型，第六章讲述自适应控制问题。最后在第七章指明未来工作的方向。

第二章栏目基本概念标记

这章集中讲述与辨识和控制问题相关的概念供参考。尽管只有部分概念直接在第四和第六章讨论的过程中应用到，但是所有这些概念都与广泛认识神经网络动态系统的作用密切相关。

A 系统辨识与特征化

系统辨识与特征化是系统理论最基本的问题。对系统进行特征化是指对系统进行数学表示：即以一个算子P：U—>Y作为系统的模型，并确定P所属的算子群，其中和分别是输入空间和输出空间。而系统的辨识则可描述为在已知和的前提下，确定一个子群和一个元素,以使在某个要求（精确指标）意义下逼进。于静态系统，U和Y分别是和的子集。而对于动态系统，它们通常被假定为区间[0，T]或[0，∞]上的有界勒贝格可积函数空间。算子P则以输入－输出对的形式加以定义。如果选取以及的形式（即辨识模型）则需要依据精度要求并综合考虑数学处理的简易性及对象被辨识的简易性，而且与离线辨识或在线辨识等因素有关。

1.静态系统和动态系统的辨识：模式识别问题是静态系统识别的一个典型例子，在这里，紧集通过决策函数P映射到输入空间

其中表示与类别对应的模式矢量。在动态系统中，算子P则以定义一个给定对象，该对象用输入-输出函数对U(t),Y(t)，t∈[0，T]隐含定义。无论哪种识别，其目的都是定义P?使其满足：

其中ε是一个理想的小正数，是某种适当的范数。为辨识模型输出，因此是与对象输出观测值Y之间的误差。动态系统的辨识问题将在Ⅱ－C章节中得到更详细的阐述。

2.Weierstrass定理与Stone-Weierstrass定理：让C（[a, b]）定义在闭区

间[a, b]的实值函数连续函数空间，对于f∈C（[a, b]）具有范数定义为：

著名的Weierstrass近似定理表明，当满足条件时，C（[a, b]）中的任何函数均可被多项式任意逼近。自然的，它在多项式估计连续函数的问题中（例如模式识别问题）得到广泛的应用。基于Stone的Weierstrass定理的推广称为 Stone-Weierstrass 定理，在动态系统的近似过程中具有重要的理论价值。

Stone-Weierstrass 定理：设U是一个紧密度量空间，若是的子函数，它包含常值函数和U中的分离点，那么在中是稠密的。

使我们感兴趣的使可以假定P定义在有界、连续、非时变随机算子空间范围内。根据Stone-Weierstrass 定理，当满足该定理条件时，可以选择近似于任何特定算子的并递属于的模型。

非线性函数的推论在很多文献中得到了广泛的应用，包括一系列著作如：维他里、威纳、Barret、Urysohn。运用Stone-Weierstrass 定理，可以知道在某个条件下的给定非线性函数可以用维他里级数和威纳级数等一系列相应的级数来表述。虽然理论上这种表述给人印象深刻，但是在大部分实际动态系统的辨识中还没有得到广泛的应用。

本文的重点在于论述有限空间非线性差分（或积分）方程条件下动态系统的在线辨识与控制。这样的线性模型在系统文献中是众所周知的，在以下章节中也将讨论到这种模型。

B系统的描述和问题的提出

在系统理论中，相当一部分系统可以用矢量微分方程或矢量差分方程来描述，例如可以用微分方程表示为：

其中为状态矢量，

为控制输入矢量，

为输出矢量，和为静态非线性映射：，

矢量x（t）在时间t上表示系统状态，并在t0

其中u（.）,x(.),y(.)是离散时间序列。大部分结果也可以扩展成连续时间系统来表示。如果假定方程（3）所描述的系统为线性、非时变系统，可以用下式进行描述：

其中A,B,C分别为阶矩阵。系统由三元组

参数化。在过去三十年里，已知C,A和B的线性非时变系统理论已经得到很大的发展,线性非时变系统的可控性、稳定性以及可观性的研究也比较成熟。不同问题的简易性最终使得线性方程由n个未知数解出n个解。与之相反的是，对于包括非线性方程（3）的问题，和已知时，没有类似的手段对非线性代数方程的结果进行逼近。因此，正如以下所述那样，为了使问题更容易分析，必须作一些假设。

C 辨识与控制

1．辨识：方程（3）中的函数和或者（4）中的矩阵A、B、C是未知时，就出现了未知系统（也就是以下章节中所指的对象）的辨识问题。具体表述如下[1]:

非时变、时间离散动态系统的输入和输出分别为和。其中

是时间有界函数。假设系统在参数化已知而参数值未知时是稳定的，目的是建立一个稳定的辨识模型（图 1（a））。其中当输入同时为u(k)时，得到如时，得到如（1）所述的近似值输出。

图.1(a)系统辨识图.2（b）参数自适应控制模型

2．控制：在控制理论的动态系统分析与综合问题中，或多或少的变量都必须保持在一定的限制内。如果方程（3）中的和已知，控制的问题就是设计一个控制器使之在常值k的所有信息基础上产生理想的控制输入u(k)。而对于如（4）所述的线性系统，A,B,C已知的控制器综合问题，已经存在大量的频率和时域技术，而对于已经规定和的非线性系统，并没有类似的方法。在过去三十年里，人们就对存在不定性的动态系统（1）的控制系统产生了

很大的兴趣。为了更具数学简易性，人们将更多的努力花在对线性、非时变和具有不确定参数的对象进行自适应控制上。本文的重点主要是不确定参数非线性动态系统的辨识与控制。

直接使用控模型的自适应系统得到很广泛的研究。这种系统通常被称为参考模型自适应控制(MRAC)体统. MRAC问题的格式化隐性假设是设计者对所讨论的对象足够熟悉，他可以根据参考模型的输出确定对象的理想行为。MRAC问题实质上可以如下（图.1（b））所示：

（a）参考模型自适应控制：控制对象P，给定输入－输出对，稳定参考模型M的确定输入－输出对为，其中是有界函数，输出是系统的理想输出。目的是对于确定控制输入使得在常数下有：

和上面所述的一样，辨识模型的选择（如参数化）以及基于辨识误差的参数调整方法是辨识问题的两个主要部分。决定控制器结构，调整参数使得系统输出与理想输出间的误差最小代表着控制问题的相应部分。章讲述的是为线性系统建立辨识模型和控制器结构以及辨识与控制参数调整的一些著名方法。紧跟着在章中简单阐述非线性动态系统辨识与控制中遇到的问题。

3．线性系统：对于线性、非时变不确定参数对象，辨识模型的产生目前已经众所周知。对于一个单输入单输出可控可观系统，方程（4）中的矩阵A和向量B和C可以用以下方程方式表示：

其中和是不确定参数。多输入多输出可控可观系统也可以用相似的方法表示。这意味着在时间k+1时的输出是输入和输出过去值的线性组合。公式（5)激励以下辨识模型的选择：

并行模型

串行模型

其中决定阶数的大小。在以下的论述中，系统参数

的常向量由P表示，而辨识模型

由表示。

对于可控可观线性、非时变系统可以通过线性稳定反馈显示其稳定性。这一事实可以用于设计系统的自适应控制器。例如，当已知系统阶数上限时，控制输出可以通过输入和输出各自的线性组合产生。如果表示控制的参数矢量，那么存在一个常值矢量，当时，控制器以及系统于参考模型具有相同的输入－输出特性。调整使其保持在稳定状态的自适应算法已是众所周知，其总的格式如（8）所示。

4．非线性系统：从的讨论中可以知道，可控性和可观性在线性系统辨识与控制问题的格式化上是很重要的。线性系统的其他著名的结果也要求选择一个参考模型和合适的系统参数化以保证理想控制器的存在。尽管近年来有很多学者提出诸如非线性系统的可控性、可观性、反馈稳定化以及观测器设计等问题。，但是没有得出像线性系统那样有效的结论。因此，如何选取非线性系统的辨识模型和控制模型必须根据与系统输入－输出相关的一些假设而定。例如，单输入单输出系统由(3)表示，我们假定系统的稳定性可以由输入和输出的n个测量参数重构。更确切的：，这样n个非线性方程里n 个未知数x(k),如果

确定，我们假定在区域内

的所有u(k)的值，上述方程存在唯一解。这使得非线性系统的辨识可以用与线性系统的辨识相似的方式提出。

即便方程（3）中的已知，状态矢量也可取，如果产生使对象具有目标轨迹的控制仍然使个难题。因此，对于控制输入的产生，必须假定合适的逆算子的存在。如果假设控制器结构产生输入，还要做其他的假设以保证恒定控制参数矢量的存在以达到理想的控制目的。所有这些表明非线性理论需要对一些程序加以考虑以达到系统辨识与控制问题的严格解。

尽管上述的论点中第章所述的线性模型激励非线性系统的识别器和控制器的结构选择。可以如第四章和第五章所述那样将神经网络融合到这样的结构中。第三章所述的各种不同的因素表明近来得到人们广泛研究的多层神经网络和回归网路都可以作为非线性动态系统识别器和控制器设计的子系统。

第三章多层网路和回归网络

利用第四章和第五章所述的模型以保证问题的顺利解决而做的假设与多层网络和回归网络的特性密切相关。在本章中，我们简要介绍这两类神经网络并指出为什么两种网络的统一使用是将来解决复杂系统问题的趋势。

A 多层网络

一个典型的多层网络由一个输入层、一个输出层以及两个隐含层构成。如图2所示。

为了方便我们用方框图表示。见图3，多层网络有三个权值矩阵和

以及一个非线性算子，可辨识sigmoidal 元

紧随每个权矩阵。每层网络可以用算子来表示：

多层网络的输入－输出映射关系可以用下式表示：

实际上，多层网络可以成功的解决模式辨识问题。如第四章所述的那样调整网络权值和使网络输出y与理想输出与理想输出yd之间的函数误差最小。映射函数通过网络以及与输出相应的映射矢量实现其结果。通常非连续映射例如最近相邻规则用于最后状态以使输入设定值在相应的输出空间范围内有意义。以系统理论的观点来看，多层网络可以被看成以权值矩阵单元为参数的可视化非线性映射。在以下章节中，将频繁出现“权”、“参数”这类术语。

B 回归网络

回归网络在很多论著中得到了很广泛的应用，如Hopfield网络，它为模型辨识提供交替性方法。其中Hopfield网络可以看作一个带时间延迟的反馈机构与一个单层网络的组合。

图2

图3

如方框图4.和方框图5所示。网络的时间离散动态方程为：

给定初值，选择适当，动态系统可以带到某个平衡点。以的某个领域内的各点替换作为初始状态点收敛与相同的平衡点。术语“协助记忆”就是用来描述这样的系统的。近来，人们已经开始研究恒定输入的连续时间和离散时间回归网络。[17] 输入而不是初始状态代表即将要在这种情况下典型化的模型。在连续时间回归网络中，动态系统在反馈通道有一个带有可辨识因式的代数传递矩阵。其动态方程可以表示为：

这样是时间t的系统状态，而恒定矢量是输出。

C 统一方法

尽管可以知道神经网络模型辨识的两种方法存在不同，但是他们间存在密切的关系是毫无疑问的。有恒定输入或没有恒定输入的回归网络几乎都是非线性动态系统而这些系统的逼近行为与初始状态和所给的特定输入有关。这两种情况关键取决于反馈环路神经网络所代表的非线性映射。例如，没有输入时，离散时间系统回归网络的平衡点几乎近似映射的固定点。因此，固定点的存在、独特的条件、给定网络可获得的固定点最大值都与多层网络和回归网络相关。现有的很多文献都涉及到这样的问题。为了数学上的简易起见，大多数文献中都假定回归网络只包含一层网络。如。

图4 Hopfield 网络图5。Hopfield网络框图

正如前面所述那样，如果有输入则假定输入是恒定的。近来，人们也考虑到了两层回归网络并且通过在反馈环路中包含多层网络可以构造更加通用形的回归网络。[20] 虽然本文前面提到了一些很有趣的思想，但是我们对这种系统的认识还是远远不足的。在第五章和第六章中讲述的系统辨识与控制问题中，多层网络用于串连和反馈的构造上，而这种模型的输入是时间函数。

D 广义神经网络

从上面的论述中可知多层网络的基本要素是映射，而如图5所示反馈通道的额外时间延迟要素可以在回归网络中解得。事实上，常规回归网络可以由（1）延迟、（2）求和以及（3）连续时间网络的非线性算子等的基本操作来构成。在某些情况下（例如（11））允许乘上一个常数。因此，除了线性系统常见的作用外，神经网络系统是只包含的要素的非线性反馈系统的网络。

由于任意线性非时变动态系统可以通过算法求和、常数相乘、时间延迟来构成，可以用广义神经网络产生的非线性动态系统可以用线性系统传递矩阵的形式（如：）和非线性算子来表示。

图6(a)表示1（b）表示2(c)表示3(d)表示4

图6所示为算子的四种级联反馈连接的结构图，这些结构图表示的是更复杂的系统。图中的上标用来区别不同多层网络之间的不同网络层。

从广义的神经网络来说，映射参数以及系列（如（10）定义的那样），在神经网络的分析研究中起至关重要的作用。近来在[21]中可知，运用定律，一个两层网络，其隐含层有一个任意大的节点，那么该网络在紧闭子集上可以近似于任何连续函数。这就为保证所述的广义神经网络可以有足够的能力来解决非线性系统理论中的多种问题提供激励。事实上，第五、第六章所列的辨识与控制模型结构都是广义的神经网络，并与图6所示的方框图结构有密切的关系。为了方便起见，将包含N层的多层

网络的函数集体记为：，其中网络包含个输入，个输出，以及个隐层节点。分别为输入节点、输出节点和各隐层节点数。

第四章静态系统与动态系统的反向传播算法

本文中，如果运用到神经网络，静态辨识（如模式辨识）和动态系统辨识的研究目的都是为了决定一个自适应算法或规则以在给定输入－输出对时调整网络参数。如果网络权值用矢量表示，那么学习过程包括矢量的定义，其中对基于输出误差的函数的指标进行优化。反向传播算法在静态网络中很常用。为与有关的指标函数梯度，为负梯度调整：

其中为学习步长，是经过合适挑选的一个常数。为在梯度计算中的最小值。在本章，我们先概括介绍反向传播算法。接着介绍反向传播算法在动态系统中的一种扩展方法以及反向传播算法术语的定义，并提出权值矢量调整的说明性方法。这种方法可以用于第五、第六章所述的辨识与控制问题。

在二十世纪了六十年代早期，线性动态系统的自适应辨识与控制得到了广泛的研究。并开发了感知模型以产生与线性系统的可调参数相关的指标标准局部分支。感知模型第一次将感知法应用于动态系统，使必要的自适应系统结构更具洞察性。[22]-[25] 由于在概念上上述问题与神经网络的辨识与控制参数决定问题一样，很明显反向传播算法也适用于动态系统。

A.反向传播算法的图表表示

本章介绍反向传播算法的图表表示。虽然反向传播算法的图表表示与代数表示在形式上是等效的，但是它们的计算效率是不一样的，因为图表表示法含有拓扑和几何关系信息，特别是图表表示法使个反向传播算法更直观易懂，给其增加一个修正器。该修正器使得计算更加有效，并为现有的结构提供可观的修正以囊括其他的功能扩展。

在图2所示的三层网络中，为输入模式矢量，

为输出矢量，和

分别为第一隐含层输出和第二隐含层输出。

和为图2中所示的三层网络的权值矩阵。矢量

如图2所示，，其中和分别为和的子式。如果是理想输出矢量，对于给定输出模式的输出误差可以定义为：指标标准定义为：

其中求和是在给定的模式集S上对所有的模式进行的。如果假设输入模式在

各采样时刻提供给网络，指标标准J可以取作某一时间内各误差的均方差。这种情形与动态系统相关。在后种情形中，输入和输出为时间顺序，指标标准J 可以表示为：其中为适当选取的整数。

严格来说，参数应该通过参数空间中的梯度的决定来调整。而通常紧接的程序就是根据每个时刻的误差在每个时刻对其进行调整，并稍微调整学习步长。假如代表一个典型的参数，必须定义以计算其梯度，如。误差反传播算法是决定该梯度的一种方便的方法。

如图7所示为图2所示的三层网络反向传播的方框图。派生梯度分析法在很多论文里都有讲到，大家都比较熟悉，所以这里就不重复了。图7仅仅展示各种梯度元件是如何实现的。例如，信号，以及误差矢量可用于梯度的计算。（其中是对的导数）。以及

的乘积用来分别对，求偏导。当信号流方向相反，证明条件是“反向传播”时，用于计算导数的网络权值矩阵结构似乎与最初的网络结构一样。想知道更详细的方框图表示，读者可以参考和。上面所提到的方框图表示的优势可以从图7得到证实。与我们的目的更密切相关的是同样的表示可以非常容易地修改以适用于动态系统。事实上，方框图表示法在第五和第六章所述的仿真研究中得到了广泛的应用。

B 动态反向传播

在因果动态系统中，对于所有的，在时间K时改变参数输出会产生变化。例如，给定一个非线性动态系统

，其中是一个参数，是输入，为方程（3）所定义的状态矢量，对的偏导可以通过解以下线性状态方程来获得。

其中

，

图7 反向传播结构图

和是雅可比行列式，矢量代表对的偏导。方程（12）表示围绕在标称轨道和输入上的非线性系统的线性方程。如果和可求，对的偏导可以作为动态灵敏度模型的输出来获得。

在以上章节中，已经对通用神经网络进行了定义，串行反馈动态系统通用神经网络和多层神经网络的四个表示法如图6所示。由于复杂动态系统可以用这四个表示法来表示，如果输出对参数的偏导可以由每个表示法决定，反传播法可以扩展到这样的系统。下面我们简要阐述方程（12）是如何应用于这四个方案的。在所有的方案中，假定多层神经网络对其中一个参数的偏导可以用静态反相传播求得并可以作为图7中的网络输出来实现。

在表示法1中，理想输出以及误差都是误差函数。表示法1是动态系统中最简单的表示法。因为

其中是网络的象征性参数。由于用反向传播法可以在任何时候求得，所以可以作为动态系统的输出来实现，的输入是一个偏导。

在表示法2中，梯度的决定由于神经网络的存在实施起来更复杂。假如是的一个象征性参数，偏导可以通过静态反向传播法求得。但是，假如是的一个象征性参数

由于可以运用表示法1所述的方法算得，而可以通过静态反向传播法求得，会产生信号对参数的两次偏导。

表示法3展示具有矩阵函数的反馈神经网络。非线性反馈系统的输入是一个矢量。假如是神经网络的一个象征性参数，表示法3的目的就是对于以及，决定导数。我们首次发现以前没有遇到过的情况，因为是微分方程的解，如受到其自身的过去值影响

在方程（13）中，是一个矢量，，分别是在当前点上取值的雅可比矩阵和矢量，它们可以在每一时刻求出。代入和后即得的线性化差分方程。通过图8（a）所示的动态系统即可获得。

在最后的表示法中，反馈系统优先于神经网络。的出现并不影响输出对参数的偏导计算，但是如果是的象征性参数，可知可以通过以下方式获得，

或者可以作为如图8（b）所示的动态性系统输出来表示，它们可以在每一时刻求出。

以下章节中我们关注的所有系统辨识与控制问题，矩阵为斜对角矩阵并且由形式的元素组成（如单元延时）。再次，由于动态反向传播一般比静态反向传播要复杂，因此在选取辨识模型时应尽量利用静态反向传播算法。在此研究的反向传播模型适用于神经网络与线性动态系统以任意结构连接而静态反传播算法不能改变的一般的控制问题。读者可以从[27]那里获得更详细的参考资料。

图8（a）表示法3的梯度生成（b）表示法4的梯度生成

以[27]为基础但是提供关于反向传播算法实际应用的实现的论文目前正在准备之中。

第五章辨识

正如第三章所提到的那样，神经网络可以足够精确地近似大部分非线性函数的能力使得它们成为非线性对象动态模型表示的最佳选择。事实上，正如第四章所述的那样，静态和动态反向传播法可以用于参数调整也使神经网络在辨识与控制中很有吸引力。本章介绍SISO控制对象表示的四个模型，它们也可以用于多变量方案中。紧接着，提出包含如子系统的多层神经网络的辨识模型。这些模型通过已经用于线性系统辨识与控制的自适应系统文献的模型激励，它们可以被看作非线性系统的通用化。

A 特征化

这里介绍的四个时间离散模型可以由以下非线性微分方程表示：

模型

模型

模型

模型

其中表示在时刻，时SISO对象的输入－输出对。不同模型的方框图表示如图9所示。在模型和模型中的函数，模型中的函数以及方程（14）中的假定为它们论点的微分函数。在所有的四个模型中，对象在时刻的输出取决于它的过去值

以及输入的过去值m。在模型中，对过去值的依赖是线性的，而在模型中对输

入过去值的依赖被假定是线性的。在模型中，对和的依赖是独立的。很明显，在模型中，是的一个非线性函数而包含模型。如果一般的非线性SISO对象可以通过方程式（3）描述，并且满足章节讨论的严厉的可观性条件，它就可以用这样的模型来表示。尽管模型具有通用性，但是分析到它的实用性和容易操作性，其他的一些模型更具吸引力。例如，在以下章节可以很明显的发现，模型就特别适用于控制问题。

从第三章给的结果可以知，方程（14）中的函数f和/或g在非常弱的条件下，多层神经网络可以在兼容性装置中构造近似映射。为了方便，可以假定f和/或g在有关领域内属于已知集合，这样对象可以通过第三章所讨论的通用神经网络来表示。这个假定激励辨识模型的选择并允许辨识模型形成的陈述。特别的是这个辨识模型与对象具有同样的结构但是包含带有可调参数的神经网络。

让动态系统对象由方程（14）所述的四个模型其中的一个模型来表示。如果这个对象可以用输入－输出数据来辨识，就必须进一步假定它输入输出有界。这意味着选择用来表示对象的模型也受益于这个性能。在模型I的情况下，这意味着特征方程的根位于单位圆内。在其他三种模型中，这种简单的代数条件也存在。因此包含多层网络的重复网络研究是一个重要的研究领域。

图9 SISO对象表示 (a)模型I(b)模型II（c）模型III(d)模型IV 目前所描述的模型是用来表示时间离散对象的。与这些模型类似的时间连续对象可以用微分方程表示，如第二章所述。而我们将其专门用于时间离散系统，对于时间连续系统也可以用同样的方法。

B 辨识

如章节所示的那样，辨识问题包括建立一个合适的参数化辨识模型并调整模型参数以根据对象和辨识模型的输出误差优化函数功能。由于对象表示的非线性函数设为属于相关域的已知集，因此选择辨识模型的结构以对控制对象进行辨识。通过存在的辨识模型假设以及神经网络矩阵，对于最初的条件，对象和模型对任何特定的输入都有相同的输出。因此辨识过程包括用第四章所述的方法根据对象和模型输出对神经网络参数进行调整。但是，正如下面所述那样，必须建立合适的预防以保证辨识过程结果收敛于辨识模型参数的理想值。

1. 并行辨识模型：图10（a）所示为可以用模型I表示的对象，其中，

为了辨识对象，可以假定图10（a）所示的辨识模型结构并用以下方程描述：

图10 （a）并行辨识模型 (b)并－串行辨识模型

如第提到的那样，图10 （a）称为并行模型，辨识包括参数的估计，以及利用动态反向传播法，基于模型输出和实际输出之间的误差

的神经网络权值的评估。

从前面的假设中可知，对象在输入（假定的集合）存在时是输入输出有界（BIBO）稳定的。因此对象中所有的信号都是统一有界的。与此相反的是，在此描述的神经网络辨识模型的稳定性得不到保证，这必须得以证实。因此，如果用并行模型，并不能保证参数收敛或输出误差趋于零。尽管已经有二十年的研究了，

但是并行模型参数条件在线性情况下是否收敛还是个未知数。以此，对于用模型表示的对象，用到下面的辨识模型，也就是串－并行模型。

2.串－并行模型：与上述并行模型不同的是，在串－并行模型中，对象输出（而不是模型辨识）反馈到辨识模型中，如图10（b）所示。这意味着在这种情况下辨识模型有以下形式：

对前面描述的四个模型，都可以用相同的过程。对应于模型IV的串－并行辨识模型的辨识框图如图11。在图11中TDL表示抽头延时线，这里输出矢量必须与输入信号的延时值元素相应。因此，对象的输入和输出过去值形成神经网络的输入矢量，其中神经网络的输出与每一时刻K的对象输出评估值相应。串－并行模型比并行模型有更多的优势。

图11 神经网络非线性对象辨识

由于对象设为BIBO稳定，辨识过程中用到的所有信号（如神经网络输入）都是有界的。再次，因为模型中不存在任何反馈环，静态反传播法可以用来调整参数，这样大大地减少了繁琐的计算。最后，假设输出误差趋于一个很小的渐近线值，这样

在没有很严重影响的情况下，可以用并行模型代替串－并行模型。如果辨识模型应用于离线情况下，这种替换是很有实际意义的。鉴于上述考虑，串－并行模型可以用于本文的所有仿真。

C 仿真结果

本章介绍上述模型的非线性对象辨识的仿真结果。这里介绍六个例子，其中可取的优先信息规定模型I-IV的一个选择。选择每个例子的目的是强调特定点。在前五个例子中，串－并行模型用来辨识给定对象，而静态反向传播法用来调整神经网络参数。最后的例子可以用来解决辨识问题。考虑到空间的限制，本文只

介绍主要的仿真结果。感兴趣的读者可以参考[27]-[29]

（第二篇）

系统理论和管理控制

Dr.Shahid Ansari

教学笔记的目的是概述系统理论的中心思想并且展示他们如何为学习管理控制提供有用的框架。系统理论自身有很大的文学，且很难去一一证明。这些笔记并不认为是包罗万象的文学回顾。

了解世界的方法。

科学家和哲学家已经为我们如何理解和认识世界的问题进行了长久的争论。了解世界的方法有:描述法和说明法。在描述方面，认识的理论，感知和思想上描述我们这些人类如何组织stimuli 而且了解他们。在说明法上,有二个方法去了解世界。第一是简化论，另一个是系统论。

简化论认为了解新现象的最好方法是研究它的个别部分的功能和特性。举例来说,了解人类身体工作的最好方法是去分析它的组成部分，(器官，肌肉，有机系统，骨头,细胞) 和学习每个部分的特性。

系统论把重心集中在部份之间的关系,而不是缩小实体,比如说把人的身体分成部分或元素( 比如说器官或细胞) , 系统理论把重心集中在安排各部份之间整体工作的关系。部份被系组织起来的方法和它们如何相互作用是由系统的特性决定的。系统的行为与元素的特性无关。这时常提到作为一个整体法去分析现象。

系统论是什么?

在系统理论上的一个流行的网站提供系统理论的下列各项定义:

系统理论: 对现象抽象系统的跨学科研究，孤立了他们的物质，类型或空间或存在的暂时范围。它调查了从普遍原则到所有的复杂实体，和能够用来描述它们的样式。

”跨学科”这个词解释了为什么系统理论在许多学科中如此的流行。因为系统理论为集中于一个问题提供了一种语言，而不受学科约束。这普通的结构或语言在不同的领域，如过程学，生物学，系统理论，社会学和心理学是给予系统理论的近乎普遍的要求。

系统理论的二个版本。

系统理论在人类知识领域有很长的历史。一些学者把系统理论的发展追溯到亚里斯多德。相比德国哲学家 Hegel陈述的整体比部分总和要大的思想，大多数的学者更赞成整体论，系统思维中心论。系统包含了许多相互关联，相互交织的部分的思想认为一旦这些部分集中起来，会使得整体行为与个别行为不同和有所

区别。整体论断言我们藉由学习它的各种不同的成份行为不能够了解整体的行为。

系统理论的二个版本。第一个是从古典物理学出来的，叫做封闭系统。Norbert 维纳和罗斯 Ashby 发展了它的现代版本，称为控制论。另一个叫做开放系统，来自于生物学。它由十九世纪四十年代生物学家路得维希提出。

控制论和开放系统思想。

封闭系统思想源于古典的（牛顿）物理学。牛顿的物理学基于少数变量。系统元素 ( 举例来说行星)以准确的时钟运行，而又回到初始平衡的稳定状态。微小的误差可以忽略，因为会在对系统有显著的影响之前被改正。控制论领域例证了封闭系统思想的现代版本，而且它被归因于 Norbert 维纳的工作。

1949 年，Norbert维纳 , 麻州理工学院的一个卓著的数学家和工程师与一个是脑神经外科手术专家的同事一起吃午餐。维纳正在处理电回应中干扰声音系统的这类问题。脑神经外科手术专家正在处理一个引起病人不能够正确地判断物体的距离的神经不正常问题。这些病人，当尝试在他们面前拾起一杯水的时候，会伸过头或扣不着。

当二位科学家谈话时，他们各自的问题并不象他们当初认为的那些完全不一样。干扰正常系统的电回应也是引起肌肉神经系统混乱的原因。病人显然地正在收到来自正在引起肌肉系统官能不良的脑电回应。电机工程问题和神经的混乱问题有共同点的发现，促使人们去寻求一种可能用来描述两者问题的普遍语言。答案是系统理论。现代封闭系统方法随着Norbert 维纳的控制论的出版而诞生。

控制论领域的发展允许了不同的学科以系统理论的通用语言沟通有关他们的问题。更重要的是，它允许了一系列原理应用于控制和规则的问题。我们发现允许远古水手利用“管理者引导船的系统设计原则和允许机械的工程师为空调单元设计自动调温器，企业家设计控制产品质量, 天文学家描述行星的行为, 会计员设计预算控制系统的原理相同。我们说这些系统在他们被干扰后通过管理他们自身的反馈信息又回到了平衡状态。

图 1 一个典型的控制论的系统模型。

图 1 是以一个使用加热器的自动调温器为例的典型的控制论系统概要图表。在扰乱已经冲破穿缓冲之后，系统又回到了期望的稳定状态。在我们的例子中，室温是受控变量,冷空气是扰动变量，而墙壁是被设计成把温度保持在期望水平的缓冲区。当温度计反馈回来的数据显示房间太寒冷的时候(如少于65度)，为了控制温度，一个开关 (管制装置) 把空调打开。控制和管理在行为发生后紧接着发生的想法是控制论模型思想的核心。这种形式的规则在控制论的用辞中叫做“错误控制规则”，且这个系统被称为闭环系统。它的主要特性是在关于小错误信息的基础上操作，避免产生大错误。

你可能已经注意图1的概要图表能用来描述传统的费用控制或质量控制方法。费用被编入预算而且首先奏效。我们试图从干扰因素中减轻费用。当来自预算(不一致) 的偏离发生的时候,我们利用它作为反馈信息采取正确的措施。工人制造一种产品；检查员稍后检查质量。利用小样品，他们看废品率来改正质量问题。关键思想是行为发生在先，采取措施在后。控制论的封闭系统模型是传统的费用和质量管理方法的智力基础。

在封闭系统中另外要注意的是热力学之函数或最大的混乱趋向的增加。这是因为系统靠近环境，没能力输入能量去抵消热力学之函数的增长。被热力学的第二定律例证的这种看法认为封闭系统随着热力学之函数的增加会不可避免地趋向于崩溃。

生物学和开放系统思想。

开放系统理论有它的生物学基础, 特别是达尔文在物种进化论的著作。开放系统理论的流行版本出自路得维希Bertalanffy，他用系统理论的普遍方面描述了主要的思想，并且把它们从封闭系统思想区别开来。Bertalannfy强调封闭系统不适宜于研究生物现象，因为生物系统和它们的环境，生长，生存互动。如图1所描述，错误控制规则工作于稳定和良性环境中。然而，活生物的环境很不宽广，而且经常不存在从错误中研究的奢望。封闭系统于开放系统理论之间有四种主要的不同。每种不同在下面将被讨论：

1、外部的环境关系。开放系统理论把重心集中在一个系统和它的环境之间的交换。因为他们不停地进展并且适应他们的环境需要，所以生物学的生物是开放系统。他们的行为是对在他们生存环境的威胁和可利用资源的一个回应。

2、变量考虑。第二个方面，区别开开放系统和封闭系统思想的是包含在其中的一系列变量。一个封闭系统有一些变量。一个开放系统典型地处理一系列更加复杂的关系。从一个封闭系统立场看，费用和质量是需要在公司内部管理的内部变量。在一个开放系统中，费用和质量被看成是外部的驱动变量，而这些变量通过理解环境在这些变量上的影响来管理。

3、规则或控制的形式。如图 1 所示,关闭系统使用了错误控制的规则。这是事实之后的控制。开放系统使用优先控制。在它们发生和采取有效措施之前，它们被预料错误控制，而她们的产生和采取措施又是在最后的输出之前的。像一只老鼠, 公开系统预期猫的下一个动作。等候从错误反馈通常是致命的。这种控制形式被称为前馈控制。如果费用将被处理如一个开着的系统，它应该被控制于产品被生产之前而不是之后。

4、制的目的。不像关闭系统，开放系统对让系统返回到某些预定的稳定状态不赶兴趣。它们认为控制的目的是在一条动态路径上调整和移动系统。开放系