基于最小二乘法的系统辨识问题研究综述

摘要：对基于最小二乘法的系统辨识方法进行了介绍。首先对系统辨识概念以及最小二乘法原理进行了介绍，然后根据例子来说明怎样运用最小二乘法来解决实际辨识问题。而且本文针对最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法在系统辨识中的应用，最后对系统辨识的发展趋势做了预测。

关键字：系统辨识最小二乘法改进型最小二乘法发展趋势

1引言

系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。1962年，L. A. Zadeh 最先提出了系统辨识的定义[1]：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而根据最小二乘法的定义[2]：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。

本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应

用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法来改进系统辨识能力，最后给出了系统辨识的发展趋势。

2 基于最小二乘法的系统辨识的理论基础及应用

2.1 系统辨识的理论基础

从字面上讲，系统辨识( System Identification) 就是识别一个系统、辨识一个系统[3]。系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包含系统结构辨识( System Structure Identification) 和参数估计( Parameter Estimation) ．

系统结构(或模型结构) 就是系统数学表达式的形式。对单输入单输出线性系统而言，模型结构就是系统的阶次(Order) ；对多变量线性系统而言，模型结构就是系统的能控性结构指数(Controllability Structure Index) 或能观测性结构指数(Observability Structure Index) ，系统阶次等于系统的能控性结构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient) ，系统阶次就是传递函数分母多项式的次数(Degree) ; 对状态空间模型而言，系统参数就是状态空间模型的A，B，C，D 矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。

求解系统辨识问题实质上就是找到合适的数学方法来判断系统

的结构以及得到系统参数。 2.2 最小二乘法的理论基础

最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，首先要对最小二乘法有深刻理解。

下面是一般的最小二乘法问题：实系数线性方程组 a 11x 1+a 12x 2+…+a 1n x n -b 1=0 a 21x 1+a 22x 2+…+a 2n x n -b 2=0

………… (2.1) a m1x 1+a m2x 2+…+a mn x n -b m = 0

方程组可能无解。即可能不存在一组实数 x 1,x2,……,x s 使

211

20()i i in n i m

i a

x a x a x b =++?+-=∑ (2.2)

恒成立。因此我们转而求其次，设法找到实数组 x 1，x 2，…，x s 使误差的平方和最小，这样的 x 1，x 2，…，x s 称为方程组的最小二乘解，这样问题就叫最小二乘法问题。

2.3 最小二乘法处理辨识问题的应用举例

考虑如下线性系统：

()()()()()()1111a b n a n b z k a z k a z k n bu k b u k n e k +-++-=-++-+ （1）

其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。

其系统模型如图1所示：

图1 SISO 的系统模型结构图

其中G(z -1)是系统函数模型，N(z -1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z -1)的系统后的输出。通常

()()

()

()()

()

111

, B z D z G z

N z

z C

z ------== （2）

式中：

()()11212112

121a

b b n n n n A z a z a z a z B z b z b z b z

--------?=++++??=+++?? （3） ()()11212112

121c

d d n n n n C z c z c z c z D z d z d z b z

--------?=++++??=+++?? （4）则系统可表示为：()()()

()()

()

()1111B z D z z k u k v k A z C z ----=+

（5）

设样本和参数集为：

1212()[-(-1) , -(-2), ...... -(-), (-1),(-2), ......, (-)][,,......,,,,......,]

n n h k z k z k z k n u k u k u k n a a a b b b θ?=?=? （6） h(k)为可观测的量，差分方程可写为最小二乘形式

()()()T z k h k e k θ=+ （7）

如何在系统噪声e(k)存在的情况下从该方程中正确的解出θ，即是系统辨识的任务。为了求出θ，我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨

识算法的选择，下面一一探讨。

一．选择输入

为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M 序列或逆M 序列作为输入。

二．准则函数

因为本文主要探讨最小二乘类辨识方法，在此选取准则函数

()()()()2

k k J e k z k h k θθ∞

∞

==??==-??????∑∑ （8）

使准则函数()min J θ=的θ估计值记做LS θ

，称作参数θ的最小二乘估计值。在式(7)中，令k=1,2,3,……L ，可构成线性方程组：

()()()T

L L L z k H k e k θ=+ （9）

式中

()()()()()()()()

()()()()()()()()()()1122, 010*******L L a b a b L a b z e z e z e z L e L z z n u u n z z n u u n H z L z L n u L u L n ????

????????==????????????????

----????----??=????------???

? （10）

准则函数相应变为：

()()()()()

()2

L L L L k k J e k z k h k z H z H θθθθ==??==-=--??????∑∑ （11）

极小化()J θ,求得参数θ的估计值，将使模型更好的预报系统的输出。

三．最小二乘辨识算法

设LS θ

使得()min J θ=，则有

()()()0LS

L L L L J z H z H θθθθθ

??=

--=??

（12）展开上式，并根据以下两个向量微分公式：

()()2 T

T T

T a x a x

x Ax x A A x

?=??=?为对称阵（13）

得正则方程： ()

T T

L L LS L L H H H z θ=

（14）

当T L

L H H 为正则阵时，有(

)

T T LS L

L L L H H H z θ-=

（15）

且有

()

20LS

T L

L J H H θθθ?=>?

，所以满足式（15）的LS θ

唯一使得()min J θ=，这

种通过极小化式（11）计算LS θ

的方法称作最小二乘法。而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计

3 最小二乘法在辨识时存在的问题及其改进型的系统辨识应用举例 3.1传统最小二乘存在的问题

最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长的问题。

3．2递推最小二乘算法

为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。

首先，将式(11)的最小二乘一次完成算法写为

()()()()()()1

11T T T

WLS L L L L L L

L L T

i i H H H z P L H z h i h i h i z i θ--====????=????????

∑∑

（16）

定义

()()()()()()11

11111k T T k k i k T T k k i P k H H h i h i P k H H h i h i -=----=?==????-==??

∑∑ （17）式中

()()()()()()11122 1T T T T k k T T h h h h H H h k h k -????????????==????????-????????

（18）式中，h(i)是一个列向量，也就是H L 的第i 行的倒置，P(k)是一个方阵，它的维数取决于

未知参数的个数，假设未知参数的个数是n ，则P(k)的维数是n ×n .。

由式17可得P(k)的递推关系为：

()()()()()

()()()

11k T T i T P

k h i h i h k h k P k h k h k --=-=+=-+∑ （19）

设

()()()()()()11,2,,11,2,,T k T

k z z z z k z z z z k -?=-?????

?=?

????? （20）则

()()()()()1

1111

1111T T k k k k k i k H H H z P k h i z i θ------=-=??=-??

∑

（21）

由此可得：()()()()1

11k i P

k k h i z i θ--=--=∑

（22）

由式19和22可得

()()()()()()()()()()()()()()()()(){}

()()()()()()1

111111k T

k k k

i T

T k H H H z P k h i z i P k P k k h k z k P k P k h k h k k h k z k k P k h k z k h k k θθθθθ-=--??

==??

????=--+????=--+????=-+--??

∑

（23）

引进增益矩阵K(k)，定义()()()K k P k h k = （24）

式23可以进一步写为()()()()()()11T

k k K k z k h k k θθθ??=-+--??

（25）

接下来可以进一步把式20写为

()()()()1

11T

P k P k h k h k --??=-+?? （26）

利用矩阵反演公式(

)

()1

1111T

T T A CC A A C I C A C C A ------+=-+

将式（26）演变成

()()()()()()()()()()()()()()()()1

111111111T T

T T P k P k P k h k h k P k h k P k h k P k h k h k I P k h k P k h k -??=-----+??

-=--??-+??

（27）

将上式代入式24，整理后可得

()()()()()()1

111T

K k P k h k h k P k h k -??=--+?? (28)

综合式25、27和28可得最小二乘递推参数估计算法RLS

()()()()()()()()()()()()()()()()1111111T T

T k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k θθθ-???

=-+--???

???=--+????

??=--????

3.3广义最小二乘法

设SISO 系统采用如下模型：

()()()()()

()111

A z z k

B z u k v k

C z ---=+

（30）其中A(z -1)，B(z -1)和C(z -1)的定义见式？

假定模型阶次n a ，n b 和n c 已知，用广义最小二乘法可以得到无偏一致估计。令

()()()()()()

f f z k C z z k u k C z u k --?=?

?=?? （31）及

()()()()()1212[,,,,,,,]1,,,1,,a b T n n T f f f a f f b a a a b b b h k z k z k n u k u k n θ?=???

?=------???? （32）将模型化为最小二乘格式：()()()T

f f z k h k v k θ=+ （33）

由于v(k)是白噪声，所以用最小二乘可以获得参数θ的无偏估计，由于噪声模型C(z -1)未知，还需要用迭代的方法来求得C(z -1)。令

()()

()1

e k v k C z -=

（34）置

()()()()12[,,,]1,,c T

e n T

e c k c c c h k e k e k n θ?=?

?=----?

????? （35）这样就把噪声模型也转变为最小二乘格式：()()()T

e e e k h k v k θ=+ （36）

由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数θe 的无偏估计，但是数据向量中依然含有不可测的噪声量()()1,,c e k e k n ----???? ，可用相应的估计值来代替，置()()()1,,T

e c h k e k e k n =----????

，其中k <0时，e(k)=0；k >0时，按照

()()()T

e k z k h k θ=- （37）

计算，式中

()()()()()1,,,1,,T

a b h k z k z k n u k u k n =------???? （38）

综上所述，广义最小二乘法可归纳为

()()()()()()()()()()()()()()()()

()()()()()()()()()()()()()()()()1

1111111111111T f f f T f

f f f f T f f f f

e e e e e T e e e e e e T

e e e e k k K k z k h k k K k P k h k h k P k h k P k I K k h k P k k k K k e k h k k K k P k h k h k P k h k P k I K k h k P k θθθθθθ--???=-+--???

???=--+??????=--??????=-+--???????

=--+???

???=--???

4 系统辨识的发展及对策

最小二乘法(LS)是一种经典的和最基本的,也是应用最广泛的方法。但是,最小二乘估计是非一致的,是有偏差的,所以为了克服他的缺陷,而形成了一些以最小二乘法为基础的系统辨识方法:广义最小二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法,有最小二乘两步法(COR- LS)和随机逼近算法等。

广义最小二乘法的基本思想是引入一个白化滤波器,把相关噪声转换为白噪声,基于对观测数据先进行一次滤波处理,然后利用普通最小二乘法对滤波后的数据进行辨识。

递推算法的基本思想是用新估计值对老的估计值进行修正，应用的数据是实时采集的系统输入输出数据,应用递推算法对参数估计值

进行不断修正,以取得更为准确的参数估计值，而且此方法占据计算机存储量小，因此在辨识系统中得到了广泛的应用。【最小二乘参数估计的递推算法及其C语言实现】

渐消记忆的最小二乘法在对系统模型参数进行辨识时强调新数据的作用，贬低老数据的作用，将遗忘因子λ引入系统中，在实际应用中遗传因子λ的大小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响，所以选取合适的遗传因子会显著提高系统的辨识能力。

5 结论

系统辨识的方法有很多,但是最小二乘法是其中最重要、应用最广泛的一种系统辨识方法。针对经典的最小二乘法存在的一些不足，广义最小二乘法、递推式最小二乘法以及渐消记忆的最小二乘法等是一些在科学研究中经常采用的系统辨识方法,这些方法不仅在今天,而且在未来都会有非常广泛的应用前景，此外新的改进型最小二乘法也会在其他学科的发展下涌现，使基于最小二乘法的系统能适应更多的场合，得到更加强大的系统辨识能力。

参考文献

[1] Zadeh L A.From Circuit Theory to System Theory[ J].Proc.IRE,1962,50(5):856- 865.

[2] 维基百科

[3]系统辨识( 1) : 辨识导引

参考文献

[1] 佚名. 最小二乘法的论述与证明[J]. 刊名缺失, 出版年缺失, 卷缺失(期缺失): 页码范围缺失.

最小二乘法在系统辨识中的应用

最小二乘法在系统辨识中的应用王文进控制科学与控制工程学院控制理论与控制工程专业 2009010211 摘要：在实际的工程中，经常要对一个系统建立数学模型。很多时候，要面对一个未知的系统，对于这些未知系统，我们所知道的仅仅是它们的一些输入输出数据，我们要根据这些测量的输入输出数据，建立系统的数学模型。由此诞生了系统辨识这门科学，系统辨识就是研究怎样利用对未知系统的输入输出数据建立描述系统的数学模型的科学。系统辨识在工程中的应用非常广泛，系统辨识的方法有很多种，最小二乘法是一种应用及其广泛的系统辨识方法。本文主要讲述了最小二乘估计在系统辨识中的应用。首先，为了便于介绍，用一个最基本的单输入单输出模型来引入系统辨识中的最小二乘估计。例如：y = ax + （1）其中：y、x 可测，为不可测的干扰项，a未知参数。通过N 次实验，得到测量数据y k和x k ，其中k=1、2、3、…，我们所需要做的就是通过这N次实验得到的数据，来确定未知参数a 。在忽略不可测干扰项的前提下，基本的思想就是要使观测点y k和由式（1）确定的估计点y的差的平方和达到最小。用公式表达出来就是要使J最小：确定未知参数a的具体方法就是令： J a = 0 , 导出 a 通过上面最基本的单输入单输出模型，我们对系统辨识中的最小二乘法有了初步的了解，但在实际的工程中，系统一般为多输入系统，下面就用一个实际的例子来分析。在接下来的表述中，为了便于区分，向量均用带下划线的字母表示。水泥在凝固过程中，由于发生了一系列的化学反应，会释放出一定的热量。若水泥成分及其组成比例不同，释放的热量也会不同。水泥凝固放热量与水泥成分的关系模型如下： y = a0+ a1x1+…+ a n x n + 其中，y为水泥凝固时的放热量（卡/克）；x1~x2为水泥的几种成分。

系统辨识复习资料

1请叙述系统辨识的基本原理（方框图），步骤以及基本方法定义：系统辨识就是从对系统进行观察和测量所获得的信息重提取系统数学模型的一种理论和方法。辨识定义：辨识有三个要素——数据、模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型辨识的三大要素：输入输出数据、模型类、等价准则基本原理：步骤：对一种给定的辨识方法，从实验设计到获得最终模型，一般要经历如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。基本方法：根据数学模型的形式：非参数辨识——经典辨识，脉冲响应、阶跃响应、频率响应、相关分析、谱分析法。参数辨识——现代辨识方法（最小二乘法等） 2随机语言的描述白噪声是最简单的随机过程，均值为零，谱密度为非零常数的平稳随机过程。白噪声过程（一系列不相关的随机变量组成的理想化随机过程）相关函数：谱密度：白噪声序列，白噪声序列是白噪声过程的离散形式。如果序列满足：相关函数：则称为白噪声序列。谱密度： M 序列是最长线性移位寄存器序列，是伪随机二位式序列的一种形式。 M 序列的循环周期 M 序列的可加性：所有M 序列都具有移位可加性辨识输入信号要求具有白噪声的统计特性 M 序列具有近似的白噪声性质，即 M 序列“净扰动”小，幅度、周期、易控制，实现简单。 3两种噪声模型的形式是什么第一种含噪声的被辨识系统数学模型0011()()()()n n i i i i y k a y k i b u k i v k ===-+-+∑∑，式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0 ()()()T y k k v k ψθ=+。其中，()()()()()()()=1212T k y k y k y k n u k u k u k n ψ------????L L ，，，，，，， ) ()(2τδστ=W R +∞ <<∞-=ωσω2)(W S )}({k W Λ,2,1,0,)(2±±==l l R l W δσ2)()(σωω== ∑ ∞-∞=-l l j W W e l R S ???≠=≈+=?0 , 00,Const )()(1)(0ττττT M dt t M t M T R bit )12(-=P P N

系统辨识-最小二乘法MATLAB仿真

《系统辨识》基于MATLAB的最小二乘法（一阶）的仿真 clc clear % ①白噪声的生成过程如下：e=randn(1,500); e=e/std(e); e=e-mean(e); A=0; %白噪声的均值为0 B=sqrt(0.1); %白噪声的方差为0.1 e=A+B*e; %绘制白噪声图 k=1:500; subplot(4,1,1) %画四行一列图形窗口中的第一个图形 plot(k,e,'r'); xlabel('k'), ylabel('e');title('(0,1)均匀分布的随机序列') % ②生成M序列的过程如下：X1=1;X2=0;X3=1;X4=0; %移位寄存器输入Xi初始状态（0101）， Yi寄存器的各级输出 m=500; %M序列的总长度 for i=1:m Y4=X4; Y3=X3; Y2=X2; Y1=X1; X4=Y3; X3=Y2; X2=Y1; X1=xor(Y3,Y4); %异或运算 if Y4==0 U(i)=-1; else U(i)=Y4; end end M=U; u=U; %绘制M序列图? i1=i k=1:1:i1; subplot(4,1,2) %画四行一列图形窗口中的第二个图形 plot(k,U,k,U,'rx') stem(M) xlabel('k') ylabel('M序列') title('移位寄存器产生的M序列') % ③参数估计的过程如下： %绘制参数估计的相关图形 z=zeros(1,500); %定义输出观测值的长度 for k=2:500 z(k)=0.9*z(k-1)+u(k-1)+e(k);%用理想输出值作为观测值 end subplot(4,1,3) %画四行一列图形窗口中的第三个图形 i=1:1:500; %横坐标的范围从1到500，步长为1 plot(i,z) %图形的横坐标是采样时刻i，纵坐标是输出观测值Z，图形格式为连续曲线

系统辨识

一、最小二乘法（LS ）辨识系统Z(K+2)=1.5*Z(K+1)-0.7*Z(k)+u(K+1)+0.5*u(k)+v(k) 辨识参数 L T L L T L LS y X X X 1)(-Λ =θ 其中 MAT 程序 >> x=[0 1 0 1 1 0 1 1 1]; >> n=403; >> M=[]; >> for i=1:n temp=xor(x(4),x(9)); M(i)=x(9); for j=9:-1:2 x(j)=x(j-1); end x(1)=temp; end >> v=randn(1,400); >> z=[]; >> z(1)=-1; >> z(2)=0; >> for i=3:402 z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2); end >> H=zeros(400,4); >> for i=1:400 H(i,1)=-z(i+1); H(i,2)=-z(i); H(i,3)=M(i+1); H(i,4)=M(i); end >> Estimate=inv(H'*H)*H'*(z(3:402))' 辨识参数为： Estimate = -1.4916

1.0364 0.4268 >> 二、最小二乘递推法（RLS）辨识Z(K+2)=1.5*Z(K+1)-0.7*Z(k)+u(K+1)+0.5*u(k)+v(k) 递推公式：其中： MATLAB程序： >> x=[0 1 0 1 1 0 1 1 1]; n=403; M=[]; for i=1:n temp=xor(x(4),x(9)); M(i)=x(9); for j=9:-1:2 x(j)=x(j-1); end x(1)=temp; end v=randn(1,400); z=[]; z(1)=-1; z(2)=0; for i=3:402 z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2); end P=100*eye(4); Pstore=zeros(4,401); >> Pstore(:,1)=[P(1,1),P(2,2),P(3,3),P(4,4)]; >> Theta=zeros(4,401); Theta(:,1)=[3;3;3;3]; >> K=[10;10;10;10];

系统辨识与自适应控制论文

XXXXXXXXXX 系统辨识与自适应控制课程论文题目：自适应控制综述与应用课程名称：系统辨识与自适应控制院系：自动化学院专业：自动化班级：自动化102 姓名： XXXXXX 学号: XXXXXXXXX 课程论文成绩：任课教师： XXXXX 2013年 11 月 15 日

自适应控制综述与应用一．前言对于系统辨识与自适应控制这门课，前部分主要讲了系统辨识的经典方法（阶跃响应法、频率响应法、相关分析法）与现代方法（最小二乘法、随机逼近法、极大似然法、预报误差法）。对于系统辨识，简单的说就是数学建模，建立黑箱系统的输入输出关系；而其主要分为结构辨识（n）与参数辨识（a、b）这两个任务。由于在课上刘老师对系统辨识部分讲的比较详细，在此不再赘述，下面讨论自适应控制部分的相关内容。对于自适应控制的概念，我觉得具备以下特点的控制系统，可以称为自适应控制系统： 1、在线进行系统结构和参数辨识或系统性能指标的度量，以便得到系统当前状态的改变情况。 2、按一定的规律确定当前的控制策略。 3、在线修改控制器的参数或可调系统的输入信号。二．自适应控制综述 1.常规控制系统与自适应控制系统比较（1）控制器结构不同在传统的控制理论与控制工程中，常规控制系统的结构主要由控制器、控制对象以及反馈控制回路组成。而自适应控制系统主要由控制器、控制对象、自适应器及反馈控制回路和自适应控制回路组成。（2）适用的对象与条件不同传统的控制理论与控制工程中，当对象是线性定常、并且完全已知的时候，才能进行分析和控制器设计。无论采用频域方法，还是状态空间方法，对象一定是已知的。这类方法称为基于完全模型的方法。在模型能够精确地描述实际对象时，基于完全模型的控制方法可以进行各种分析、综合，并得到可靠、精确和满意的控制效果。然而,有一些实际被控系统的数学模型是很难事先通过机理建模或离线系统辨识来确知的,或者它们的数学模型的某些参数或结构是处于变化之中的.对于这类事先难以确定数学模型的系统,通过事先整定好控制器参数的常规控制往往难以对付。面对上述系统特性未知或经常处于变化之中而无法完全事先确定的情况,如何设计一个满意的控制系统,使得能主动适应这些特性未知或变化的情况,这就是自适应控制所要研究解决的问题.自适应控制的基本思想是:在控制系统的运行过程中,系统本身不断地测量被控系统的状态、性能和参数,从而“认识”或“掌握”系统当前的运行指标并与期望的指标相比较,进而作出决策,来改变控制器的结构、参数或根据自适应规律来改变控制作用，以保证系统运行在某种意义下的最优或次优状态。按这种思想建立起来的控制系统就称为自适应控制系统。

系统辨识

系统辨识理论综述郭金虎【摘要】全面论述了系统辨识理论的提出背景以及理论成果，总结了系统辨识理论的基本原理、基本方法以及基本内容，并对其应用及发展做了全面的讨论。【关键词】系统辨识；准则函数 1概述系统辨识问题的提出是由于随着科学技术的发展，各门学科的研究方法进一步趋向定量化，人们在生产实践和科学实验中，对所研究的复杂对象通常要求通过观测和计算来定量的判明其内在规律，为此必须建立所研究对象的数学模型，从而进行分析、设计、预测、控制的决策。例如，在化工过程中，要求确定其化学动力学和有关参数，已决定工程的反应速度；在热工过程中，要求确定如热交换器这样的分布参数的系统及动态参数；在生物系统方面，通常希望获得其较精确的数学模型，一般描述在生物群体系统的动态参数；为了控制环境污染，希望得到大气污染扩散模型和水质模型；为进行人口预报，做出相应的决策，要求建立人口增长的动态模型；对产品需求量、新型工业的增长规律这类经济系统，已经建立并继续要求建立其定量的描述模型。其他如结构或机械的振动、地质分析、气象预报等等，都涉及系统辨识和系统参数估计，这类要求正在不断扩大。 2系统辨识的基本原理 2.1系统辨识的定义和基本要素实验和观测是人类了解客观世界的最根本手段。在科学研究和工程实践中，利用通过实验和观测所得到的信息，或掌握所研究对象的特性，这种方式的含义即为“辨识”。关于系统辨识的定义，1962年，L.A.Zadeh 是这样提出的：“系统辨识就是在输入和输出数据观测的基础上，在指定的一组模型类中，确定一个与所测系统等价的模型”。1978年，L.Ljung 也给出了一个定义：“辨识既是按规定准则在一类模型中选择一个与数据拟合得最好的模型”。可用图2-1来说明辨识建模的思想。 0 G g G 等价准则系统原型系统模型激励信号y g y e J u 图2-1 系统辨识的原理

系统辨识方法

系统辨识方学习总结一．系统辨识的定义关于系统辨识的定义，Zadeh是这样提出的：“系统辨识就是在输入和输出数据观测的基础上，在指定的一组模型类中确定一个与所测系统等价的模型”。L.Ljung也给 “辨识即是按规定准则在一类模型中选择一个与数据拟合得最好的模型。出了一个定义：二．系统描述的数学模型按照系统分析的定义，数学模型可以分为时间域和频率域两种。经典控制理论中微分方程和现代控制方法中的状态空间方程都是属于时域的范畴，离散模型中的差分方程和离散状态空间方程也如此。一般在经典控制论中采用频域传递函数建模，而在现代控制论中则采用时域状态空间方程建模。三．系统辨识的步骤与内容 (1)先验知识与明确辨识目的这一步为执行辨识任务提供尽可能多的信息。首先从各个方面尽量的了解待辨识的系统，例如系统飞工作过程，运行条件，噪声的强弱及其性质，支配系统行为的机理等。对辨识目的的了解，常能提供模型类型、模型精度和辨识方法的约束。 (2)试验设计试验设计包括扰动信号的选择，采样方法和间隔的决定，采样区段（采样数据长度的设计）以及辨识方式（离线、在线及开环、闭环等的考虑）等。主要涉及以下两个问题，扰动信号的选择和采样方法和采样间隔 (3)模型结构的确定模型类型和结构的选定是决定建立数学模型质量的关键性的一步，与建模的目的，对所辨识系统的眼前知识的掌握程度密切相关。为了讨论模型和类型和结构的选择，引入模型集合的概念，利用它来代替被识系统的所有可能的模型称为模型群。所谓模型结构的选定，就是在指定的一类模型中，选择出具有一定结构参数的模型M。在单输入单输出系统的情况下，系统模型结构就只是模型的阶次。当具有一定阶次的模型的所有参数都确定时，就得到特定的系统模型M，这就是所需要的数学模型。 (4)模型参数的估计参数模型的类型和结构选定以后，下一步是对模型中的未知参数进行估计，这个阶段就称为模型参数估计。

系统辨识最小二乘参数估计matlab

最小二乘参数估计摘要：最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。关键词：最小二乘（Least-squares ），系统辨识（System Identification ）目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最

系统辨识研究的现状_徐小平

系统辨识研究的现状徐小平1,王　峰2,胡　钢1 (1.西安理工大学自动化与信息工程学院　陕西西安　710048;2.西安交通大学理学院　陕西西安　710049) 摘　要:综述了系统辨识问题的研究进展,介绍了经典的系统辨识方法及其缺点,引出了将集员、多层递阶、神经网络、遗传算法、模糊逻辑、小波网络等知识应用于系统辨识得到的一些现代系统辨识方法,最后总结了系统辨识今后的发展方向。关键词:系统辨识;集员;多层递阶;神经网络;遗传算法;模糊逻辑;小波网络中图分类号:TP27 文献标识码:B 文章编号:1004-373X (2007)15-112-05 A Survey on System Identif ication XU Xiaoping 1,WAN G Feng 2,HU Gang 1 (1.School of Automation and Information Engineering ,Xi ′an University of Technology ,Xi ′an ,710048,China ; 2.School of Science ,Xi ′an Jiaotong University ,Xi ′an ,710049,China ) Abstract :In this paper the advance in the study of system identification is summarized.First ,the traditional system identi 2fication methods and their disadvantages are introduced.Then ,some new methods based on set membership ,multi -level re 2cursive ,neural network ,genetic algorithms ,f uzzy logic and wavelet network are presented.Finally ,f urther research directions of system identification are pointed out. K eywords :system identification ;set membership ;multi -level recursive ;neural network ;genetic algorithms ;f uzzy logic ;wavelet network 收稿日期:2007-04-16 基金项目:教育部博士学科基金(20060700007); 陕西省自然科学基金(2005F15)资助项目 1　引　言辨识、状态估计和控制理论是现代控制理论三个互相渗透的领域。辨识和状态估计离不开控制理论的支持,控制理论的应用又几乎不能没有辨识和状态估计技术。随着控制过程复杂性的提高,控制理论的应用日益广泛,但其实际应用不能脱离被控对象的数学模型。然而在大多数情况下,被控对象的数学模型是不知道的,或者在正常运行期间模型的参数可能发生变化,因此利用控制理论去解决实际问题时,首先需要建立被控对象的数学模型。系统辨识正是适应这一需要而形成的,他是现代控制理论中一个很活跃的分支。社会科学和自然科学领域已经投入相当多的人力和物力去观察、研究有关的系统辨识问题。从1967年起,国际自动控制联合会(IFAC )每3年召开一次国际性的系统辨识与参数估计的讨论会。历届国际自动控制联合会的系统辨识会议均吸引了众多的有关学科的科学家和工程师们的积极参加。系统辨识是建模的一种方法,不同的学科领域,对应着不同的数学模型。从某种意义上来说,不同学科的发展过程就是建立他的数学模型的过程。1962年,L.A.Zadeh 给出辨识这样的定义[1]:“辨识就是在输入和输出数据的基础上,从一组给定的模型类中,确定一个与所测系统等价的模型。”当然按照Zadeh 的定义,寻找一个与实际过程完全等价的模型无疑是非常困难的。而从实用性观点出发,对模型的要求并非如此苛刻,为此,对辨识又有一些实用性的定义。比如,1974年,P.E.ykhoff 给出辨识的定义[2]为:“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统)本质特征的一种演算,并用这个模型把对客观系统的理解表示成有用的形式。”1978年,L. Ljung 给辨识下的定义[3] 更加实用:“辨识有三个要素—数据,模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。”总而言之,辨识的实质就是从一组模型类中选择一个模型,按照某种准则,使之能最好地拟合所关心的实际过程的静态或动态特性。本文首先介绍了经典的系统辨识方法,并指出其存在的缺陷,接着对近年来系统辨识的现代方法作以简单的综述,最后指出了系统辨识未来的发展方向。2　经典的系统辨识经典的系统辨识方法[4-6]的发展已经比较成熟和完 2 11

系统辨识研究综述

系统辨识研究综述摘要：本文综述了系统辨识的发展与研究内容，对现有的系统辨识方法进行了介绍并分析其不足，进一步引出了把神经网络、遗传算法、模糊逻辑、小波网络知识应用于系统辨识得到的一些新型辨识方法。并对基于T-S模型的模糊系统辨识进行了介绍。文章最后对系统辨识未来的发展方向进行了介绍关键词：系统辨识；建模；神经网络；遗传算法；模糊逻辑；小波网络；T-S 模型 1.系统辨识的发展和基本概念 1.1系统辨识发展现代控制论是控制工程新的理论基础。辨识、状态估计和控制理论是现代控制论三个相互渗透的领域。辨识和状态估计离不开控制理论的支持；控制理论的应用又几乎不能没有辨识和状态估计。而现代控制论的实际应用不能脱离被控对象的动态特性，且所用的数学模型需要选择一种使用方便的描述形式。但很多情况下建立被控对象的数学模型并非易事，尤其是实际的物理或工程对象，它们的机理复杂且含有各种噪声，使建立数学模型更加困难。系统辨识就是应此需要而形成的一门学科。系统辨识和系统参数估计是六十年代开始迅速发展起来的。1960年，在莫斯科召开的国际自动控制联合会(IFCA)学术会议上，只有很少几篇文章涉及系统辨识和系统参数估计问题。然而，在此后，人们对这一学科给予了很大的注意，有关系统辨识的理论和应用的讨论日益增多。七十年代以来，随着计算机的开发和普及，系统辨识得到了迅速发展，成为了一门非常活跃的学科。 1.2系统辨识基本概念的概述系统辨识是建模的一种方法。不同的学科领域,对应着不同的数学模型,从某种意义上讲,不同学科的发展过程就是建立它的数学模型的过程。建立数学模型有两种方法:即解析法和系统辨识。 L. A. Zadeh于1962年给辨识提出了这样的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”当然按照Zadeh的定义，寻找一个与实际过程完全等价的模型无疑是非常困难的。根据实用性观点，对模型的要求并非如此苛刻。1974年，P. E. ykhoff给出辨识的定义“辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统) 本质为：特征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。而1978

系统辨识经典辨识方法

经典辨识方法报告 1. 面积法辨识原理分子多项式为1的系统 1 1 )(11 1++++= --s a s a s a s G n n n n Λ……………………………………………（）由于系统的传递函数与微分方程存在着一一对应的关系，因此，可以通过求取微分方程的系数来辨识系统的传递函数。在求得系统的放大倍数K 后，要先得到无因次阶跃响应y(t)（设τ=0）。大多数自衡的工业过程对象的y(t)可以用下式描述来近似 1)() ()()(a 111=++++--t y dt t dy a dt t y d a dt t y d n n n n K ……………………………（）面积法原则上可以求出n 为任意阶的各系数。以n=3为例，注意到 1|)(,0|)(d |)(d |)(d 23====∞→∞→∞→∞→t t t t t y dt t y dt t y dt t y …………………………（）将式（）的y(t)项移至右边，在[0，t]上积分，得 ?-=++t dt t y t y a dt t dy a dt t y d a 01223 )](1[)() ()(…………………………………（）定义 ?-=t dt t y t F 01)](1[)(……………………………………………………………（）则由式（）给出的条件可知，在t →∞ ?∞ -=01)](1[a dt t y ……………………………………………………………（）将式a 1y(t)移到等式右边，定义 )()]()([)() (a 201123 t F dt t y a t F t y a dt t dy t =-=+?…………………………………（）利用初始条件（）当t →∞时 )(a 22∞=F …………………………………………………………………… （）同理有a 3=F 3(∞) 以此类推，若n ≥2，有a n =F n (∞) 分子、分母分别为m 阶和n 阶多项式的系统

系统辨识课程综述

系统辨识课程综述通过《系统辨识》课程的学习，了解了系统辨识问题的概述及研究进展；掌握了经典的辨识理论和辨识技术及其优缺点，如：脉冲响应法、最小二乘法（LS）和极大似然法等；同时对于那些为了弥补经典系统辨识方法的不足而产生的现代系统辨识方法的原理及其优缺点有了一定的认识，如：神经网络系统辨识、基于遗传算法的系统辨识、模糊逻辑系统辨识、小波网络系统辨识等；最后总结了系统辨识研究的发展方向。一、系统辨识概论自40年代Wiener创建控制论和50年代诞生工程控制论以来，控制理论和工程就一直围绕着建立模型和控制器设计这两个主题来发展。它们相互依赖、相互渗透并相互发展；随着控制过程的复杂性的提高以及控制目标的越来越高，控制理论的应用日益广泛，但其实际应用不能脱离被控对象的数学模型。但是大多数情况下，被控对象的数学模型是不知道的，或者在正常运行期间模型的参数可能发生变化，此时建立模型需要细致、完整地分析系统的机理和所有对该系统的行为产生影响的各种因素，从而变得十分困难。系统辨识建模正是适应这一需要而产生的，它是现代控制理论中一个很活跃的分支。系统辨识是建模的一种方法，不同的学科领域，对应着不同的数学模型。从某种意义上来说，不同学科的发展过程就是建立他的数学模型的过程。所谓系统辨识，通俗地说，就是研究怎样利用对未知系统的试验数据或在线运行数据（输入/输出数据），运用数学归纳、统

计回归的方法建立描述系统的数学模型的科学。Zadeh与Ljung明确提出了系统辨识的三个要素：输入输出数据，模型类和等价准则。总之，辨识的实质就是从一组模型类中选择一个模型，按照某种准则，使之能最好地拟合我们所关心的实际过程的静态或动态特性。通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号；对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识亦称为实验建模方法，它是“系统分析”和“控制系统设计”的逆问题。通常，预先给定一个模型类μ＝｛M｝（即给定一类已知结构的模型），一类输入信号u和等价准则J＝L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。二、经典的系统辨识经典的系统辨识方法包括脉冲响应法、最小二乘法（LS）和极大似然法等。其中最小二乘法(LS)是应用最广泛的方法,但由于它是非一致的，是有偏差性，所以为了克服他的缺陷，形成了一些以最小二乘法为基础的系统辨识方法：广义最小二乘法(GLS)、辅助变量法(IV)、增广最小二乘法(ELS)、广义最小二乘法(GLS)，以及将一般的最小二乘法与其他方法相结合的方法，有：最小二乘两步法(COR—LS)

2003版系统辨识最小二乘法大作业

西北工业大学系统辩识大作业题目：最小二乘法系统辨识

一、问题重述：用递推最小二乘法、加权最小二乘法、遗忘因子法、增广最小二乘法、广义最小二乘法、辅助变量法辨识如下模型的参数离散化有 z^4 - 3.935 z^3 + 5.806 z^2 - 3.807 z + 0.9362 ---------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 噪声的成形滤波器离散化有 4.004e-010 z^3 + 4.232e-009 z^2 + 4.066e-009 z + 3.551e-010 ----------------------------------------------------------------------------- = z^4 - 3.808 z^3 + 5.434 z^2 - 3.445 z + 0.8187 采样时间0.01s 要求：1.用Matlab 写出程序代码； 2.画出实际模型和辨识得到模型的误差曲线； 3.画出递推算法迭代时各辨识参数的变化曲线；最小二乘法: 在系统辨识领域中 ,最小二乘法是一种得到广泛应用的估计方法 ,可用于动态 ,静态 , 线性 ,非线性系统。在使用最小二乘法进行参数估计时 ,为了实现实时控制 ,必须优化成参数递推算法 ,即最小二乘递推算法。这种辨识方法主要用于在线辨识。MATLAB 是一套高性能数字计算和可视化软件 ,它集成概念设计 ,算法开发 ,建模仿真 ,实时实现于一体 ,构成了一个使用方便、界面友好的用户环境 ,其强大的扩展功能为各领域的应用提供了基础。对 4324326.51411.5320120232320 Y s s s s G U s s s s ++++== ++++432 120120232320 E N W s s s s == ++++

系统辨识综述

系统辨识方法综述摘要在自然和社会科学的许多领域中，系统的设计、系统的定量分析、系统综合及系统控制，以及对未来行为的预测，都需要知道系统的动态特性。在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文论述了用于系统辨识的多种方法，重点论证了经典系统辨识方法中运用最广泛的的最小二乘法及其优缺点，引出了将遗传算法、模糊逻辑、多层递阶等知识应用于系统辨识得到的一些现代系统辨识方法，最后总结了系统辨识今后的发展方向。关键字：系统辨识；最小二乘法；遗传算法；模糊逻辑；多层递阶 Abstract In many fields of natural and social science, the design of the system, the quantitative analysis of the system, the synthesis of the system and the control of the system, as well as the prediction of the future behavior, all need to know the dynamic characteristics of the system. It is very necessary to establish a system model in the process of studying a control system. Therefore, system identification plays an important role in the research of control system. This paper discusses several methods for system identification, the key argument is that the classical system identification methods using the least squares method and its advantages and disadvantages, and leads to the genetic algorithm, fuzzy logic, multi hierarchical knowledge application in system identification of some modern system identification method. Finally, the paper summarizes the system identification in the future direction of development. Keywords:System identification; least square method; genetic algorithm; fuzzy logic; multi hierarchy 第一章系统辨识概述系统辨识是研究建立系统数学模型的理论和方法。系统辨识是建模的一种方法，不同的学科领域，对应着不同的数学模型。从某种意义上来说，不同学科的发展过程就是建立他的数学模型的过程。辨识问题可以归结为用一个模型来表示客观系统（或将要构造的系统）本质牲征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。当然也可以有另外的描述，辨识有三个要素：数据，模型类和准则。辨识就是按照一个准则在一组模型类中

系统辨识之最小二乘法

方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^ θ，成为最小二乘估计值。具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式 )()()(k n k h k z T +=θ （4）式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）

L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6）其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。程序清单如下见附录：最小二乘一次性算法Matlab 程序运行结果如下：图1 最小二乘一次性算法参数真值与估计值其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。方法二、最小二乘递推算法：最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小

非线性系统辨识综述

系统辨识综述张培硕研4班摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。关键词：非线性系统辨识；多层递阶；神经网络 1 引言系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。目前关于非线性理论的研究正处于发展阶段。建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。针对每一类特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。同时，也对这些算法的估计一致性问题进行了讨论。随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。常用的非线性系统描述方法有微分(或差分)法、泛函级数法、NARMAX 模型法及分块系统法等。一些学者已经对非线性系统辨识方法进行了某方面的综述。例如，1965 年Arnold 和Stark 讨论了正交展开方法在非线性系统辨识中的应用，1968 年Aleksandrovskii 和Deich及1977 年Hung 和Stark综述了核辨识算法，1989 年Titterington 和Kitsos总结了非线性试验设计的最新发展，并列举了十五个在化工领域中常遇到的非线性模型。本文对近年来新的非线性系统的辨识方法作以简单的综述。

系统辨识最小二乘法大作业 (2)

系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院学号：姓名：日期：

基于最小二乘法的多种系统辨识方法研究一、实验原理 1.最小二乘法在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。设单输入-单输出线性定长系统的差分方程为 (5.1.1) 式中:为随机干扰；为理论上的输出值。只有通过观测才能得到，在观测过程中往往附加有随机干扰。的观测值可表示为 (5.1.2) 式中:为随机干扰。由式(5.1.2)得 (5.1.3) 将式(5.1.3)带入式(5.1.1)得 (5.1.4) 我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。设 (5.1.5) 则式(5.1.4)可写成 (5.1.6) 在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。假定是不相关随机序列(实际上是相关随机序列)。现分别测出个随机输入值，则可写成个方程，即上述个方程可写成向量-矩阵形式 (5.1.7) 设则式(5.1.7)可写为

(5.1.8) 式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出 (5.1.9) 如果噪声，则 (5.1.10) 从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。可用最小二乘法来求的估值，以下讨论最小二乘法估计。 2.最小二乘法估计算法设表示的最优估值，表示的最优估值，则有 (5.1.11) 写出式(5.1.11)的某一行，则有 (5.1.12) 设表示与之差，即 - (5.1.13)式中成为残差。把分别代入式(5.1.13)可得残差。设则有 (5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数 (5.1.15) 为最小来确定估值。求对的偏导数并令其等于0可得 (5.1.16) (5.1.17)