《系统辨识第三章》PPT课件
合集下载
《系统辨识》Ppt01-2016-09-24
2004.10– 2006.03–2006.05 2006.12–2007.02 2008.05–2008.12 2009.01–2009.10
江南大学“太湖学者”特聘教授、 硕士生导师、 博士生导师 香港科技大学研究员, 中国香港 加拿大渥太华 卡尔顿大学 (Carleton University)研究员 加拿大渥太华 卡尔顿大学(Carleton University)访问教授 加拿大多伦多 瑞尔森大学 (Ryerson University)研究员 数学建模; 系统辨识; 参数估计; 过程控制
令矩阵范数 X
t
2
:= tr[XX T]. 定义二次损失函数
J (θ ) :=
j =1
[y (j ) − ϕT(j )θ ]2 = (Yt − Htθ )T(Yt − Htθ ) = Yt − Htθ 2,
T = −2Ht (Yt − Htθ ) T ˆ (t) = H TYt. Ht)θ = 0. =⇒ (Ht t
Ht−1 T = Ht Ht−1 + ϕ(t)ϕT(t) T − 1 ϕ (t) (5)
= P −1(t − 1) + ϕ(t)ϕT(t), ˆ (t) = (H THt)−1H TYt = P (t)H TYt = P (t)[H T Yt−1 + ϕ(t)y (t)] θ t t t t−1
T = P (t)[P −1(t − 1)P (t − 1)Ht −1 Yt−1 + ϕ(t)y (t)]
系统:
y (t) + a1y (t − 1) + a2y (t − 2) + · · · + any (t − n) = b1u(t − 1) + b2u(t − 2) + · · · + bnu(t − n) + v (t). (2)
03系统辨识及其在软测量技术中的应用
3.2.1 一般最小二乘法
• 最小二乘求解：
最小二乘估计是在残差平方和准则函数极小意思下的最优 估计，即按照准则函数： 来确定估计值 。求J对 的偏导数并令其等于0，得：
即：
上式称为正则方程，当 计值：
非奇异时，可得最小二乘估
3.2.2 加权最小二乘法
• 如果准则函数取为加权函数，即：
其中
称为加权因子，对所有的k，
• 系统辨识是一种建立和确定模型的方法
模型是关于实际过程的本质的部分信息缩减成有用的 描述形式，是一种按照过程所作的近似描述
◆ ◆
建立数学模型的方法： - 机理建模法（白箱）
- 实验测试法（黑箱）——系统辨识
- 机理建模与实验测试相结合的方法（灰箱）
3.1.1 系统辨识的定义
• 系统辨识的定义（Zadeh1962）：
◆
3.1.3 系统辨识方法分类
• 不同辨识目的对模型和辨识的要求：
3.1.4 数学模型的分类
• 数学模型的分类方法有很多，通过对数学模型的分类， 有助于按照具体的应用目的确定一个合适的模型：
◆ ◆ ◆ ◆
从概率的角度分：确定性模型、随机性模型
按模型与时间的关系分：静态模型、动态模型
按时间刻度分：连续时间模型、离散时间模型 按参数与时间的关系分：定常模型、时变模型
◆
3.1.3 系统辨识方法分类
• 在线辨识和离线辨识：
离线辨识要求被辨识对象从整个系统中分离出来，然 后将大量的输入输出数据存储起来，并按照一定的辨识 算法进行数据处理。
◆
在线辨识通常不需要给被辨识对象施加特殊的输入， 而直接利用实际运行条件下被辨识对象的输入输出信息， 它不需要存储从过去到现在的全部输入输出信息，而是 在某个初始估计下启动，然后按照递推算法，随着新信 息的不断获得而不断修正估计值。
《系统辨识》课件
曲线逐渐上升到稳态值： y() const
可采用结构：
y(t)
G(s) K
y( )
Ts1
待估参数为：K，T
稳态增益： K y()
U0
将试验曲线标么化，即
y(t), y(t)
y()
t
y()1
26
第二章 过渡响应法和频率响应法
则标么化后响应：
y(t)
t
1e T
要确定 T ，只要一对观测数据：y*(t1)，t1
G(s)T2s2K 2T s1es
先观察试验所得响应曲线的形状特征，据此判断，从模型类中确 定一种结构。然后进行参数估计，最后验证数据拟合程度，反复 多次，直至误差e(t)最小（验证数据拟合可只取若干点）。
25
第二章 过渡响应法和频率响应法
1）若阶跃响应曲线特征为： y (0 )my a (t)x ]0 [
理论建模的难点在于对有关学科知识及实际经验的掌 握，故不属于课程的讨论范围。
➢ 由于许多系统的机理和所处的环境越来越复杂，因 此，理论建模法的运用亦越来越困难，其局限性越 来越大, 需要建立新的建模方法。
➢ 在理论建模方法难以进行或难以达到要求的情况下，
系统辨识建模方法就幸运而生。
8
2、辨识建模法：
建立数学模型来预报。
4
第一章 概 述
2. 用于分析实际系统 工程上在分析一个新系统时，通常先进行数学仿真， 仿真的前提必须有数学模型。
3. 为了设计控制系统 目前,对被控系统的控制器的设计方法的选取,以及如 何进行具体的控制结构和参数的设计都广泛依赖于对 被控系统的理解及所建立的被控系统数学模型。
对于线性系统，脉冲响应，阶跃响应和方波响应之间
是可以相互转换的。
可采用结构：
y(t)
G(s) K
y( )
Ts1
待估参数为：K，T
稳态增益： K y()
U0
将试验曲线标么化，即
y(t), y(t)
y()
t
y()1
26
第二章 过渡响应法和频率响应法
则标么化后响应：
y(t)
t
1e T
要确定 T ，只要一对观测数据：y*(t1)，t1
G(s)T2s2K 2T s1es
先观察试验所得响应曲线的形状特征，据此判断，从模型类中确 定一种结构。然后进行参数估计，最后验证数据拟合程度，反复 多次，直至误差e(t)最小（验证数据拟合可只取若干点）。
25
第二章 过渡响应法和频率响应法
1）若阶跃响应曲线特征为： y (0 )my a (t)x ]0 [
理论建模的难点在于对有关学科知识及实际经验的掌 握，故不属于课程的讨论范围。
➢ 由于许多系统的机理和所处的环境越来越复杂，因 此，理论建模法的运用亦越来越困难，其局限性越 来越大, 需要建立新的建模方法。
➢ 在理论建模方法难以进行或难以达到要求的情况下，
系统辨识建模方法就幸运而生。
8
2、辨识建模法：
建立数学模型来预报。
4
第一章 概 述
2. 用于分析实际系统 工程上在分析一个新系统时，通常先进行数学仿真， 仿真的前提必须有数学模型。
3. 为了设计控制系统 目前,对被控系统的控制器的设计方法的选取,以及如 何进行具体的控制结构和参数的设计都广泛依赖于对 被控系统的理解及所建立的被控系统数学模型。
对于线性系统，脉冲响应，阶跃响应和方波响应之间
是可以相互转换的。
《系统辨识》课件
脉冲响应法
总结词
脉冲响应法是一种通过输入和输出数据 估计系统脉冲响应的非参数方法。
VS
详细描述
脉冲响应法利用系统对单位脉冲函数的响 应来估计系统的动态特性。通过观察系统 对脉冲输入的输出，可以提取出系统的传 递函数。这种方法同样适用于线性时不变 系统，且不需要知道系统的具体数学模型 。
随机输入响应法
。
线性系统模型具有叠加性和齐次性，即 多个输入产生的输出等于各自输入产生 的输出的叠加，且相同输入产生的输出
与输入的倍数关系保持不变。
线性系统模型可以通过频域法和时域法 进行辨识，频域法主要通过频率响应函 数进行辨识，时域法则通过输入和输出
数据直接计算系统参数。
非线性系统模型
非线性系统模型具有非叠加性和非齐次性，即多个输 入产生的输出不等于各自输入产生的输出的叠加，且 相同输入产生的输出与输入的倍数关系不保持不变。
递归最小二乘法
递归最小二乘法是一种在线参数估计方法，通过递归地更新参数估计值来处理动态系统。在系统辨识中，递归最小二乘法常 用于实时估计系统的参数。
递归最小二乘法的优点是能够实时处理动态数据，且对数据量较大的情况有较好的性能表现。但其对初始参数估计值敏感， 且容易陷入局部最优解。
广义最小二乘法
广义最小二乘法是一种改进的最小二乘法，通过考虑误差的 方差和协方差来估计参数。在系统辨识中，广义最小二乘法 常用于处理相关性和异方差性问题。
系统辨识
目录
• 系统辨识简介 • 系统模型 • 参数估计方法 • 非参数估计方法 • 系统辨识的局限性与挑战 • 系统辨识的应用案例
01
系统辨识简介
定义与概念
定义
系统辨识是根据系统的输入和输出数 据来估计系统动态特性的过程。
201110第三讲系统辨识建模法课件
如果所确定的系统模型合适，则辨识结束。否则，改变系统的验 前模型结构，重新执行辨识过程，即执行第（4）步至第（8）步，直 到获得一个满意的模型为止。
19
系统辨识的基本方法和步骤
系统辨识中常用的误差准则
辨识有3个要素---数据、模型类和准则。辨识就是按 照一个准则在一组模型类中选择一个与数据拟合得最好的模 型。
持续激励：输入信号必须充分激励系统的所有模态；
输入信号的选择应能使给定问题的辨识模型精度最高。
在具体工程应用中，选择输入信号还应考虑以下因素： （1）输入信号的功率或幅值不宜过大，以免使系统工作 在非线性区，但也不应过小，以致信噪比太小，直接影响 辨识精度； （2）输入信号对系统的“净扰动”要小，即应使正负向 扰动机会几乎均等； （3）工程上要便于实现，成本25 低。
理想阶跃信号
理想阶跃信号：实际上阶跃信号具有上升空间成为带斜坡的阶跃 信号，数学上定义的阶跃信号上升空间为零，称为理想阶跃信号。
ut
0,t 1,t
0 0
理想阶跃信号的频谱：
Ujj1
幅频： 如图所示
U(j) 1( / ),, 00
2 带斜坡的阶跃信号
t/, t
x1(t)
1,
t
带斜坡的阶跃信号
9
（3）系统设计和控制 在工程设计中，必须掌握系统中所包括的所有部件的特性或者子
系统的特性，一项完善的设计，必须使系统各部件的特性与系统的总 体设计要求（如产量指标、误差、稳定性、安全性和可靠性等）相适 应。为此，需要建立数学模型，在设计中分析、考察系统各部分的特 性以及各部分之间的相互作用和它们对总体系统特性的影响。
辨识问题可以归结为用一个模型来表示客观系统(或将要 构造的系统)本质特征的一种演算，并用这个模型把对客观系统 的理解表示成有用的形式。
19
系统辨识的基本方法和步骤
系统辨识中常用的误差准则
辨识有3个要素---数据、模型类和准则。辨识就是按 照一个准则在一组模型类中选择一个与数据拟合得最好的模 型。
持续激励：输入信号必须充分激励系统的所有模态；
输入信号的选择应能使给定问题的辨识模型精度最高。
在具体工程应用中，选择输入信号还应考虑以下因素： （1）输入信号的功率或幅值不宜过大，以免使系统工作 在非线性区，但也不应过小，以致信噪比太小，直接影响 辨识精度； （2）输入信号对系统的“净扰动”要小，即应使正负向 扰动机会几乎均等； （3）工程上要便于实现，成本25 低。
理想阶跃信号
理想阶跃信号：实际上阶跃信号具有上升空间成为带斜坡的阶跃 信号，数学上定义的阶跃信号上升空间为零，称为理想阶跃信号。
ut
0,t 1,t
0 0
理想阶跃信号的频谱：
Ujj1
幅频： 如图所示
U(j) 1( / ),, 00
2 带斜坡的阶跃信号
t/, t
x1(t)
1,
t
带斜坡的阶跃信号
9
（3）系统设计和控制 在工程设计中，必须掌握系统中所包括的所有部件的特性或者子
系统的特性，一项完善的设计，必须使系统各部件的特性与系统的总 体设计要求（如产量指标、误差、稳定性、安全性和可靠性等）相适 应。为此，需要建立数学模型，在设计中分析、考察系统各部分的特 性以及各部分之间的相互作用和它们对总体系统特性的影响。
辨识问题可以归结为用一个模型来表示客观系统(或将要 构造的系统)本质特征的一种演算，并用这个模型把对客观系统 的理解表示成有用的形式。
系统辨识课件方崇智
e
ˆ (假设的数学关系) f
系统的 实际输 出
(1)数学模型
• 数学模型和真实系统的区别
不可测干扰 可测 输入
u, d , f z
可测 输出
可测 输入
e
综合误差
ˆ (假设的数学关系) f
ˆ , e拟合u, z关系 u, z f
可测 输出
(1)数学模型
• 数学模型的两类形式及其用途
可测 输入
第6章 模型阶次辨识 内 容：Hankel矩阵法、F-Test定阶法。
第7章 系统辨识在实际中注意的问题
参考书：
1.方崇智、萧德云编著，《过程辨识》，清华大学出版社，北京 2.李言俊，张科编著，《系统辨识理论及应用》，国防工业出版社，北京 3.蔡季冰编著，《系统辨识》，北京理工大学出版社，北京
预修课程：自动控制原理，概率统计与随机过程
e
综合误差
可测 输出 •系统分析 •系统设计
ˆ (假设的数学关系) f
ˆ f
•预测(预测控制) •性能监测与故障诊断 •仿真
ˆ z
•在线估计和软测量 •模型评价与系统辨识
(1)数学模型
• 数学模型的近似性和外特性等价
u u
d f
e ˆ f u
z
近似性
ˆ f
ˆ z
d
u u
从黑箱角度出 发,外特性等价 (统计意义)
(1)设计辨识实验，获取实验数据
数据集是辨识的三要素之一
min J fˆ , K ( z (1)
z ( L), u(1)
u( L), )
数据集性质→影响辨识结果，u →数据集，因 此要设计辨识实验(重点设计u)
(1)设计辨识实验，获取实验数据
系统辨识与参数估计ppt课件
The obstacle using Modern Control Theory in practice : It is not easy to obtain a mathematic model of dynamic process, thus the theory deviates from the practice. 实际应用中的障碍：数学模型并不容易获得，造成理论与实际脱节
Selection of model structure: A suitable model structure is chosen using prior knowledge and trial and error. 模型结构：根据先验知识和试凑确定模型的结构。
Choice of the criterion to fit: A suitable cost function is chosen, which reflects how well the model fits the experimental data. 最优准则：选择能反应模型对实验数据拟合程度的目标函数。
Chapter 3 System Identification and Parameter Estimation
第三章 系统辨识与参数估计
3.1 Introduction 概述
3.1.1 What is the Model of Dynamic System? 什么是模型？
Theory model and experiment model 理论模型与实验模型
实验建模的特点：整体性、可用机理模型弥补（互补）
1
Chapter 3 System Identification and Parameter Estimation
Selection of model structure: A suitable model structure is chosen using prior knowledge and trial and error. 模型结构：根据先验知识和试凑确定模型的结构。
Choice of the criterion to fit: A suitable cost function is chosen, which reflects how well the model fits the experimental data. 最优准则：选择能反应模型对实验数据拟合程度的目标函数。
Chapter 3 System Identification and Parameter Estimation
第三章 系统辨识与参数估计
3.1 Introduction 概述
3.1.1 What is the Model of Dynamic System? 什么是模型？
Theory model and experiment model 理论模型与实验模型
实验建模的特点：整体性、可用机理模型弥补（互补）
1
Chapter 3 System Identification and Parameter Estimation
系统辨识第3讲
《系统辨识》第3讲要点第2章 随机信号的描述与分析2.5 白噪声及其产生方法（Why and How ？）2.5.1 白噪声的概念（Why ）● 白噪声过程（一系列不相关的随机变量组成的理想化随机过程）相关函数：)()(2τδστ=W R 谱密度：+∞<<∞-=ωσω2)(W S● 近似白噪声过程谱密度：⎩⎨⎧>≤=002,0,)(ωωωωσωW S （0ω为给定的远大于过程的截止频率）相关函数：τωτωπωστ0002sin )(⋅=W R ● 讨论白噪声时，还要涉及到白噪声的概率分布，服从正态分布的白噪声称为高斯白噪声。
n 维白噪声：一个n 维随机过程)(t W 满足：⎩⎨⎧=+=+=)()}()({)}(),({0)}({τδττQ t W t W E t W t W Cov t W E 其中Q 为正定常数矩阵，则称)(t W 为n 维白噪声过程。
● 白噪声序列白噪声序列是白噪声过程的离散形式。
如果序列)}({k W 满足： 相关函数： ,2,1,0,)(2±±==l l R l W δσ 则称为白噪声序列。
谱密度：2)()(σωω==∑∞-∞=-l l j WW e l RS2.5.2 表示定理与成形滤波器● 表示定理（某些特定的有色噪声可以由白噪声输入线性系统而生成） 设平稳噪声序列)}({k e 的谱密度)(ωe S 是ω的实函数，或是ωcos 的有理函数，那么必定存在一个渐近稳定的线性环节，使得如果环节的输入是白噪声序列，则环节的输出是谱密度为)(ωe S 的平稳噪声序列)}({k e 。
● 成形滤波器表示定理中所涉及到的线性环节称为成型滤波器。
白噪声)(k w)(k e可以证明：如果)}({k e 的谱密度)(ωe S 是ωcos 的有理函数，那么一定存在一个成型滤波器，它的脉冲传递函数为：d d c c n n n n z d z d z c z c z C z D z H -------++++++== 111111111)()()( 且)(),(11--z D z C 的根都在z 平面的单位圆内。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆLS
h
10
三、最小二乘估计 的求法
⒈ ˆLS 解法
ˆLS
由最小二乘辨识定义，求 的：
ˆLS
必要条件:
J ()
0
ˆLS
充分条件:
2 J ()
0 及
2
ˆ LS
J ()
0
ˆLS
Y
J()T ( Y )T(Y ) Y T Y T T Y Y T T T
h
11
由 于是得：
由充分条件:
2J() 2
2T0
与参数向量 无关。 θ
h
12
⒉ 解ˆL的S 唯一性
因 阵行数大于列数，T为 2n2方n阵。若 存 (T)1
在，则 T必ˆLS正定；反之，若 T 正定，则逆 必 (T)1
存在。因此， 必有解，且满足充分条件
2 J ( ) 2
0
与 无关，所以ˆLS解唯一。
h
13
⒊最小二乘法所需信息量与持续激励条件
☆ 3-6 适应最小二乘法
h
3
第三章 最小二乘辨识
用来进行系统参数辨识的最小二乘法，是一种经典的数据处理方法，最早的应用可追 溯到18世纪，高斯为了提高天体运动观测的准确性，曾应用了最小二乘法。
本章将介绍一般最小二乘法、加权最小二乘法、递推最小二乘法以及广义最小二乘法 等内容。
由于最小二乘法比较简单实用，而且又可与其他辨识方法相组合，因此最小二乘辨识 是一种基本的、重要的辨识方法。
表示为:
Y(N) Y Ub a(N,)
bn0
(N)(N, )
h
8
Y(N) Y Ub a(N,)
(N)(N,)
其中： Y(N)( 测R 量(向N量n) ，1)1
(测量
R (N n 1)2n
矩阵)， R2n1为参数向量，而
Y R ( N n 1 ) n , U R ( N n 1 ) n , a R n 1 , b R n 1 , ( ,) N R ( N n 1 ) 1
(T 求解)1 。 H变换ˆ是LS一种不用求逆的 解法。
ˆLS
⒈ H变换阵Q的定义
设
Q R 方(N 阵n ， 1 I为)(Nn 1 维) 单位阵，
h
4
§3-1 最小二乘法
一、最小二乘辨识方程
用最小二乘辨识技术辨识系统的数字模型的原理方块图如下：
被辨识系统
测量装置
D/A
u(k )
计算机
（最小二乘辨识 算法)
h数学模型
A/D
y(k )
5
被辨识系统
测量装置
D/A
A/D
u(k) 计 算 机
（最小二乘辨识算法)
数学模型
设被辨识系统的脉冲传递函数为
y(k )
UU YT TY Y
YTU UTU
由正定矩阵性质：T0，必须保证
UTU 0
——n阶持续激励条件
若输入序列u(k)采用随机序列或M序列，则满足 UTU；0
若输入序列u(k)采用常值序列，则 UTU奇异，不满足持
续激励条件。
h
15
例3-1 已知模型方程如下：
f(t)12t
测量值及测量时刻见下表
t(秒) 2
b10u(k1)b20u(k2) bn0u(kn)e(k,)
n
n
aiy(ki)biu(ki)e(k,)
i1
i1
式中，e(k,)称为方程误差，为模型参数向量；若令 0代 表真实参数向量，显然有
e(k,0)v(k) （观测误差）
h
7
令 kn,n1, ,（N数据窗口长度），如下矩阵方程成立：
aa1200
G (z)1 b 1 a 0 1 z 0 z 1 h 1 b 2 a 0 2 z 0 z 2 2 b n a 0n z0 z n nu y 6 ( (z z) )
则当存在观测误差 v (k )及建模误差时，相应的差分方程：
y(k)a10y(k1)a20y(k2) an0y(kn)
J () 2 T Y2 T ˆLS 0
TˆLSTY
——最小二乘的法方程
R ( N n 1 ) 2 n T R 2 n 2 n
如果 阵行数>列数,即
,且 满(N 秩 , n1)2n T
即 ran ( k T )2n则 (T存在),故1 解法为: ˆLS
ˆLS( T )1 TY
系统辨识基础
h
1
系统辨识
☆第一章 模型方法与辨识 ☆第二章 脉冲响应辨识 ☆第三章 最小二乘辨识 ☆第四章 极大似然辨识 ☆第五章 时间序列建模与随机逼近辨识 ☆第六章 模型阶次的辨识 ☆第七章 闭环系统辨识
h
2
第三章 最小二乘辨识
☆ 前言 ☆ 3-1 最小二乘法 ☆ 3-2 加权最小二乘法 ☆ 3-3 递推最小二乘法 ☆ 3-4 辅助变量法 ☆ 3-5 广义最小二乘法
y(n) y(n1) y(n2) y(0) u(n1) u(n2) u(0) e(n,)
y(n1) y(n)
y(N)
y(N1)
y(n1) y(1)
y(N2) y(Nn)
u(n) u(N1)
u(n1)
u(N2)
u(N u(1)n)abb12n000ee(n(N ,1,))
为向量方程误差.
h
9
二、最小二乘辨识定义 对于最小二乘辨识方程
Y (N ) (N ) (N ,)
寻求一个真实参数向量 的估计值 ，使表示0 方程误差平方和的ˆ性能指标
N
J()T (N , ) (N , ) e2(k, ) k n
取极小，则称 是最小二乘ˆ意义下， 的估值，表示为 。 0
2 4 5 8
5.47
1 9
T
1 2
1 4
1 5
1 8
1 9
T258 129800,
(T)1 1166 12980
28
5
ˆLS(T)1TY10..04095883
f(t)1.00580.49h 8t3
17
四、病态法方程的H(Householder)变换求解
法方程：
TˆLSTY
若参数众多，法方程常是病态的，不宜采用求逆
⑴信息量需求：
为保证 N n 12 n ，数据窗口N的取值应满足：
N3n1
其中n为被辨识系统的阶数。且需要 N个输入信息：u (0 )u ,(1 ) ,,u (N 1 ) (N+1)个输出(测量)信息：y(0 )y ,(1 ) , y(N )
h
14
⑵持续激励条件
ˆLS 有解 T0
Y U
TU YT TY
4
589
y(k) 2.01 2.98 3.50 5.02 5.47
试求 及 1 的最小二2乘估计 .
ˆLS
解：可按如下步骤求解
⑴信息量检验
N 5 , n 1 , 3 n 1 2 N 3 n S
ˆ
ˆˆ12
,
2.01 2.98 Y 3.50 , 5.02
1 1 1 1
h
10
三、最小二乘估计 的求法
⒈ ˆLS 解法
ˆLS
由最小二乘辨识定义，求 的：
ˆLS
必要条件:
J ()
0
ˆLS
充分条件:
2 J ()
0 及
2
ˆ LS
J ()
0
ˆLS
Y
J()T ( Y )T(Y ) Y T Y T T Y Y T T T
h
11
由 于是得：
由充分条件:
2J() 2
2T0
与参数向量 无关。 θ
h
12
⒉ 解ˆL的S 唯一性
因 阵行数大于列数，T为 2n2方n阵。若 存 (T)1
在，则 T必ˆLS正定；反之，若 T 正定，则逆 必 (T)1
存在。因此， 必有解，且满足充分条件
2 J ( ) 2
0
与 无关，所以ˆLS解唯一。
h
13
⒊最小二乘法所需信息量与持续激励条件
☆ 3-6 适应最小二乘法
h
3
第三章 最小二乘辨识
用来进行系统参数辨识的最小二乘法，是一种经典的数据处理方法，最早的应用可追 溯到18世纪，高斯为了提高天体运动观测的准确性，曾应用了最小二乘法。
本章将介绍一般最小二乘法、加权最小二乘法、递推最小二乘法以及广义最小二乘法 等内容。
由于最小二乘法比较简单实用，而且又可与其他辨识方法相组合，因此最小二乘辨识 是一种基本的、重要的辨识方法。
表示为:
Y(N) Y Ub a(N,)
bn0
(N)(N, )
h
8
Y(N) Y Ub a(N,)
(N)(N,)
其中： Y(N)( 测R 量(向N量n) ，1)1
(测量
R (N n 1)2n
矩阵)， R2n1为参数向量，而
Y R ( N n 1 ) n , U R ( N n 1 ) n , a R n 1 , b R n 1 , ( ,) N R ( N n 1 ) 1
(T 求解)1 。 H变换ˆ是LS一种不用求逆的 解法。
ˆLS
⒈ H变换阵Q的定义
设
Q R 方(N 阵n ， 1 I为)(Nn 1 维) 单位阵，
h
4
§3-1 最小二乘法
一、最小二乘辨识方程
用最小二乘辨识技术辨识系统的数字模型的原理方块图如下：
被辨识系统
测量装置
D/A
u(k )
计算机
（最小二乘辨识 算法)
h数学模型
A/D
y(k )
5
被辨识系统
测量装置
D/A
A/D
u(k) 计 算 机
（最小二乘辨识算法)
数学模型
设被辨识系统的脉冲传递函数为
y(k )
UU YT TY Y
YTU UTU
由正定矩阵性质：T0，必须保证
UTU 0
——n阶持续激励条件
若输入序列u(k)采用随机序列或M序列，则满足 UTU；0
若输入序列u(k)采用常值序列，则 UTU奇异，不满足持
续激励条件。
h
15
例3-1 已知模型方程如下：
f(t)12t
测量值及测量时刻见下表
t(秒) 2
b10u(k1)b20u(k2) bn0u(kn)e(k,)
n
n
aiy(ki)biu(ki)e(k,)
i1
i1
式中，e(k,)称为方程误差，为模型参数向量；若令 0代 表真实参数向量，显然有
e(k,0)v(k) （观测误差）
h
7
令 kn,n1, ,（N数据窗口长度），如下矩阵方程成立：
aa1200
G (z)1 b 1 a 0 1 z 0 z 1 h 1 b 2 a 0 2 z 0 z 2 2 b n a 0n z0 z n nu y 6 ( (z z) )
则当存在观测误差 v (k )及建模误差时，相应的差分方程：
y(k)a10y(k1)a20y(k2) an0y(kn)
J () 2 T Y2 T ˆLS 0
TˆLSTY
——最小二乘的法方程
R ( N n 1 ) 2 n T R 2 n 2 n
如果 阵行数>列数,即
,且 满(N 秩 , n1)2n T
即 ran ( k T )2n则 (T存在),故1 解法为: ˆLS
ˆLS( T )1 TY
系统辨识基础
h
1
系统辨识
☆第一章 模型方法与辨识 ☆第二章 脉冲响应辨识 ☆第三章 最小二乘辨识 ☆第四章 极大似然辨识 ☆第五章 时间序列建模与随机逼近辨识 ☆第六章 模型阶次的辨识 ☆第七章 闭环系统辨识
h
2
第三章 最小二乘辨识
☆ 前言 ☆ 3-1 最小二乘法 ☆ 3-2 加权最小二乘法 ☆ 3-3 递推最小二乘法 ☆ 3-4 辅助变量法 ☆ 3-5 广义最小二乘法
y(n) y(n1) y(n2) y(0) u(n1) u(n2) u(0) e(n,)
y(n1) y(n)
y(N)
y(N1)
y(n1) y(1)
y(N2) y(Nn)
u(n) u(N1)
u(n1)
u(N2)
u(N u(1)n)abb12n000ee(n(N ,1,))
为向量方程误差.
h
9
二、最小二乘辨识定义 对于最小二乘辨识方程
Y (N ) (N ) (N ,)
寻求一个真实参数向量 的估计值 ，使表示0 方程误差平方和的ˆ性能指标
N
J()T (N , ) (N , ) e2(k, ) k n
取极小，则称 是最小二乘ˆ意义下， 的估值，表示为 。 0
2 4 5 8
5.47
1 9
T
1 2
1 4
1 5
1 8
1 9
T258 129800,
(T)1 1166 12980
28
5
ˆLS(T)1TY10..04095883
f(t)1.00580.49h 8t3
17
四、病态法方程的H(Householder)变换求解
法方程：
TˆLSTY
若参数众多，法方程常是病态的，不宜采用求逆
⑴信息量需求：
为保证 N n 12 n ，数据窗口N的取值应满足：
N3n1
其中n为被辨识系统的阶数。且需要 N个输入信息：u (0 )u ,(1 ) ,,u (N 1 ) (N+1)个输出(测量)信息：y(0 )y ,(1 ) , y(N )
h
14
⑵持续激励条件
ˆLS 有解 T0
Y U
TU YT TY
4
589
y(k) 2.01 2.98 3.50 5.02 5.47
试求 及 1 的最小二2乘估计 .
ˆLS
解：可按如下步骤求解
⑴信息量检验
N 5 , n 1 , 3 n 1 2 N 3 n S
ˆ
ˆˆ12
,
2.01 2.98 Y 3.50 , 5.02
1 1 1 1