最小二乘参数辨识方法及原理共103页
各类最小二乘算法
β N −1 H* = N 0
β N −2
β 2( N −1) WN = 0
β 2( N −2)
0 ⋱ 1
三、递推算法 ∵
k θ(k ) = ∑ β i =1
∧
2(k −i) h (i )h T (i )
2随着采样次数的增多数据量不断增加ls估计有可能出现所谓的数据饱和现象导致递推算法不能接近参数真二关于数据饱和现象的分析所谓数据饱和现象就是随着时间的推移采集到的数据越来越多新数据所提供的信息被淹没在老数据的海洋之中
Ⅴ 各种最小二乘类参数辨识算法 §1 概 述
最小二乘类参数辨识算法（一次完成算法、递推算法） 最小二乘类参数辨识算法 （一次完成算法 、 递推算法 ） 是一种 最基本和常用的参数估计方法。但研究和应用表明， 最基本和常用的参数估计方法。 但研究和应用表明， 这一算 法仍存在明显的不足。 法仍存在明显的不足。 一、LS 算法的主要不足之处 1、当模型噪声为有色噪声时，LS 估计不再是无偏估计、一致 、当模型噪声为有色噪声时， 估计不再是无偏估计、 估计。 估计。 2、随着采样次数的增多，数据量不断增加，LS估计有可能出 、随着采样次数的增多，数据量不断增加， 估计有可能出 现所谓的“数据饱和”现象， 现所谓的“数据饱和”现象，导致递推算法不能接近参数真 值。
于是有： 于是有：
α P ( k ) P − 1 ( k − 1) = I − P ( k ) h ( k ) h T ( k )
则：
ˆ θ ( k ) = P ( k ) H * T Z * = P ( k ) α H * −1T Z * −1 + h ( k ) z ( k ) k k k k
最小二乘辨识
[a1 a2 an b1 b2 bn ]T
则应有
（10）
y(k ) ai y(k i) bi u (k i) e(k , )
i 1 i 1
n
n
（11）
并定义其中e (k,θ）为方程误差.在这种情况下,方程的误差 项除了噪声v(k)误差外,还应包括由于模型参数θ不等于真实参 数θ0而引起的误差.显然有 e(k , 0 ) v(k ) （12）
Y T Y T T Y Y T T T
2014/12/28 第4章 最小二乘辨识方法
（23）
16
将式(23)代入式(20),可得
2 Y 2 ls 0
T T
LS T Y
T
（24）
通常把式(24)称为最小二乘法的法方程(或称正则方程)
2014/12/28 第4章 最小二乘辨识方法 4
本章的主要内容有：
•基本最小二乘法 •加权最小二乘法 •递推最小二乘法 以最小二乘法为基础，并作了某些改进 的一些辨识方法，如： •辅助变量法 •广义最小二乘法 •相关函数——最小二乘相结合的辨识方法 •增广矩阵法 •限定记忆的最小二乘法等。
2014/12/28 第4章 最小二乘辨识方法 5
T (n i ) T (n i 1) ( N ) T (N I )
2014/12/28 第4章 最小二乘辨识方法
（ 8）
10
它们的维数分别为:
(k )
:2n×1;
:2n×1;
Y：(N-n+1)×1;
0
0
def J ( ) T ( N , ) ( N , ) T e 2 (k , )
第4章最小二乘类辨识算法 2 优质课件
4.0 引言
m次独立试验的数据
(t1, y1) (t2 , y2 )
t (tm , ym )
f (t) a a h (t) a h (t) a h (t)
0
11
22
nn
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预
言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
因 L 0
所以 J ( ) WLS min , ˆWLS 是唯一的 30
通过极小化（4.3.2）式
计算 ˆWLS 称为加权最小二乘法
取 L I
（4.3.9）
则（4.3.7）式变化成
ˆLS
(
H
T L
H
L
)1
H
T L
ห้องสมุดไป่ตู้ZL
L k 1
h(k
)hT
(k
)
（4.3.1）
(k) - 加权因子，对 k, (k) 0
如 (k) Lk 0 1
K=1 时 (1) L1 1 ，K=L时 (L) 1
体现对不同时刻的数据给予不同程度的信任
27
准则函数 J ( ) 可写成二次型形式
J ( ) (z L H L )T L (z L H L )
确定多项式 A(z 1 ) 和 B(z 1 ) 的系数
20
在最小二乘问题中，一般对模型作以下假设
首先，模型的阶次 na ， nb 已定
且一般 na nb
其次，将（4.1.4）模型写成最小二乘格式
z(k) hT (k) n(k)
系统辨识之最小二乘法
系统辨识之最小二乘法方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。
过程的输入输出关系可以描述成以下最小二乘格式：)()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k)是均值为0的随机噪声。
利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数：∑=-=Lk T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^θ，成为最小二乘估计值。
具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和)(1-Z B 的系数。
对于求解θ的估计值^θ，一般对模型的阶次a n ，b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式)()()(k n k h k z T +=θ （4）式中=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）L k ,,2,1 =因此结合式（4）（5）可以得到一个线性方程组L L L n H Z +=θ （6）其中==T L TL L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。
在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出：L T L L T L z H H H 1^)(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
最小二乘类辨识算法
L
1 n
，则模型
计值为
zL H L nL 的参数估
ˆMV
(H
T L
1 n
H
L
)1
H
T L
Z 1
nL
相应的参数估计偏差的协方差为
cov{~MV
}
E{(H
T L
1 n
H
L
)1}
40
推论 2
若模型 zL H L nL 中的 nL 是零均值的白噪
声向量，且加权矩阵取 L I ，则参数估计偏
开始
产生输入信号 M 序列
一
产生输出信号 z（k）
般
最
小
给出样本矩阵 H m 和 Z m
二
乘
估计参数
参
数
辨
分离估计参数 a1 、 a2 、 b1 和 b2
识
流
画图：输入/输出信号和估计参数
程
图
结束
４.5 最小二乘参数估计值的统计性质
最小二乘参数估计值具有随机性，因此需要研究 它们的统计性质
1. 无偏性 2. 参数估计偏差的协方差性质 3．一致性 4. 有效性 5. 渐近正态性
第４ 章 最小二乘类参数辨识方法
1
主要内容
引言 最小二乘辨识算法 自适应辨识算法 偏差补偿最小二乘法 增广最小二乘算法 广义最小二乘法 辅助变量法 系统的结构辨识
2
４.1 引言
如果
仅仅关心所要辨识的过程输入输出特性 可以将所过程视为“黑箱” 而不考虑过程的内部机理
3
过程的“黑箱”结构
u(k) 和 z(k) 分别是过程的输入和输出 G(z 1 ) - 描述输入输出关系的模型，称为过程模型
最小二乘法辨识参数
姓名：廖伟学号：201221014368 专业：控制工程增广型递推最小二乘法仿真第一种模型的仿真程序：%选择的模型结构（递推最小二乘法）：Y=Fai*theta+E%输入u为一个伪随机序列L=10;y1=1;y2=1;y3=1;y4=0;for i=1:L;x1=xor(y3,y4);x2=y1;x3=y2;x4=y3;y(i)=y4;if y(i)>0.5,u(i)=-0.1;else u(i)=0.1;endy1=x1;y2=x2;y3=x3;y4=x4;endv=randn(1,10);y(1)=0;y(2)=0;%设定输出的初始值y(0),y(1)theta0=[0.01;0;0.01;0;0.01];%给出待辨识参数的初始值P0=10^6*eye(5);%生成初始矩阵7x7的单位阵E=0.00005;%E为递推结束的条件%下面进行递推运算for k=3:10y(k)=1.5*y(k-1)-0.7*y(k-2)+1.0*u(k-1)+0.5*u(k-2)+v(k);%产生输出y Fai1=[-y(k-1) -y(k-2) u(k-1) u(k-2) v(k)]';%生成实测数据组Fai1K1=P0*Fai1/(1+Fai1'*P0*Fai1);theta1=theta0+K1*(y(k)-Fai1'*theta0);e1=theta1-theta0;%e2=e1/theta1;P1=P0-K1*Fai1'*P0;theta0=theta1;%供下次递推使用P0=P1;%供下次递推使用if abs(e1)<E,break;%循环结束条件endendtheta1辨识的参数的最后结果为：theta1 =-1.50000.70001.00000.50001.0000可以从结果看出，辨识的效果很好，基本没有误差。
第二种模型的仿真程序：%选择的模型结构（增广最小二乘法）：Y=Fai*theta+E %输入u为一个伪随机序列L=10;y1=1;y2=1;y3=1;y4=0;for i=1:L;x1=xor(y3,y4);x2=y1;x3=y2;x4=y3;y(i)=y4;if y(i)>0.5,u(i)=-0.1;else u(i)=0.1;endy1=x1;y2=x2;y3=x3;y4=x4;endv=randn(1,10);%噪声干扰随机数序列y(1)=0;y(2)=0;%设定输出的初始值y(0),y(1)theta0=[0.01;0;0.01;0;0.01;0;0];%给出待辨识参数的初始值P0=10^6*eye(7);%生成初始矩阵7x7的单位阵E=0.00005;%E为递推结束的条件%下面进行递推运算for k=3:10y(k)=1.5*y(k-1)-0.7*y(k-2)+1.0*u(k-1)+0.5*u(k-2)+v(k)-v(k-1)+0.2*v(k-2);%产生输出y Fai1=[-y(k-1) -y(k-2) u(k-1) u(k-2) v(k) v(k-1) v(k-2)]';%生成实测数据组Fai1K1=P0*Fai1/(1+Fai1'*P0*Fai1);theta1=theta0+K1*(y(k)-Fai1'*theta0);e1=theta1-theta0;%e2=e1/theta1;P1=P0-K1*Fai1'*P0;theta0=theta1;%供下次递推使用P0=P1;%供下次递推使用if abs(e1)<E,break;%循环结束条件endendtheta1辨识的参数最后结果为：-1.50.699990.998890.500191.0001-10.19991从辨识的结果看出，所得结果与真实的模型参数很接近，辨识效果也很好。
第四章最小二乘参数辨识方法及原理
yi Ri vi 或 yi a bt vi
vi yi Ri或vi＝yi a bti
第十四页，编辑于星期五：十九点 二十六分。
3利用最小二乘法求模型参数
根据最小二乘的准则有
N
N
J min vi2 [Ri (a bti )]2
i 1
i 1
根据求极值的方法，对上式求导
m
使 w(k) | z(k) y(k) |2 最小 k 1
第十三页，编辑于星期五：十九点 二十六分。
3、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C)
t1
R ()
R1
t2
t N 1
tN
R2
RN 1
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。
• 每次测量总是存在随机误差。
k v k aiv k i
i0
(4-5)
n
n
y k ai y k i biu k i (k )
i1
i0
(4-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
第二十三页，编辑于星期五：十九点 二十六分。
现在分别测出个 n N 输出值和输入值：y 1，y 2， ，y n N 及 u 1，u 2， ，u n N 。则可写出N个方程：
4.7 增广矩阵法（ELS/RELS）（增广最小二乘法）
4.8 多阶段最小二乘法（MSLS） 4.9 几种最小二乘类辨识算法的比较
第二页，编辑于星期五：十九点 二十六分。
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识
第七章—最小二乘参数辨识(II)
h ( k ) = [ − z ( k − 1),
aБайду номын сангаас
1、一次完成算法 ⎧ A( z
, − z ( k − na ), u ( k − 1),
b
A( z −1 ) z (k ) = B( z −1 )u (k ) + v(k )
−1
, u ( k − nb )]
T
θ = [a1 , , an , b1 , , bn ]T
限定记忆法的递推算法（RFM）
ˆ ˆ θ (k + 1, k + L) = θ (k , k + L) − K (k + 1, k + L)[ z (k ) − hT (k )θˆ(k , k + L)] K (k + 1, k + L) = P(k , k + L)h(k )[1 − hT (k ) P(k , k + L)h(k )]−1 P(k + 1, k + L) = ⎡ I + K (k + 1, k + L)hT (k ) ⎤ P(k , k + L) ⎣ ⎦ ˆ ˆ ˆ θ (k , k + L) = θ (k , k + L − 1) + K (k , k + L)[ z (k + L) − hT (k + L)θ (k , k + L − 1)] K (k , k + L) = P(k , k + L − 1)h(k + L)[1 + hT (k + L) P(k , k + L − 1)h(k + L)]−1 P(k , k + L) = ⎡ I − K (k , k + L)hT (k + L) ⎤ P(k , k + L − 1) ⎣ ⎦
过程辨识-最小二乘类参数
( (
)
)
得 当
(
ˆ = HTΛ z H Λ L H L θWLS L L L
T L
)
正定方程
T H L Λ L H L 是正则矩阵时，有
θˆ
WLS
= H ΛLHL
T L
(
)
−1
T H L Λ L zL
又
∂ J (θ ) ∂θ 2 θˆ
2
T = 2H L Λ L H L
WLS
因为
ΛL
是正定矩阵，故
2
T H L Λ L H L 也是正定矩阵，即
∂ J (θ ) ∂θ 2 θˆ
>0
WLS
ˆ 所以，解 θWLS 使得 J (θ ) θˆWLS = min 并且是唯一的。
称之为加权最小二乘法
若加权矩阵取 则
ΛL = I
T θˆLS = H L H L
(
)
−1
T H L zL
称为最小二乘估计，对应的方法称为最小二乘法。 例 假定模型的形式为 y 据,
过程辨识
-最小二乘类参数辨识方法
引
言
“黑箱”结构
v(k )
N z
( )
−1
n(k )
+
u (k )
G z −1
( )
+
z (k )
图5.1 SISO过程的“黑箱”结构
过程模型：
Gz
( )
−1
Bz = = −1 Az 1 + a1 z −1 + a2 z − 2 + ⋯ + ana z − na
( ) ( )
根据输入输出数据，极小化J，求参数a,b，使得J=min。 这就是所谓的最小二乘问题。