递推最小二乘辨识分解
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
递推最小二乘估计及模型阶次辨识
实验二 递推最小二乘估计(RLS)及模型阶次辨识(F-Test ）1 实验方案设计1.1 生成输入数据和噪声用M 序列作为辨识的输入信号，噪声采用标准正态分布的白噪声。
生成白噪声时，首先利用乘同余法生成U[0,1]均匀分布的随机数，再利用U[0,1]均匀分布的随机数生成标准正态分布的白噪声。
1.2 过程仿真辨识模型的形式取)()()()()(11k e k u z B k z z A +=--，为方便起见，取n n n b a == 即nn n n zb a b z b z B z a a a z a z A ------++++=++++=...1)(...1)(22112211用M 序列作为辨识的输入信号。
1.3 递推遗忘因子法数据长度L 取534，初值⎪⎪⎪⎩⎪⎪⎪⎨⎧⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==1000010000100001)0(001.0)0(P θ 1.4 计算损失函数、噪声标准差损失函数⎥⎦⎤⎢⎣⎡+---+-=μθμττ)()1()()]1(ˆ)()([)1()(2k h k P k h k k h k z k J k J噪声标准差θλdim )(ˆ-=L L J1.6 F-Test 定阶法计算模型阶次统计量t)22,2(~222)1()1()()1,(----++-=+n L F n L n J n J n J n n t其中，)(∙J 为相应阶次下的损失函数值，L 为所用的数据长度，n 为模型的估计阶次。
若a t n n t >+)1,(，拒绝00:n n H >，若a t n n t <+)1,(，接受00:n n H >，其中αt 为风险水平α下的阀值。
这时模型的阶次估计值可取1+n 。
1.6 计算噪信比和性能指标噪信比22ye σση= 参数估计平方相对偏差i i i ni i i θθθθθδˆ~,~1221-=⎪⎪⎭⎫ ⎝⎛=∑= 参数估计平方根偏差ii i n i ini iθθθθθδˆ~,)()~(2122122-==∑∑== 2 编程说明M 序列中，M 序列循环周期取15124=-=p N ，时钟节拍t ∆=1Sec ，幅度1=a ，特征多项式为1)(56⊕⊕=s s s F 。
应用最小二乘一次完成法和递推最小二乘法算法地系统辨识
1最小二乘法的理论基础1.1最小二乘法设单输入单输出线性定长系统的差分方程表示为：其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N 个方程，写成向量－矩阵形式()()()()()()()()1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------++-++-+L L ()()()()()()()()()()()()()()()()()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y N u n N u N a n a n b n N b ξξξ+--+⎡⎤⎡⎤⎢⎥⎢⎥+-+-+⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢⎥+-+--+⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦LLL L M M MMLL M M M(4.1.1)则式(1.1.1)可写为 （4.1.2）式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。
因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。
11y θφφξ--=-在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。
设 表示 θ 的估计值，ŷ表示y 的最优估计，则有 （4.1.3） 式中：()()()10ˆˆ1ˆˆ2ˆˆ,ˆˆˆn n ay n a y n y b y n N b θ⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦M M M ()()()()()()()()()()()()()()()()()()101122,,11112221n n a y n n y n a n y b y n N n N b y n y u n u y n y u n u y n N y N u n N u N ξξθξξφ⎡⎤⎢⎥++⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦--+⎡⎤⎢⎥-+-+⎢⎥=⎢⎥⎢⎥-+--+⎢⎥⎣⎦M M M M L LL L M MMLL y φθξ=+ˆθˆˆyθ=Φ设e(k)=y(k)- ŷ(k), e(k)称为残差，则有e=y- ŷ=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数（4.1.4）求Ｊ对 的偏导数并令其等于0可得：（4.1.5）由式（4.1.5）可得的 θ 最小二乘估计：（4.1.6）J 为极小值的充分条件是：即矩阵ΦT Φ为正定矩阵，或者说是非奇异的。
最小二乘类辨识算法
L
1 n
，则模型
计值为
zL H L nL 的参数估
ˆMV
(H
T L
1 n
H
L
)1
H
T L
Z 1
nL
相应的参数估计偏差的协方差为
cov{~MV
}
E{(H
T L
1 n
H
L
)1}
40
推论 2
若模型 zL H L nL 中的 nL 是零均值的白噪
声向量，且加权矩阵取 L I ，则参数估计偏
开始
产生输入信号 M 序列
一
产生输出信号 z（k）
般
最
小
给出样本矩阵 H m 和 Z m
二
乘
估计参数
参
数
辨
分离估计参数 a1 、 a2 、 b1 和 b2
识
流
画图：输入/输出信号和估计参数
程
图
结束
４.5 最小二乘参数估计值的统计性质
最小二乘参数估计值具有随机性，因此需要研究 它们的统计性质
1. 无偏性 2. 参数估计偏差的协方差性质 3．一致性 4. 有效性 5. 渐近正态性
第４ 章 最小二乘类参数辨识方法
1
主要内容
引言 最小二乘辨识算法 自适应辨识算法 偏差补偿最小二乘法 增广最小二乘算法 广义最小二乘法 辅助变量法 系统的结构辨识
2
４.1 引言
如果
仅仅关心所要辨识的过程输入输出特性 可以将所过程视为“黑箱” 而不考虑过程的内部机理
3
过程的“黑箱”结构
u(k) 和 z(k) 分别是过程的输入和输出 G(z 1 ) - 描述输入输出关系的模型，称为过程模型
最小二乘参数辨识方法及原理
2.2 一般最小二乘法原理及算法
z (k ) a i y (k i) bi u (k i) v (k )
i 1 i 1 n n
如果定义
h ( k ) [ y ( k 1), y ( k 2 ), , y ( k n ), u ( k 1), u ( k 2 ), , u ( k n )]
1 1 1
1 1 1
1
1
1
z1 1 1 ( z 1 z 2 ) 2 z2
r 1 0 0 1 1 4 r 1 1 1 1
2、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ( )
t1 R1
t2 R2
tN
1
tN RN
RN
1
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
y i R i v i 或 y i a bt v i
v i y i R i 或 v i＝ y i a bt i
常见做法：
太复杂 使
max | y i R i |
1 i N
N
最小 /* minimax problem */ 不可导，求解困难
使 |y
i 1
i
Ri |
最小
最小
使 |y
i 1
m
i
Ri |
H
2
1 1
r R 0
0 4r
递归最小二乘法辨识参数
递归最小二乘法辨识参数递归最小二乘法（Recursive Least Squares, RLS）是一种参数辨识方法，它使用递归算法来求解最小二乘法中的参数。
在许多领域中，例如系统辨识、自适应控制、信号处理等，递归最小二乘法都是一个广泛使用的方法。
递归最小二乘法的基本思想是：通过递归迭代来更新参数估计值，使其逼近最优解。
在递归过程中，每一次迭代时，都会通过当前的测量值来更新参数的估计值，同时保留历史测量值的影响，从而获得更精确的估计值。
具体地说，在递归过程中，首先需要定义一个初始参数向量，然后通过观测数据序列来递归更新参数向量。
假设有一个如下所示的线性关系：y(k) = Φ(k) * θ + v(k)其中，y(k)是被观测到的输出值，Φ(k)是与该输出值相关的输入向量，θ是待辨识的参数向量，v(k)是误差项。
递归最小二乘法的目标就是通过观测数据来估计θ的值。
在递归最小二乘法中，首先需要定义一个初始的参数向量θ0，然后通过数据序列递归地更新θ的值。
每一次迭代时，都会用最新的观测数据来更新参数向量，使得估计值更接近真实值。
具体来说，每次观测到新的数据之后，都会根据当前参数估计值和新的观测值来计算估计误差，并更新参数向量。
具体的迭代步骤如下：1.从数据序列中读取观测值y(k)和输入向量Φ(k)；2.计算估计值y(k)hat和估计误差e(k)：y(k)hat = Φ(k) * θ(k-1)e(k) = y(k) - y(k)hat3.计算卡尔曼增益K(k)和参数估计值θ(k)：K(k) = P(k-1) * Φ(k) / (λ + Φ(k)' * P(k-1) * Φ(k))θ(k) = θ(k-1) + K(k) * e(k)其中，P(k-1)是先前迭代步骤中的误差协方差矩阵，λ是一个小的正数，用于确保逆矩阵的存在性。
需要注意的是，递归最小二乘法的计算量相对较大，因此通常需要对算法进行优化，以提高计算效率和精度。
系统辨识方法之最小二乘法
综述最小二乘法的系统辨识姓名：费冬妹学号：2010108102 专业：控制理论与控制工程摘要：在研究一个控制系统过程中，建立系统的模型十分必要。
因此，系统辨识在控制系统的研究中起到了至关重要的作用。
本文主要介绍了系统辨识的最小二乘方法，最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。
其中系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法，阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义。
关键词：系统辨识、最小二乘法一、系统辨识的定义系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。
1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。
[1]最先提出了系统辨识的定义。
随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。
给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。
系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。
[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。
换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。
系统辨识的三要素：数据、模型类和准则。
系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。
[2]二、最小二乘法的引出最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。
我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。
最小二乘参数辨识方法及原理
N N N N R i t i2 R i t i t i i 1 i 1 i 1 a i 1 ˆ 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ 2 N N 2 N ti ti i 1 i 1
i 1
i
Ri |2
最小 测量误差的平方和最小
2.1 利用最小二乘法求模型参数
根据最小二乘的准则有
J min v i2
i 1 N
[ Ri ( a bt i )] 2
i 1
N
根据求极值的方法，对上式求导
N J 2 ( R i a bt i ) 0 a i 1 ˆ aa N J 2 ( R i a bt i )t i 0 b b bˆ i 1
n
y ( k ) a i y ( k i ) bi u ( k i )
i 1 i 1
2.2 一般最小二乘法原理及算法
v (k ) u (k ) G (z ) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
若考虑被辨识系统或观测信息中含有噪声
T
a1 a n b1 bn
V m v (1)
v ( 2) v ( m )
T
Z m H m V m
2.2 一般最小二乘法原理及算法
最小二乘的思想就是寻找一个 的估计值 ˆ ，使得各次测量
ˆ 的 Z i (i 1, m ) 与由估计 ˆ 确定的量测估计 Z i H iˆ 之差的平方
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ (k ) 的递推计算. 下面讨论参数估计值θ
由上一讲的一般LS估计式 该乘积为标量
ˆ (k ) (ΦΦ )-1 ΦY P(k )ΦY θ k k k k k k
有
ˆ (k ) ΦY (k ) P -1 (k )θ k
(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1
*下面讨论无加权因素时的一般LS法的递推算法的推导. 即将成批型算法化等效变换成如下所示的随时间演变递推 算法. 时不变SISO系统数学模型：A(z-1)y(k)=B(z-1)u(k)+e(k)
A( z ) 1 ai z
1 i 1
na
i
B( z ) bi z
1 i 1
P(k ) [P-1(k -1) (k ) (k )]-1
(3)
由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式 P (k ) P (k - 1) - P (k - ቤተ መጻሕፍቲ ባይዱ) (k )[1 (k )P (k - 1) (k )] 1
(k )P (k - 1) P (k - 1) (k ) (k ) I P (k - 1) 1 (k )P (k - 1) (k ) (5)
-1 [Φ Φ ( k ) ( k )] k -1 k -1
[P-1(k -1) (k ) (k )]-1
(3)
为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公 式(设A和C为可逆方阵) (A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 (4) 该公式可以证明如下:由于 (A+BCD)[A-1-A-1B(C-1+DA-1B)-1DA-1] =I-B(C-1+DA-1B)-1DA-1+BCDA-1 -BCDA-1B(C-1+DA-1B)-1DA-1 =I-B[I-C(C-1+DA-1B)+CDA-1B](C-1+DA-1B)-1DA-1 =I 因此,矩阵反演公式(4)成立.
1.2递推算法的思想 * 递推辨识算法的思想可以概括成 新的参数估计值=旧的参数估计值+修正项 即新的递推参数估计值是在旧的递推估计值的基础上 而成，这就是递推的概念. 递推算法不仅可减少计算量和存储量 ,而且能实现在线 实时辨识. * 递推算法是依时间顺序,每获得一次新的观测数据就 修正一次参数估计值,随着时间的推移,便能获得满意的 辨识结果. RLS法即为成批型LS算法的递推化，即将成批型LS算 法化成依时间顺序递推计算即可。 该工作是1950年由Plackett完成的。
常规最小二乘辨识的递推算法
主要内容
1.思想及原理 2.matlab仿真 3.应用
1.递推最小二乘法的思想及原理
1.1递推最小二乘法的引入 *最小二乘一次完成算法的缺陷 （1）数据量越多，系统参数估计的精度就越高，为了获得满 意的辨识结果，矩阵的阶数 T 常常取得相当大。这样矩阵 求逆的计算量很大，存储量也很大。 （2）每增加一次观测量，都必须重新计算 ，（ T）-1。 （3）如果出现列相关，既不满秩的情况， T 为病态矩阵 ，则不能得到最小二乘估计值。
即
利用公式
ˆ (k ) ΦY (k ) P -1 (k )θ k
ˆ (k ) P(k )[Φ (k -1)][Y (k -1) y(k )] θ k 1
P(k )[Φ k 1Y (k -1) (k -1) y(k )] ˆ (k -1) (k -1) y(k )] P(k )[P 1 (k -1)θ ˆ (k -1) (k -1) y(k )} P(k ){[P 1 (k ) - (k -1) (k -1)]θ
θ [-a1 , , - ana b1 , , bnb ]
1 θLS (Φ Φ ) Φ L L LYL
ˆ (k ) 和 θ ˆ ( k - 1) 设在k-1时刻和k时刻,系统的参数估计结果为 θ
首先,假定在第k-1次递推中,我们已计算好参数估计值 在第k次递推时,我们已获得新的观测数据向量(k-1)和 y(k),则记 Φ k-1=[(0), (1), ..., (k-2)]T Φ k=[(0), (1), ..., (k-1)]T=[φ (k-1)T φ (k-1)]T Yk-1=[y(1), y(2), ..., y(k-1)]T
P(k ) I -G(k) (k ) P(k -1)
(7) (8)
其中
ˆ (k -1) P(k ) (k -1)[ y(k ) - (k -1)θ ˆ (k -1)] θ
(6)
利用公式P(k)=[P-1(k-1)+(k-1)T(k-1)]-1
将式(5)和(6)整理可得如下RLS估计算法表示
ˆ (k ) θ ˆ (k -1) G (k )[ y (k )- (k )θ ˆ (k -1)] θ
T Yk=[y(1), y(2), ..., y(k)]T=[Yk y ( k )] 1
仔细考察上述LS法,可以知道,该算法进行递推化的关键是算法中的矩 阵求逆的递推计算问题. 因此,下面先讨论该逆矩阵的递推计算.
-1 P(k ) (Φ Φ ) k k
(2)
将Φ k展开,故有
-1 P(k ) ([Φ ( k )][ Φ ( k )] ) k -1 k -1
nb
i
已知系统的输入u(k)和输出y(k),求参数ai,bi的估计值。 可以得到向量形式的线性方程组： Y=+e Y=[y(1), y(2), ..., y(L)]T =[(0), (1), ..., (L-1)]T,
(k - 1) [ y (k - 1), , y (k - na ) u (k - 1), , u (k - nb )]