中科院研究生院信息工程学院课件系统辨识第六讲

《系统辨识》第6讲要点第4章 线性动态模型参数辨识－最小二乘法4.10.3 限定记忆法限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。

这种方法的参数估计递推算法如下：[][]⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-+++=++-++++-+=+-++-+++-+=++++=+++-+=+++-++-+=++--.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()],(ˆ)()()[,1(),(ˆ),1(ˆ11L k k L k L k k L k k L k L k k L k L k L k k L k k L k k L k L k z L k k L k k L k k L k k k L k k L k k k L k k k k L k k L k k L k k k k z L k k L k k L k k P h K P h P h h P K h K P h K P h P h h P K h K ττττττθθθθθθ-I +I 算法前三个式子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取P (,)(,),00002==⎧⎨⎩a I ,θε 其中a 为充分大实数，ε 为充分小实向量．相应的准则函数递推计算式为：],)()1,()(1)(~)(),()(1)(~)1,(),1(2221L k L k k L k L k z k L k k k k z L k k J L k k J +-++++++---+=++h P h h P h ττ其中⎪⎩⎪⎨⎧-++-+=++-=)1,(ˆ)()()(~),(ˆ)()()(~21L k k L k L k z L k z L k k k k z k z θθττh h 4.10.4 折息法折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法：⎪⎪⎪⎩⎪⎪⎪⎨⎧--=⎥⎦⎤⎢⎣⎡+--=--+-=-)1()]()([)(1)()()()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI μμΛ 折息因子与加权因子和遗忘因子之间的关系为ΓΛ(,)()()k i i j j i k==+∏μ1，当遗忘因子取常数时，折息因子又可表示成ΓΛ(,)()k i i k i =-μ。

折息法同时具备加权最小二乘法和遗忘因子法的作用，既可获得系统的平均特性，又具有时变跟踪能力。

4.10.5 协方差重调最小二乘法在辨识递推计算过程中，协方差矩阵P (k )衰减很快，此时算法的增益矩阵K (k )也急剧衰减。

这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P (k )，使算法始终保持较快的收敛速度。

这种协方差重调的最小二乘算法描述如下：[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1Tk k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττθθθI 当k k k k l ∉{,,,}12 时，P (k )按上式算法计算；当k k k k k i l =∈{,,,}12 时，把P (k )重调为P ()k a i i =I , 0<a min ≤≤<∞a a i max 。

4.10.6 协方差修正最小二乘法对时变系统辨识来说，为了防止矩阵P (k )趋于零，当参数估计值超过某阀值时，矩阵P (k )自动加上附加项Q , 具体算法如下：[]⎪⎪⎩⎪⎪⎨⎧≥+=--=+--=--+-=-0I Q Q P P P h K P h P h h P K h K ,)()()1()]()([)(1)()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k τττθθθ引言最小二乘法是一种最基本的辨识方法，但如果模型的噪声不是白噪声，最小二乘法不一定能给出无偏、一致估计。

以下着重讨论模型噪声是有色噪声时的各种最小二乘辨识方法。

4.11 增广最小二乘法 4.11.1 增广最小二乘原理 考虑如下模型A z z kB z u k N z v k ()()()()()()---=+111式中u (k )和z (k ) 分别为模型输入和输出变量；v (k ) 是均值为零、方差为σv 2的不相关随机噪声或称白噪声；N z ()-1为噪声模型；A z ()-1 和B z ()-1为迟延算子多项式，记作A z a z a z a zB z b z b z b z n nn n a ab b()()--------=++++=+++⎧⎨⎪⎩⎪11122111221 其中n a 和n b 为模型阶次。

为了运用最小二乘原理来辨识这种模型的参数，需要把模型(4-1)式写成最小二乘格式)()()(k v k k z +=θτh这样就必须把噪声模型的参数包含在参数向量θ 中，从而引出增广概念，用来构造参数向量θ 和数据向量h(k )，具体的构成形式会因噪声模型的结构不同而不同。

下面是三种不同噪声模型的向量构成方法： ① 若N z D z d z d z d z n n d d ()()==++++----111221 ，可按下式构成参数向量和数据向量：⎪⎪⎩⎪⎪⎨⎧--------+==--------=∑∑∑===)(ˆ)1(ˆ)()1(ˆ)()1(ˆ)()(ˆ],,,,,,,,[)](ˆ,),1(ˆ),(,),1(),(,),1([)(111111i k v k d i k u k b i k z k a k z k v d d b b a a n k v k v n k u k u n k z k z k d b a d b a n i i n i i n i i n n n d ba ττθ h ② 若N z C z c z c z c z n n c c()()==++++----11111122 ，参数向量和数据向量的构成形式为：⎪⎪⎩⎪⎪⎨⎧-----+==----------=∑∑==)()1(ˆ)()1(ˆ)()(ˆ],,,,,,,,[)](ˆ,),1(ˆ),(,),1(),(,),1([)(11111i k u k b i k z k a k z k e c c b b a a n k e k e n k u k u n k z k z k b a c b a n i i n i i n n n c ba ττθ h ③ 若N z D z C z d z d z d z c z c z c zn nn n d dc c()()()==++++++++--------111122112211 ，参数向量和数据向量的构成形式为：⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-----+=-----+==------------=∑∑∑∑====)()1(ˆ)()1(ˆ)()(ˆ)(ˆ)1(ˆ)(ˆ)1(ˆ)(ˆ)(ˆ],,,,,,,,,,,[)](ˆ,),1(ˆ),(ˆ,),1(ˆ),(,),1(),(,),1([)(11111111i k u k b i k z k a k z k e i k v k d i k e k c k e k v d d c c b b a a n k v k v n k e k e n k u k u n k z k z k b a d c cc b a n i i n i i n i i n i i n n n nd c b a ττθ h 以上这种构成参数向量和数据向量的思想就是所谓的增广原理，它是增广最小二乘法的根本。

4.11.2 增广最小二乘算法运用最小二乘原理，可导出如下的增广最小二乘批处理算法L L L L z H H H ττθ1ELS )(ˆ-= 式中⎪⎪⎪⎩⎪⎪⎪⎨⎧⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==)()2()1()](,),2(),1([L L z z z L L ττττh h h H z 又有如下与之对应的参数估计递推算法，记作RELS(Recursive ExtendedLeast Squares algorithm)：[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 式中数据向量h ()k 视不同的噪声模型可以具有不同的增广结构。

这种参数估计算法的实质，在于把噪声模型参数混在参数向量θ中一起进行辨识．就这种意义上说，称之为增广最小二乘法。

它是普通最小二乘法的一种推广，其递推形式和性质与普通最小二乘法完全相同。

优点是可用来解决有色噪声模型的辨识问题，但噪声模型部分本身的辨识并不一定是无偏、一致估计。

4.12 广义最小二乘法 4.12.1 批处理算法 考虑如下模型A z z kB z u kC z v k ()()()()()()---=+1111式中u (k )和z (k )分别为模型输入和输出变量；v (k )是均值为零、方差为σv2的白噪声；迟延算子多项式A z ()-1、B z ()-1和C z ()-1记作：A z a z a z a zB z b z b z b zC z c z c z c z n n n n n n a ab bc c()()()------------=++++=+++=++++⎧⎨⎪⎩⎪11122111221112211 其中n a 、n b 和 n c 为模型阶次．令e k C z v k ()()()=-11,且定义 ⎩⎨⎧------==ττθ)](,),1(),(,),1([)(],,,,,[11b a n n n k u k u n k z k z k b b a a b a h 则可写成如下的最小二乘格式：z H e L L L =+θ式中⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==τττττ)](,),2(),1([)()2()1()](,),2(),1([L e e e L L z z z L L L e h h h H z 为了获得模型参数的无偏、一致估计，可运用Markov 估计算法，获得如下的模型参数估计：L e L L e L z H H H 111GLS )(ˆ---=∑∑ττθ 其中∑e 为噪声向量e L 的协方差阵．根据噪声e (k )和v (k )之间的关系，可求得：()12-=C C τσv e ∑式中⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=10010111111111c c c c c c c c cc cn n nC 若令H CH z Cz f L f f ==, ，则算法可写成：f f f f z H H H ττθ1GLS )(ˆ-=如果噪声模型已知，则可直接估计出模型参数θ。