系统辨识各类最小二乘法汇总
最小二乘法在系统辨识中的应用(包含相关的三种算法)
但是，数据向量)(kfh中的变量均需要按照（3.2.2）式计算，然而噪声模型)(1zC并不知道。
为此需要用迭代的方法来估计)(1zC。
令)()(1z)(1kvCke（3.2.5）置,2[k],)()]3(),2(),1([)(31ccckekekekeபைடு நூலகம்h（3.2.6）就把噪声模型（3.2.5）也化成最小二乘格式)()()(kvkkeeeh由于上式的噪声已是白噪声，所以再次利用最小二乘法可获得噪声模型参数e的无偏估计。
通过极小化（1.1.4）式来计算的方法称作最小二乘法，未知模型参数最可能的值是在实际观测值与计算值之累次误差的平方和达到最小处所得到的，这种模型输出能最好地接近实际过程的输出。
2、辨识原理考虑模型（1.1.2）式的辨识问题，其中)(kz和)(kh都是可观测的数据，是待估计参数，准则函数取（1.1.4）根据（1.1.3）的定义，准则函数)(J可写成二次型的形式)()()(HzHzllllJ（1.2.1）显然上式中的Hl代表模型的输出，或者说是过程的输出预报值。
)()() 1()()()()()(1111kkkkkiikkihhPhhhhP（2.2.3）令：
] ) 1(),2 (z),1 (z[1kzkz则：
] )i()()[1()() 1(1111111ikkkkkzikkhPzHHH于是有i111)()() 1() 1(kizikkhP（2.2.4）令] )k(),2 (z),1 (z[zkz利用（2.2.3）和（2.2.4）式，可得)]1()()()[()() 1()}()() 1()]()()(){[()]()() 1() 1()[(] )i()()[()()(1111ikkkzkkkkzkkkkkkkzkkkkzikkkkkkkhhphhhPPhPPhPzHHH（2.2.5）引进增益矩阵)(kK，定义为)()()(kkkhPK（2.2.6）则（2.2.5）式写成)]1()()()[() 1()(kkkzkkkhK（2.2.7）进一步把（2.2.3）式写成11)]()() 1([)(kkkkhhPP（2.2.8）为了避免矩阵求逆运算，利用矩阵反演公式可将（2.2.8）式演变成) 1()]()([)]()() 1([)(11kkkkkkkPhKIhhPP（2.2.9）将（2.2.9）式代入（2.2.6）式，整理后有1] 1)() 1()()[() 1()(kkkkkkhPhhPK（2.2.10）综合（2.2.7）、（2.2.9）、（2.2.10）式便得到最小二乘参数估计递推算法。
系统辨识之最小二乘法
系统辨识之最小二乘法方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。
过程的输入输出关系可以描述成以下最小二乘格式：)()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k)是均值为0的随机噪声。
利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数：∑=-=Lk T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^θ，成为最小二乘估计值。
具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和)(1-Z B 的系数。
对于求解θ的估计值^θ，一般对模型的阶次a n ，b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式)()()(k n k h k z T +=θ （4）式中=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）L k ,,2,1 =因此结合式（4）（5）可以得到一个线性方程组L L L n H Z +=θ （6）其中==T L TL L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。
在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出：L T L L T L z H H H 1^)(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。
最小二乘法辨识
T 1 T T 1 T ˆ E [ θ ] E [ θ ( Φ Φ ) Φ ξ ] θ E [( Φ Φ ) Φ ξ ]
LS无偏估计的充要条件为：
E [( Φ Φ )
T 1
Φ
T
ξ] 0
下面讨论无偏估计的充分条件。
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
最小二乘的最早思想： 未知量的最大可能的值是这样 一个数值，它是实际观测值和计算 值的差值的平方和达到最小的数值。
基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系 统的输入输出数据，估计出系统差分方程的各 项系数。 1.基于输入/输出数据的系统模型描述
SISO系统的差分方程为
x ( k ) a 1 x ( k 1) a n x ( k n ) b 0 u ( k ) b n u ( k n ) y (k ) x(k ) n(k )
(k ) n(k )
a n(k i)
i i 1
n
则当前输出为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
ˆ min J
下面我们推导θ估计值的计算方法。
J取得最小值，也即J为极值，则有：
J ˆ θ
0
ˆ T ˆ [ (Y Φ θ ) (Y Φ θ ) ] ˆ θ
0
T ˆ 2 Φ (Y Φ θ ) 0
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
控制系统设计中的模型鉴别方法综述
控制系统设计中的模型鉴别方法综述在控制系统设计中，模型鉴别方法是一项关键性工作。
模型鉴别方法可以帮助工程师准确地识别出待控系统的数学模型，为后续的控制器设计和性能优化提供基础。
本文将对控制系统设计中常用的模型鉴别方法进行综述。
一、最小二乘法最小二乘法是一种常见的模型鉴别方法，它通过最小化误差的平方和来拟合实际测量数据和理论模型之间的差异。
最小二乘法可以用于线性和非线性模型的鉴别。
对于线性模型，最小二乘法可以通过矩阵运算求解最优解。
而对于非线性模型，最小二乘法可以通过迭代优化算法求解。
二、频域方法频域方法是一种将系统响应与频率特性相关联的模型鉴别方法。
它通常基于输入和输出信号的频谱分析，可以用于连续时间和离散时间系统。
频域方法可以采用傅里叶变换、拉普拉斯变换等数学工具，通过求解传递函数或频率响应函数来获得系统模型。
频域方法适用于具有周期性输入和输出信号的系统。
三、时域方法时域方法是一种将系统响应与时间域特性相关联的模型鉴别方法。
它通常基于实际采集到的离散时间数据，通过插值、拟合等技术来获得离散时间系统的模型。
时域方法可以采用多项式插值、曲线拟合等数学工具，通过建立系统差分方程或状态空间模型来进行模型鉴别。
时域方法适用于实际工程中获得的离散时间数据。
四、系统辨识方法系统辨识方法是一种通过试验数据来识别系统动态特性的模型鉴别方法。
它可以通过对系统施加特定的输入信号，观测系统输出响应来获得系统模型。
系统辨识方法可以分为参数辨识和非参数辨识两种方法。
参数辨识方法假设系统具有某种结构，通过最小化残差的平方和来确定模型参数。
非参数辨识方法不对系统结构进行假设，通过直接拟合试验数据来获得系统模型。
五、神经网络方法神经网络方法是一种基于人工神经网络的模型鉴别方法。
它可以通过输入输出数据训练神经网络，从而获得系统的模型。
神经网络方法可以适用于非线性系统的建模和鉴别。
神经网络方法具有较强的自适应能力和非线性拟合能力，但对于网络结构和训练样本的选择具有一定的要求。
第六章 最小二乘类参数辨识方法
《系统辨识基础》第20讲要点第6章 最小二乘类参数辨识方法6.1 引言最小二乘法是一种最基本的辨识方法，但如果模型的噪声不是白噪声，最小二乘法不一定能给出无偏、一致估计。
以下着重讨论模型噪声是有色噪声时的各种最小二乘辨识方法。
6.2 增广最小二乘法 6.2.1 增广最小二乘原理 考虑如下模型A z z kB z u k N z v k ()()()()()()---=+111式中u (k )和z (k ) 分别为模型输入和输出变量；v (k ) 是均值为零、方差为σv 2的不相关随机噪声或称白噪声；N z ()-1为噪声模型；A z ()-1 和B z ()-1为迟延算子多项式，记作A z a z a z a zB z b z b z b z n n n n a ab b()()--------=++++=+++⎧⎨⎪⎩⎪11122111221 其中n a 和n b 为模型阶次。
为了运用最小二乘原理来辨识这种模型的参数，需要把模型(4-1)式写成最小二乘格式)()()(k v k k z +=θτh这样就必须把噪声模型的参数包含在参数向量θ 中，从而引出增广概念，用来构造模型的参数向量θ和数据向量h(k )，具体的构成形式会因噪声模型的结构不同而不同。
下面是三种不同噪声模型的向量构成方法：① 若N z D z d z d z d z n n dd()()==++++----111221 ，可按下式构成参数向量和数据向量：⎪⎪⎩⎪⎪⎨⎧--------+==--------=∑∑∑===)(ˆ)1(ˆ)()1(ˆ)()1(ˆ)()(ˆ],,,,,,,,[)](ˆ,),1(ˆ),(,),1(),(,),1([)(111111i k v k d i k u k b i k z k a k z k v d d b b a a n k v k v n k u k u n k z k z k db a d b a n i i n i i n i i n n n d b a ττθ h② 若N z C zc zc zc zn n c c()()==++++----11111122，参数向量和数据向量的构成形式为：⎪⎪⎩⎪⎪⎨⎧-----+==----------=∑∑==)()1(ˆ)()1(ˆ)()(ˆ],,,,,,,,[)](ˆ,),1(ˆ),(,),1(),(,),1([)(11111i k u k b i k z k a k z k e c c b b a a n k e k e n k u k u n k z k z k ba cb a n i i n i i n n nc ba ττθ h③ 若N z D z C zd z d z d z c zc zc zn n n n d dc c()()()==++++++++--------111122112211 ，参数向量和数据向量的构成形式为：⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-----+=-----+==------------=∑∑∑∑====)()1(ˆ)()1(ˆ)()(ˆ)(ˆ)1(ˆ)(ˆ)1(ˆ)(ˆ)(ˆ],,,,,,,,,,,[)](ˆ,),1(ˆ),(ˆ,),1(ˆ),(,),1(),(,),1([)(11111111i k u k b i k z k a k z k e i k v k d i k e k c k e k v d d c c b b a a n k v k v n k e k e n k u k u n k z k z k b a dc cc b a n i i n i i n i i n i i n n n nd c b a ττθ h以上这种构成参数向量和数据向量的思想就是所谓的增广原理，它是增广最小二乘法的根本。
4-第三章-辨识方法-2-最小二乘法
——第三章辨识方法
2 最小二乘法
1
清华大学电机系
辨识技术
辨识技术
()
*
lim k k α
α
→∞
=辨识技术
远离最小值点
接近最小值点
最速下降法
高斯牛顿法
清华大学电机系
辨识技术
42
2
三种算法的比较
y
香蕉函数最小化问题：
f (x ) = 100 ( X 2–X 12)2+ ( 1 –X 1)2
高斯-牛顿法：11次迭代
最速下降法：60次迭代
阻尼最小二乘法：18次迭代
清华大学电机系
辨识技术
43
例：非线性函数的参数辨识
x
C e
C x f ⋅⋅=21)(高斯-牛顿法：80次迭代
最速下降法：401次依然未收敛
阻尼最小二乘法：10次迭代
真值C * = [5.420136187 -0.25436189]
当x m = [ 1 2 3 4 5 ]时
测量值：f m (x ) = [ 4.20 3.25 2.52 1.95 1.51 ]f *(x ) = [ 4.202834 3.258924 2.527006 1.959469 1.519394 ]
真值
清华大学电机系
辨识技术
清华大学电机系辨识技术
清华大学电机系辨识技术
辨识技术
稳态电路。
最小二乘参数辨识方法
《系统辨识基础》第17讲要点第5章 最小二乘参数辨识方法5.9 最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。
5.10 最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P (k )； ⑥ 设法防止协方差阵P (k )趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。
也就是说，当选择⎩⎨⎧=-≠-∞=0)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法⎪⎪⎩⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及 ()θε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。
系统辨识—最小二乘法_3
---------------------------------------------------------------最新资料推荐------------------------------------------------------系统辨识—最小二乘法最小二乘法参数辨识 1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。
现代控制理论中的一个分支。
通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。
对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。
对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。
而系统辨识所研究的问题恰好是这些问题的逆问题。
通常，预先给定一个模型类={M}（即给定一类已知结构的模型），一类输入信号 u 和等价准则 J=L(y，yM)(一般情况下，J 是误差函数，是过程输出 y 和模型输出 yM 的一个泛函)；然后选择使误差函数J 达到最小的模型，作为辨识所要求的结果。
系统辨识包括两个方面：结构辨识和参数估计。
在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。
2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使1 / 17用模型的目的是至关重要的。
它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。
通过辨识建立数学模型通常有四个目的。
①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。
这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。
②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。
用于系统分析的仿真模型要求能真实反映系统的特性。
系统辨识—最小二乘法汇总
最小二乘法参数辨识201403027摘要:系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法.阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义.关键词:最小二乘法;系统辨识;动态系统Abstract: System identification in engineering is widely used, system identification methods there are many ways， least squares method is a very wide range of application of system identification method and the least squares method elaborated establish a dynamic system models in System Identification applications and examples analyzed by the least squares method is applied to illustrate the importance of system identification.Keywords: Least Squares; system identification; dynamic system引言随着科学技术的不断发展,人们认识自然、利用自然的能力越来越强,对于未知对象的探索也越来越深入.我们所研究的对象,可以依据对其了解的程度分为三种类型:白箱、灰箱和黑箱.如果我们对于研究对象的内部结构、内部机制了解很深入的话,这样的研究对象通常称之为“白箱”;而有的研究对象,我们对于其内部结构、机制只了解一部分,对于其内部运行规律并不十分清楚,这样的研究对象通常称之为“灰箱”;如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话,则把这样的研究对象称之为“黑箱”.研究灰箱和黑箱时,将研究的对象看作是一个系统,通过建立该系统的模型,对模型参数进行辨识来确定该系统的运行规律.对于动态系统辨识的方法有很多,但其中应用最广泛,辨识效果良好的就是最小二乘辨识方法,研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义.1．1 系统辨识简介系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
yk(k)=1.5*yk(k-1)-0.7*yk(k-2)+uk(k-1)+0.5*uk(k-2)+y1(k); end figure(3); plot(yk); title('对应输出曲线');
theta=[0;0;0;0]; p=10^6*eye(4);
9
for t=3:N h=([-yk(t-1);-yk(t-2);uk(t-1);uk(t-2)]); x=1+h'*p*h; p=(p-p*h*1/x*h'*p); theta=theta+p*h*(yk(t)-h'*theta);
12
p=(p-p*h*1/x*h'*p); theta=theta+p*h*(yk(t)-h'*theta);
a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); d1t(t)=theta(5); d2t(t)=theta(6);
end 5、RGLS 试验程序（部分） for t=3:N
he=([-e(t-1);-e(t-2)]); xe=1+he'*pe*he; pe=(pe-pe*he*1/xe*he'*pe); thete=thete+pe*he*(e(t)-he'*thete);
c1t(t)=thete(1); c2t(t)=thete(2);
7
RELS： 当噪声模型： e k = D Z −1 ∗ v k ( v(k) 为白噪声 )时，我们采用增广最 小二乘方法。能辨识出参数（包括噪声参数）的无偏估计。 RGLS： 当噪声模型： e k =
1 C （z −1 ）
∗ v k ( v(k) 为白噪声 )时，我们采用广义最
小二乘方法。能辨识出参数（包括噪声参数）的无偏估计。 RIV： 当不确定参数模型时，我们可以直接采用 RIV 模型得到参数的无偏一致估 计。
6
图 5-1 RIV 有色噪声时参数估计变化曲线
从图中可以看出，RIV 算法对有色噪声的情况，也能给出参数的无偏估计， 其结果与 RLS（图 1-2）比较可以看出区别。 六、总结 RLS： 当噪声模型是有色噪声时，最小二乘参数估计不是你无偏、一致估计。而且 随着数据的增长，最小二乘法出现数据饱和现象，以致算法慢慢失去修正能力。 RFF.RFM： RFF 很简单，在老数据加上遗忘因子以降低老数据提供的信息量，增加新数 据的信息量，RFM 就比较特殊，其限定有效数据的长度 L，即始终只有长度 L 的 数据在影响参数估计，可以从根本上解决数据饱和现象 RCLS： 当噪声是有色噪声时， 我们提出偏差补偿最小二乘法，在算法中每次都减去 这个偏差量，使得最后的结果能够逼近真值。但却不适合噪声为白噪声的时候。
1
图 1-2 RLS 有色噪声时参数估计变化曲线
从图中可以很明显的看出，当噪声变成有色噪声时，RLS 算法是有偏的，始 终不能得出参数的真值， 而且可以看出随着数据的增多，算法对参数的修正能力 明显下降，到最后参数值几乎不变，这说明 RLS 算法进入了数据饱和状态。
二、 遗忘因子法和限定记忆法
这两种算法（RFF,RFM）是基于 RLS 的数据饱和现象而提出来的一种辨识算 法。 RFF 很简单，在老数据加上遗忘因子以降低老数据提供的信息量，增加新数 据的信息量。仅仅在 RLS 算法内部加入遗忘因子系数，这里因为篇幅有限，不给 出其程序以及最后的参数变化曲线。 RFM 就比较特殊，其限定有效数据的长度 L，即始终只有长度 L 的数据在影 响参数估计， 可以从根本上解决数据饱和现象。下面是其实验的参数估计变化曲 线。
3
图 3-1 RCLS 有色噪声时的参数变化曲线
图 3-2 RCLS 白噪声时的参数估计曲线
从图中可以很清楚的看出，RCLS 可以对有色噪声情况下，对参数进行无偏
4
一致估计， 但是在白噪声的情况下， 却不能得到无偏估计， 其原因上面也提到了， 这里就不在赘述了。 四、增广最小二乘和广义最小二乘 针对不同的有色噪声模型， 我们用不同的辨识方法，并能顺带求出噪声的模 型模型， 通过扩充参数向量和数据向量的维数， 把噪声模型的辨识同时考虑进去。 当噪声模型： e k = D Z −1 ∗ v k ( v(k) 为白噪声 )时，我们采用增广最 小二乘方法。其实验结果如下，其程序见附录。
一、最小二乘法 最小二乘法具有两个缺陷： 1、当噪声模型是有色噪声时，最小二乘参数估计不是你无偏、一致估计。 2、随着数据的增长，最小二乘法出现数据饱和现象，以致算法慢慢失去修 正能力。 下面是其分别在白噪声和有色噪声时的参数估计曲线。 最小二乘的程序见附 录。
图 1-1 RLS 白噪声时参数估计变化曲线
图 4-1 RELS 参数估计曲线
当噪声模型： e k =
1 C （z −1 ）
∗ v k ( v(k) 为白噪声 )时，我们采用广义最
小二乘方法。其实验结果如下，其程序见附录。
5
图 4-2 RGLS 参数估计曲线
从上图可以看出，针对不同的参数模型，RELS 和 RGLS 分别能发挥不同的 作用， 并且给出参数的无偏一致估计， 并顺带求出了噪声参数， 其辨识结果良好， 符合要求. 五、辅助变量法 在有些问题中， 我们并不能事先知道参数的模型，而且我们也不需要求出噪 声参数，这时普通的 RLS 算法已经不能满足我们的要求，我们提出了辅助变量 法，RIV。下图给出其实验结果，具体程序见附录。
七、附录 1、RLS 实验程序： clc clear
% y1=randn(1,2500); % y1=y1/std(y1); % y1=y1-mean(y1); % a=0; % b=sqrt(0.1); % y1=a+b*y1; % figure(1); % plot(y1); % title('高斯白噪声');
%迭代计算 （ls 算法）
a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4);
end
theta t=1:N; figure(4); plot(t,a1t(t),t,-1.5,t,a2t(t),t,0.7,t,b1t(t),t,1,t,b2t(t),t,0.5); title('参数变化曲线'); text(300,-1.5,'a1'); text(300,0.7,'a2'); text(300,1,'b1'); text(300,0.5,'b2');
10
%绘制参数变化曲线
2、RFM 实验程序（部分） 只给出算法更改部分： for s=3:100; h=([yk(s-1);yk(s-2);uk(s-1);uk(s-2)]); p=p-p*h*(inv(1+h'*p*h))*h'*p; theta=theta+p*h*(yk(s)-h'*theta); end s for t=3:N-100 m=s+t; h=([yk(m-1);yk(m-2);uk(m-1);uk(m-2)]); p=p-p*h*(inv(1+h'*p*h))*h'*p; theta=theta+p*h*(yk(m)-h'*theta); h=([yk(t-1);yk(t-2);uk(t-1);uk(t-2)]); p=p+p*h*(inv(1-h'*p*h))*h'*p; theta=theta+p*h*(yk(t)-h'*theta);
最小二乘方法的总结与比较
Y30150638 控制二班 王思明（作业二） 最小二乘法大约是 1795 年高斯在他那著名的星体运动轨迹研究工作中提出 来的。后来，最小二乘法就成了理论的奠基石。由于最小二乘原理简单，编程程 序也不困难，所以它颇受人们重视，应用相当广泛。最小二乘的基本结果有两种 形式，一种是经典的一次完成算法，另一种是现代的递推算法。本次作业只讨论 递推算法和其他扩展的最小二乘方法比较。
%产生高斯白噪声
8
for i=1:2500 y1(i)=1; end
%产生有色噪声
N=400; uk=rand(1,N); for i=1:N uk(i)=uk(i)*(-1)^(i-1); end figure(2); plot(uk); title('随机输入曲线'); %产生随机输入
yk=zeros(1,N); for k=3:N %定义输出
a1t(t)=thetc(1); a2t(t)=thetc(2); b1t(t)=thetc(3); b2t(t)=thetc(4);
end 4、RELS 实验程序（部分） for t=3:N h=([-yk(t-1);-yk(t-2);uk(t-1);uk(t-2);y1(t-1);y1(t-2)]); x=1+h'*p*h;
a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4);
end 6、RIV 试验程序（部分） for t=5:N hx=([-yk(t-3);-yk(t-4);uk(t-1);uk(t-2)]); h=([-yk(t-1);-yk(t-2);uk(t-1);uk(t-2)]); x=1+h'*p*hx; p=(p-p*hx*1/x*h'*p); theta=theta+p*hx*(yk(t)-h'*theta);
a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4);
end 3、RCLS 实验程序（部分） theta=[0;0;0;0];