SIMO系统辅助变量最小二乘盲辨识方法
最小二乘法在系统辨识中的应用(包含相关的三种算法)
但是，数据向量)(kfh中的变量均需要按照（3.2.2）式计算，然而噪声模型)(1zC并不知道。
为此需要用迭代的方法来估计)(1zC。
令)()(1z)(1kvCke（3.2.5）置,2[k],)()]3(),2(),1([)(31ccckekekekeபைடு நூலகம்h（3.2.6）就把噪声模型（3.2.5）也化成最小二乘格式)()()(kvkkeeeh由于上式的噪声已是白噪声，所以再次利用最小二乘法可获得噪声模型参数e的无偏估计。
通过极小化（1.1.4）式来计算的方法称作最小二乘法，未知模型参数最可能的值是在实际观测值与计算值之累次误差的平方和达到最小处所得到的，这种模型输出能最好地接近实际过程的输出。
2、辨识原理考虑模型（1.1.2）式的辨识问题，其中)(kz和)(kh都是可观测的数据，是待估计参数，准则函数取（1.1.4）根据（1.1.3）的定义，准则函数)(J可写成二次型的形式)()()(HzHzllllJ（1.2.1）显然上式中的Hl代表模型的输出，或者说是过程的输出预报值。
)()() 1()()()()()(1111kkkkkiikkihhPhhhhP（2.2.3）令：
] ) 1(),2 (z),1 (z[1kzkz则：
] )i()()[1()() 1(1111111ikkkkkzikkhPzHHH于是有i111)()() 1() 1(kizikkhP（2.2.4）令] )k(),2 (z),1 (z[zkz利用（2.2.3）和（2.2.4）式，可得)]1()()()[()() 1()}()() 1()]()()(){[()]()() 1() 1()[(] )i()()[()()(1111ikkkzkkkkzkkkkkkkzkkkkzikkkkkkkhhphhhPPhPPhPzHHH（2.2.5）引进增益矩阵)(kK，定义为)()()(kkkhPK（2.2.6）则（2.2.5）式写成)]1()()()[() 1()(kkkzkkkhK（2.2.7）进一步把（2.2.3）式写成11)]()() 1([)(kkkkhhPP（2.2.8）为了避免矩阵求逆运算，利用矩阵反演公式可将（2.2.8）式演变成) 1()]()([)]()() 1([)(11kkkkkkkPhKIhhPP（2.2.9）将（2.2.9）式代入（2.2.6）式，整理后有1] 1)() 1()()[() 1()(kkkkkkhPhhPK（2.2.10）综合（2.2.7）、（2.2.9）、（2.2.10）式便得到最小二乘参数估计递推算法。
系统辨识之最小二乘法
系统辨识之最小二乘法方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。
过程的输入输出关系可以描述成以下最小二乘格式：)()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k)是均值为0的随机噪声。
利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数：∑=-=Lk T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^θ，成为最小二乘估计值。
具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和)(1-Z B 的系数。
对于求解θ的估计值^θ，一般对模型的阶次a n ，b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式)()()(k n k h k z T +=θ （4）式中=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）L k ,,2,1 =因此结合式（4）（5）可以得到一个线性方程组L L L n H Z +=θ （6）其中==T L TL L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。
在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出：L T L L T L z H H H 1^)(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。
最小二乘法辨识
T 1 T T 1 T ˆ E [ θ ] E [ θ ( Φ Φ ) Φ ξ ] θ E [( Φ Φ ) Φ ξ ]
LS无偏估计的充要条件为：
E [( Φ Φ )
T 1
Φ
T
ξ] 0
下面讨论无偏估计的充分条件。
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
最小二乘的最早思想： 未知量的最大可能的值是这样 一个数值，它是实际观测值和计算 值的差值的平方和达到最小的数值。
基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系 统的输入输出数据，估计出系统差分方程的各 项系数。 1.基于输入/输出数据的系统模型描述
SISO系统的差分方程为
x ( k ) a 1 x ( k 1) a n x ( k n ) b 0 u ( k ) b n u ( k n ) y (k ) x(k ) n(k )
(k ) n(k )
a n(k i)
i i 1
n
则当前输出为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
ˆ min J
下面我们推导θ估计值的计算方法。
J取得最小值，也即J为极值，则有：
J ˆ θ
0
ˆ T ˆ [ (Y Φ θ ) (Y Φ θ ) ] ˆ θ
0
T ˆ 2 Φ (Y Φ θ ) 0
辅助模型辨识方法(5)：最小二乘辨识
二乘辨识方 法、 最小二乘 迭代辨识方法 、 最小二乘递推辨识方法 、 牛
顿迭 代辨 识方 法 、 牛顿 递推辨 识 方法 ． 对 于线性 优 化 问题 ， 牛 顿辨 识方
法退化 为 最小 二乘 辨识 方法 ． 这些 方法 与新 近 提 出的辅 助 模 型辨 识思
关 键 词 参数 估 计； 递推 辨 识 ； 最 小二 乘 ； 关 键 项分 离； 辅 助模 型 辨 识 思 想 ； 多 新 息 辨 识理论 ； 递 阶辨 识 原理 ； 耦 合 辨识 概 念 ； 滤波辨识理念 ； 输 入 非 线 性 系统 ； 输 出 非
噪声干扰 的输入 非线性 有 限脉 冲响应 系 统， 研 究 了辅 助 模 型 最 小二 乘 辨 识 方 法 、 辅助模 型 多新 息最 小二 乘辨 识 方 法、 变 递推 间隔辅 助模 型 最 小二 乘辨 识 方 法、
变递 推 间 隔辅 助模 型 多 新 息 最 小 二 乘 辨
识方 法、 等递 推 间 隔辅 助模 型 多新 息 最 小二乘辨 识 方法 ， 以及 有 限数 据 窗最 小 二乘辨识方 法， 包括 引入 加 权 因 子 （ 加权 矩 阵） 、 遗 忘 因 子 得 到 的 一 些 相 应 辨 识
收稿 日期 ２ ０ １ ６ １ ０ — ０ ４
资助 项目 国家 自然 科学基 金 （ ６ １ ２ ７ ３ １ ９ ４ ） ； 江 苏省 自 然科学基金 （ Ｂ Ｋ ２ ０ １ ２ ５ ４ ９ ） ； 高等 学校学 科创新 引智 “ １ １ １ 计划” （ Ｂ １ ２ ０ １ ８ ）
作者 简 介 丁锋 ， 男， 博士 ， 教授 ， 博 士生导 师 ， 主要从
线 性 系统
想、 多新 息辨 识 理论 、 递 阶辨识 原 理 、 耦 合辨 识 概念 、 滤 波 辨识 理 念等 相结合 ， 便 形成 不胜 枚举 的辨 识 方法 ， 例如 ： １ ）辅 助 模 型 随 机梯 度 方 法、 辅 助 模 型 最 小 二乘 方 法 、 辅 助模 型 牛 顿 方 法 、 辅 助 模 型梯 度 迭 代 方法 、 辅助 模 型最小 二乘 迭 代 方 法 、 辅助 模 型 牛顿 迭 代 方 法 ； ２ ）多新 息 随机 梯 度方法 、 多 新息 最 小 二乘 方 法 、 多 新 息 牛顿 方 法 ； ３ ）递 阶 随 机 梯度 方 法 、 递 阶最 小 二乘 方 法 、 递 阶 牛顿 方法 、 递 阶梯度 迭代 方 法 、
系统辨识—最小二乘法
最小二乘法参数辨识1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。
现代控制理论中的一个分支。
通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。
对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。
对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。
而系统辨识所研究的问题恰好是这些问题的逆问题。
通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。
系统辨识包括两个方面：结构辨识和参数估计。
在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。
2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。
它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。
通过辨识建立数学模型通常有四个目的。
①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。
这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。
②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。
用于系统分析的仿真模型要求能真实反映系统的特性。
用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。
③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。
例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。
预测模型辨识的等价准则主要是使预测误差平方和最小。
第五章 最小二乘参数辨识方法 第十二讲
《系统辨识基础》第12讲要点第5章 最小二乘参数辨识方法5.1 辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类：① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：min )()ˆ(ˆ==∑=θθLk k J 12ε其中)(k ε代表模型输出与系统输出的偏差。
典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。
② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。
③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即)|()ˆ|(0m a xθθz p z p −−→−。
典型的方法是极大似然法。
5.2 最小二乘法的基本概念● 两种算法形式① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。
② 递推算法：在上次模型参数估计值)(ˆ1-k θ的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值)(ˆk θ，广泛采用的递推算法形式为() ()()()~()θθk k k k d z k =-+-1K h其中)(ˆk θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。
● 最小二乘原理定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数θτ)()}({k k z h =E其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数21])()([)(θθτ∑=-=Lk k k z J h达到极小的参数估计值θˆ称作θ的最小二乘估计。
● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θˆ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。
第四章最小二乘参数辨识方法及原理
yi Ri vi 或 yi a bt vi
vi yi Ri或vi＝yi a bti
第十四页，编辑于星期五：十九点 二十六分。
3利用最小二乘法求模型参数
根据最小二乘的准则有
N
N
J min vi2 [Ri (a bti )]2
i 1
i 1
根据求极值的方法，对上式求导
m
使 w(k) | z(k) y(k) |2 最小 k 1
第十三页，编辑于星期五：十九点 二十六分。
3、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C)
t1
R ()
R1
t2
t N 1
tN
R2
RN 1
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。
• 每次测量总是存在随机误差。
k v k aiv k i
i0
(4-5)
n
n
y k ai y k i biu k i (k )
i1
i0
(4-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
第二十三页，编辑于星期五：十九点 二十六分。
现在分别测出个 n N 输出值和输入值：y 1，y 2， ，y n N 及 u 1，u 2， ，u n N 。则可写出N个方程：
4.7 增广矩阵法（ELS/RELS）（增广最小二乘法）
4.8 多阶段最小二乘法（MSLS） 4.9 几种最小二乘类辨识算法的比较
第二页，编辑于星期五：十九点 二十六分。
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识
最小二乘参数辨识方法及原理
' ' ' f cy ( x, y) , f cy ( x, y) x , f cy ( x, y) y ] T ；
Y ( x, y ) ＝ f r ( x, y) f c ( x, y) ；
i 1 i 1 n n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
z ( k ) y ( k ) v( k )
z
1、问题的提出
v(k )
t (k )
G (k )
y (k )
z (k )
m次独立试验的数据
f (t )
(t1 , y1 ) (t2 , y2 )
t
(tm , ym )
z(k ) a0 a1h1 (k ) a2h2 (k ) an hn (k ) v(k )
2.1 利用最小二乘法求模型参数
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
零偏 标度因数 输出轴灵敏 度误差系数 二阶非线性 误差系数 摆轴灵敏度 误差系数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0 引 言
盲辨识是一种建立在系统输出数据的基础上 ,不直接 依靠系统的输入信号而估计系统参数的基本参数辨识方 法 。当系统的输入信号不可以获得或者要花费很大的代价 才能得到的时候 ,盲辨识就显得十分有用[1] 。
1 问题构成
考虑单输入多输出随机系统 ,如图 1 所示 ,其中 y( t) = [ y1 ( t) , y2 ( t) , …, ym ( t) ]T ∈ m 是系统的输出向量 ( T 表示 矩阵转置) , u ( t) ∈ 1 是系统的输入 , v( t) = [ v ( t) , v2 ( t) , …, vm ( t) ]T ∈ m 是互不相关的随机噪声向量 , Gi ( z) 是第 i 个系统的传递函数 ,是单位后移算子 z - 1 [ z - 1 u ( t) = u ( t 1) ]的 ni 次多项式 ,即
( Cont rol S cience and En gi neeri ng Research Center , J i an gnan Uni v . , W u x i 214122 , Chi na)
Abstract : As an important identification met hod , t he inst rumental variable met hod can give t he unbiased parameter estimation for systems wit h colored noises and unknown noise models. The key is how to choose t he inst rumental variables to generate t he inst rumental mat rices. In t he t raditional identificatio n app roaches wit h known inp ut signals , t he inst rumental variables/ mat rices are for med by using t he inp ut s , but for blind system identifcation , difficulty arises in t hat t he system inp ut s are unavailable. For single2inp ut , multi2inp ut systems , t his paper st udies t he corresponding blind identificatio n met hods using t he inst rumental variable technique. The basic idea is to identif y two co mbined subsystems simultaneously using t he o utp ut s of t he t hird subsystem as t he inst rumental variables/ mat rices and present s t he inst runmental variable least squares ( IVL S) blind identifica2 tion algorit hm and it s recur sive for m. The convergence of t he algorit hm is also analyzed. A simulation example is included.
收稿日期 :2007212205 ; 修回日期 :2008203201 。 基金项目 :国家自然科学基金 (60574051) ;江苏省自然科学基金 (B K2007017) ;江南大学创新团队发展计划资助课题 作者简介 :陈慧波 (19822) ,男 ,硕士研究生 ,主要研究方向为系统盲辨识方法 。E2mail :chpe2008 @so hu. co m
Gi ( z) = bi (0) + bi (1) z- 1 + bi (2) z- 2 + … + bi ( ni ) z- ni
图 1 单输入多输出系统
bi ( l) 是待辨识的系统参数 。由图 1 可得系统的输入输出关
系 :从输入 u( t) 到第 i 个输出 y i ( t) 有如下关系式
yi ( t) - vi ( t) = Gi ( z) u( t)
yj ( t) - vj ( t) = Gj ( z) u( t) 上述两式两端相除得
yi ( t) yj ( t) -
vi ( t) vj ( t)
=
Gi ( z) Gj ( z)
把上式两端十字相乘可得
Gi ( z) [ yj ( t) - vj ( t) ] = Gj ( z) [ yi ( t) - vi ( t) ] 根据移位算子的特性 ,上式可以转化为差分方程形式
ni
∑ 模) 为 1 ,即 b2i ( l) = 1 , 也可以假设传递函数 Gi ( z) 均为 l =0
首 1 多项式 ,即 bi (0) = 1 , i = 1 ,2 ,3 , …, m
本文采用最简单的后一种归一化假设 。对于任意 1 ≤i ,
j ≤m两个子系统 ( i ≠j) ,从式 (1) 可得
(江南大学控制科学与工程研究中心 , 江苏 无锡 214122)
摘 要 : 辅助变量辨识方法是一类重要的辨识方法 ,然而对于盲辨识 ,系统输入未知 ,辅助矩阵的选择就成了 难题 。针对盲辨识领域研究最多的单输入多输出 ( SIMO) 系统 ,利用辅助变量方法研究相应的盲辨识方法 ,其基 本思想是联立其中两个子系统进行辨识 ,利用其他子系统的输出来构造辅助矩阵 ,从而提出了辅助变量最小二乘 盲辨识方法 ,来获得系统参数估计 。还给出所提算法的递推形式 ,并进行了收敛性分析 。仿真例子验证了所提方 法的有效性 。
第 31 卷 第 4 期 2009 年 4 月
文章编号 :10012506X(2009) 0420905206
系统工程与电子技术 Systems Engineering and Elect ro nics
Vol. 31 No . 4 Apr. 2009
SIMO 系统辅助变量最小二乘盲辨识方法
陈慧波 , 丁 锋
bj (2) , …, bj ( nj ) ]T ∈ ni +nj
ni
∑ e( t) ∶= vj ( t) + bi ( l) vj ( t - l) -
入输出信号的统计特性 ,如概率分布 、均值 、方差 、相关性 等 ,对所得时间序列进行统计分析以辨识系统模型 。如二 阶矩统计方法 、高阶矩统计方法等[7211] 。通常 ,矩统计方法 效果较好 ,但是它需要预先知道未知输入信号的统计信息 (如信号方差) ,所以这在某些实际问题中 ,很难办到 。另 外 ,高阶统计量方法需要的样本多 ,运算量大 ,算法收敛慢 , 而二阶统计量方法虽然样本可以少一些 ,计算量小 ,可是稳 定性不好 ,往往还要求满足信道多样性等其它可辨识性条 件[223] 。还有一种方法是通过对系统输出的快速采样 ,获得 有关系统的更多信息 ,在此基础上先把快采样系统传递函 数的分子 、分母分别辨识出来 ,再用计算或估计的方法得到 原系统传递函数 ,形成了所谓的快采样方法[12216] 。实验表 明快采样方法可以较好地实现盲信道均衡与辨识 ,然而过 高的采样频率往往实现起来较为困难 。
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
· 9 06 ·
系统工程与电子技术
第 31 卷
在单输入多输出 ( SIMO) 系统盲辨识领域 ,文献 [ 2 ] 假 设系统没有噪声干扰的情况下 ,研究了规范最小均方估计 算法和加权递推最小二乘算法 ;当系统存在噪声干扰时 ,文 献[ 16217 ]讨论了一类由单信道系统通过输出快采样系统 转换而成的与原系统有相同极点的特定 SIMO 系统的盲辨 识 ;基于交叉相关 (cro ss relatio n) 技术 ,文献 [ 18 ] 提出逆迭 代辨识时间色散信道的子空间盲辨识方法 ,但参数估计受 初始值的影响较大 ,易局部收敛甚至不收敛 ,稳定性较差 ; 文献[ 19 ]分析了最小均方算法以及为了提高收敛速率而牺 牲准则函数的 Newton 盲辨识算法 ,但方法复杂 。本文利 用辅助变量技术来研究随机噪声干扰下 SIMO 系统的辨识 问题 ,其基本思路是 ,从其中任意两个子系统的输出关系中 导出一个包含两个子系统参数的辨识模型 ,推广了传统辅 助变量辨识思想 ,不利用系统的输入而巧妙地构造出了辅 助矩阵 ,成功地实现了系统模型参数的估计 ,并进行了参数 估计算法的收敛性分析 。理论分析和仿真试验表明提出的 盲辨识方法收敛性能良好 。
ni
nj
∑ ∑ yj ( t) + bi ( l) yj ( t - l) = yi ( t) + bj ( l) yi ( t - l) -
l =1
l =1
nj
ni
∑ ∑ vi ( t) -
bj ( l) vi ( t - l) + vj ( t) + bi ( l) vj ( t - l)
l =1
yi ( t) = Gi ( z) u( t) + vi ( t) , i = 1 , 2 , …, m
(1)
因为输入信号 u( t) 未知 ,对于任意非零常数λ,有等价关系