最小二乘参数辨识方法及原理
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5、增广最小二乘辨识方法 6、多变量最小二乘辨识方法
www.digitnav.com
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、引言
www.digitnav.com
z
m次独立试验的数据
和最小，即
ˆ) (Z H ˆ)T (Z H ˆ) min J ( m m m m
J ˆ) 0 2 H ( Z m H m
T m
ˆ
T ˆ H H m H m Z m T m
2.2 一般最小二乘法原理及算法
www.digitnav.com
y(k ) ai y (k i) bi u (k i)
i 1 i 1
n
n
2.2 一般最小二乘法原理及算法
www.digitnav.com
v (k ) u (k ) G( z) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
若考虑被辨识系统或观测信息中含有噪声
www.digitnav.com
vi yi Ri或vi＝yi a bti
太复杂
常见做法：
| yi Ri | 最小 /* minimax problem */ 使 max 1 i N
使
| y
i 1
m i 1
N
i
Ri |
Ri |2
最小
最小
不可导，求解困难
解：由题意得量测方程
Z 2 H 2 V2
z1 Z2 z2
1 H2 1
r 0 R 0 4 r
2.2 一般最小二乘法原理及算法
www.digitnav.com
Z 2 H 2 V2
1 H2 1
1
T m T m T m
1
1
2.2 一般最小二乘法原理及算法
www.digitnav.com
例 3.2
用 2 台仪器对未知标量 各直接测量一次，量
测量分别为 z 1 和 z 2 ，仪器的测量误差均值为 0，方差分别 为 r 和 4 r 的随机量，求 的最小二乘估计，并计算估计的 均方误差。
www.digitnav.com
z (k ) ai y(k i ) bi u (k i) v(k )
i 1 i 1
n
n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
~ T 1 T T 1 T E( ) E[(H m H m ) (H m H m ) (H m H m ) H m Z m ]
T T (H m H m ) 1 H m E(H m Z m )
T T (Hm Hm )1 Hm E(Vm ) 0
www.digitnav.com
T
Байду номын сангаас
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Hm Zm z ( m ) h ( m ) y(m 1)
z1 Z2 z2
r 0 R 0 4 r
z1 1 1 ˆ 1 1 ( z1 z 2 ) 1 1 1 z2 2
51 873
61 910
73 942
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a 702 Ri t i.762 Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N ˆ 2 N t t b 3. 4344 i i i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 R 943 N .168 N 2 N t i2 t i i 1 i 1
T 如果 H m 的行数大于等于列数，即 m 2 n ， H m H m 满秩，即 T T H m ) 1 存在。则 的最小二乘估计为 rank(H m H m ) 2n ，则 ( H m
T 1 T ˆ (H m H m ) H m Z m
最小二乘估计虽然不能满足式（3.12）中的每一个方程，使 每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼 顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量 误差 v(i)(i 1,, m) 是有益的。
使 | y
i
测量误差的平方和最小
2.1 利用最小二乘法求模型参数
www.digitnav.com
根据最小二乘的准则有
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
2.1 利用最小二乘法求模型参数
www.digitnav.com
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
a1 an b1 bn
T
Vm v(1) v(2) v(m)
Z m H m Vm
2.2 一般最小二乘法原理及算法
www.digitnav.com
最小二乘的思想就是寻找一个 的估计值 ˆ ，使得各次测量
ˆ ˆ H 的 Z i (i 1,m) 与由估计 ˆ 确定的量测估计 Z i i 之差的平方
z (k ) ai y(k i) bi u (k i) v(k )
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
t (k )
G( z)
y (k )
(t1 , y1 ) (t2 , y2 )
(tm , ym )
f (t )
t
f (t ) a0 a1h1 (t ) a2 h2 (t ) an hn (t )
www.digitnav.com
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
~ ~T
证明： 根据第（1）式的证明，显然有
T T T T E( ) (Hm Hm )1 Hm E(VmVm )Hm (Hm Hm )1
~ ~T
( H Hm ) H RHm ( H Hm )
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
式中 为待估参数。
2.2 一般最小二乘法原理及算法
www.digitnav.com
z (k ) h(k ) v(k )
y(1 n) u (0) y(2 n) u (1) y(m n) u (m 1) u (1 n) u ( 2 n) u ( m n)
www.digitnav.com
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
ˆ t ˆ N a b Ri i i 1 i 1 N N N 2 ˆ a ˆ t i b t i Ri t i i 1 i 1 i 1
• 高斯自己独创了一套行星轨道计算 理论。 • 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测 •1794年，高斯提出了最小二乘的思想。
www.digitnav.com
1794年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算
值之间差的平方乘以其精确度的数值以后的和为最
~ ~T
www.digitnav.com
~ ˆ (1) 最小二乘估计是无偏估计，即 E( ) 或 E( ) 0
证明：
ˆ (H T H ) 1 H T Z m m m m ~ ˆ) E[ (H T H )1 H T Z ] E( ) E( m m m m ~
N N
www.digitnav.com
N N N N 2 R t i i Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 2 N N 2 N ti ti i 1 i 1
t 70 C
2.2 一般最小二乘法原理及算法
www.digitnav.com
v (k ) u (k ) G( z) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
b1 z 1 b2 z 2 bn z n y (k ) G( z ) u(k ) 1 a1 z 1 a2 z 2 an z n
小。
2、最小二乘辨识方法的基本概念
www.digitnav.com
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2
t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
2.2 一般最小二乘法原理及算法
www.digitnav.com
当系统的量测噪声 Vm 是均值为 0，方差为 R 的随机向 量，则最小二乘估计有如下性质。
(1) 最小二乘估计是无偏估计，即
~ ˆ E( ) 或 E( ) 0
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
系统辨识
第4章 最小二乘参数辨识方法
主讲教师：赵龙 办公地点：新主楼E402 网 站：www.digitnav.com
Email：flylong@buaa.edu.cn
www.digitnav.com
本章内容
1、最小二乘辨识的基本概念
2、一般最小二乘辨识方法
3、加权最小二乘辨识方法
4、递推最小二乘参数辨识方法
www.digitnav.com
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、引言
www.digitnav.com
z
m次独立试验的数据
和最小，即
ˆ) (Z H ˆ)T (Z H ˆ) min J ( m m m m
J ˆ) 0 2 H ( Z m H m
T m
ˆ
T ˆ H H m H m Z m T m
2.2 一般最小二乘法原理及算法
www.digitnav.com
y(k ) ai y (k i) bi u (k i)
i 1 i 1
n
n
2.2 一般最小二乘法原理及算法
www.digitnav.com
v (k ) u (k ) G( z) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
若考虑被辨识系统或观测信息中含有噪声
www.digitnav.com
vi yi Ri或vi＝yi a bti
太复杂
常见做法：
| yi Ri | 最小 /* minimax problem */ 使 max 1 i N
使
| y
i 1
m i 1
N
i
Ri |
Ri |2
最小
最小
不可导，求解困难
解：由题意得量测方程
Z 2 H 2 V2
z1 Z2 z2
1 H2 1
r 0 R 0 4 r
2.2 一般最小二乘法原理及算法
www.digitnav.com
Z 2 H 2 V2
1 H2 1
1
T m T m T m
1
1
2.2 一般最小二乘法原理及算法
www.digitnav.com
例 3.2
用 2 台仪器对未知标量 各直接测量一次，量
测量分别为 z 1 和 z 2 ，仪器的测量误差均值为 0，方差分别 为 r 和 4 r 的随机量，求 的最小二乘估计，并计算估计的 均方误差。
www.digitnav.com
z (k ) ai y(k i ) bi u (k i) v(k )
i 1 i 1
n
n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
~ T 1 T T 1 T E( ) E[(H m H m ) (H m H m ) (H m H m ) H m Z m ]
T T (H m H m ) 1 H m E(H m Z m )
T T (Hm Hm )1 Hm E(Vm ) 0
www.digitnav.com
T
Байду номын сангаас
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Hm Zm z ( m ) h ( m ) y(m 1)
z1 Z2 z2
r 0 R 0 4 r
z1 1 1 ˆ 1 1 ( z1 z 2 ) 1 1 1 z2 2
51 873
61 910
73 942
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a 702 Ri t i.762 Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N ˆ 2 N t t b 3. 4344 i i i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 R 943 N .168 N 2 N t i2 t i i 1 i 1
T 如果 H m 的行数大于等于列数，即 m 2 n ， H m H m 满秩，即 T T H m ) 1 存在。则 的最小二乘估计为 rank(H m H m ) 2n ，则 ( H m
T 1 T ˆ (H m H m ) H m Z m
最小二乘估计虽然不能满足式（3.12）中的每一个方程，使 每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼 顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量 误差 v(i)(i 1,, m) 是有益的。
使 | y
i
测量误差的平方和最小
2.1 利用最小二乘法求模型参数
www.digitnav.com
根据最小二乘的准则有
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
2.1 利用最小二乘法求模型参数
www.digitnav.com
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
a1 an b1 bn
T
Vm v(1) v(2) v(m)
Z m H m Vm
2.2 一般最小二乘法原理及算法
www.digitnav.com
最小二乘的思想就是寻找一个 的估计值 ˆ ，使得各次测量
ˆ ˆ H 的 Z i (i 1,m) 与由估计 ˆ 确定的量测估计 Z i i 之差的平方
z (k ) ai y(k i) bi u (k i) v(k )
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
t (k )
G( z)
y (k )
(t1 , y1 ) (t2 , y2 )
(tm , ym )
f (t )
t
f (t ) a0 a1h1 (t ) a2 h2 (t ) an hn (t )
www.digitnav.com
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
~ ~T
证明： 根据第（1）式的证明，显然有
T T T T E( ) (Hm Hm )1 Hm E(VmVm )Hm (Hm Hm )1
~ ~T
( H Hm ) H RHm ( H Hm )
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
式中 为待估参数。
2.2 一般最小二乘法原理及算法
www.digitnav.com
z (k ) h(k ) v(k )
y(1 n) u (0) y(2 n) u (1) y(m n) u (m 1) u (1 n) u ( 2 n) u ( m n)
www.digitnav.com
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
ˆ t ˆ N a b Ri i i 1 i 1 N N N 2 ˆ a ˆ t i b t i Ri t i i 1 i 1 i 1
• 高斯自己独创了一套行星轨道计算 理论。 • 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测 •1794年，高斯提出了最小二乘的思想。
www.digitnav.com
1794年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算
值之间差的平方乘以其精确度的数值以后的和为最
~ ~T
www.digitnav.com
~ ˆ (1) 最小二乘估计是无偏估计，即 E( ) 或 E( ) 0
证明：
ˆ (H T H ) 1 H T Z m m m m ~ ˆ) E[ (H T H )1 H T Z ] E( ) E( m m m m ~
N N
www.digitnav.com
N N N N 2 R t i i Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 2 N N 2 N ti ti i 1 i 1
t 70 C
2.2 一般最小二乘法原理及算法
www.digitnav.com
v (k ) u (k ) G( z) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
b1 z 1 b2 z 2 bn z n y (k ) G( z ) u(k ) 1 a1 z 1 a2 z 2 an z n
小。
2、最小二乘辨识方法的基本概念
www.digitnav.com
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2
t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
2.2 一般最小二乘法原理及算法
www.digitnav.com
当系统的量测噪声 Vm 是均值为 0，方差为 R 的随机向 量，则最小二乘估计有如下性质。
(1) 最小二乘估计是无偏估计，即
~ ˆ E( ) 或 E( ) 0
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
系统辨识
第4章 最小二乘参数辨识方法
主讲教师：赵龙 办公地点：新主楼E402 网 站：www.digitnav.com
Email：flylong@buaa.edu.cn
www.digitnav.com
本章内容
1、最小二乘辨识的基本概念
2、一般最小二乘辨识方法
3、加权最小二乘辨识方法
4、递推最小二乘参数辨识方法