第十三章梯度校正参数辩识方法

z(k)
h(k)w(k)
18
现在的问题
利用输入输出数据 x(k ) 和 z (k )
确定参数 在 k 时刻的估计值 ( k )
使准则函数
其中
J()|(k)1 22(,k)|(k)min
(,k)z(k)x(k)
19
随机逼近法
随机逼近法
梯度校正法的一种类型 颇受重视的参数估计方法
h(x)E{y| x}
x 它是 的函数，称作回归函数
25
对于给定的
设下列方程，具有唯一的解
h(x)E {y|x}
当 h(x) 函数的形式及条件概率密度函数P(y| x)
都不知道时
求下列方程的解释是困难的
W .P.1
LS
L
0
可以利用随机逼近法求解
26
随机逼近法
利用变量 x1, x2, 及其对应的随机变量 y(x1), y(x2),
14
随机性问题
15
设过程的输出 y(k )
模型参数 1, 2, , N 的线性组合
y ( k ) h 1 ( k )1 h 2 ( k )2 h N ( k )N
输入输出数据含有测量噪声
z(k)y(k)w(k) xi(k)hi(k)si(k), i1,2,,N
16
其中
Lk1
则有
kL 1h(k)h(k)1kL 1h(k)z(k)
这种近似使问题退化成最小二乘问题
24
研究
式的随机逼近法解
设 x是标量， y( x) 是对应的随机变量
P(y| x) 是 x条件下 y 的概率密度函数
则随机变量 y 关于 x 的条件数学期望为
记作
E {y|x}yd (yp |x)
可以是梯度校正法，通俗地说最速下降法
沿着
J ( ) 的负梯度方向不断修正 ( k )
值
直至 J ( ) 达到最小值
10
数学表达式
(k 1 )(k)R (k)gr[J a ()d | ](k)
R(k ) - N 维的对称阵，称作加权阵
gra[dJ()] - 准则函数 J ( ) 关于 的梯度
20
随机逼近原理
考虑如下模型的辩识问题
z(k)h(k)e(k)
e(k ) - 均值为零的噪声
模型的参数辩识
通过极小化 e(k ) 的方差来实现
即求参数 的估计值使下列准则函数达到极小值
J() 1E { e 2 (k ) } 1E {z([ k ) h (k )]2 }
2
2
21
准则函数的一阶负梯度
w(k ) 和 si (k ) 为零均值的不相关随机噪声
E{si(k)si(k)}0s2,i,
ij ij
17
置
x(k)
x1(k),
x2(k),
,
xN (k)
h(k) h1(k), h2(k), , hN(k)
s(k)
s1(k),
s2(k),
,
sN (k)
1, 2, , N
则
x(k)h(k)s(k)
a 1 , a 2 , , a n , b 1 , b 2 , , b n
8
现在的问题
如何利用输入输出数据 h(k ) 和 y(k )
确定参数
在
k 时刻的估计值
(k )
使准则函数
式中
J()|(k)1 22(,k)|(k)min
(,k) y(k)h(k)
9
解决上述问题的方法
通过迭代计算
逐步逼近方程
式的解
27
常用的迭代算法
Robbins – Monro 算法 Kiefer – Wolfowitz 算法
28
12.2 极大似然法和预报误差方法
29
引言
极大似然法
一种非常有用的传统估计方法 由 Fisher 发展起来的 基本思想可追溯到高斯（1809 年） 用于动态过程辩识可以获得良好的估计性质
主要内容
确定性问题的梯度校正参数辩识方法 随机性问题的梯度校正参数辩识方法 随机逼近法
4
确定性问题的梯度校正参数辩识方法
设过程的输出 y(t)
参数 1Βιβλιοθήκη Baidu 2, , N 的线性组合
y ( t) h 1 ( t)1 h 2 ( t)2 h N ( t)N
如果输出 y(t) 和输入 h 1(t),h 2(t), , h N (t)是
式
其中权矩阵的选择至关重要
13
随机性问题的梯度校正参数辩识方法
随机性问题的提法
确定性问题的梯度校正法与其他辩识方法相比
最大的优点：计算简单 缺点：如果过程的输入输出含有噪声，这种方法不能用
随机性问题的梯度校正法
特点：计算简单，可用于在线实时辩识 缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性
第12章 其他辨识方法
1
12.1 梯度校正参数辩识方法
2
引言
最小二乘类参数辩识递推算法
新的参数估计值=老的参数估计值+增益矩阵 新息
梯度校正参数辩识方法（简称梯度校正法）
递推算法同样具有 的结构 基本原理不同于最小二乘类方法 基本做法 – 沿着准则函数的负梯度方向，逐步修正模
型参数估计值，直至准则函数达到最小值。 3
J()E{h(k)z[(k)h(k)]}
令其梯度为零
E {h(k)[z(k)h(k)]} ˆ0
22
原则上
由 式可以求得使 J()min的参数估计值
但，因为 e(k ) 的统计性质不知道
因此
式实际上还是无法解的
23
如果
式左边的数学期望用平均值来近似
1L h(k)[z(k)h(k)]0
7
例如
用差分方程描述的确定性过程
y ( k ) a 1 y ( k 1 ) a n y ( k n )
可以化成
b 1 u (k 1 ) b n u (k n )
h ( k ) y ( k 1 ), , y ( k n ),u ( k 1 ), , u ( k n )
可以准确测量的，则 式过程称作确定性过程
5
确定性过程
0
h(k )
过程
置
y(k )
h( t)1,h1(t)2,,
h2(t), ,
, N
hN(t)
6
若过程参数的真值记作 0
则
y(t)h(t)0
在离散时间点可写成
y(k)h(k)0
其中
h ( k ) h 1 ( k )h ,2 ( k ) ,,h N ( k )
11
当准则函数 J ( ) 取 式时
gr[aJ(d)|](k)dd1 22(,k)(k)
((k),k)h(k)
[y(k)h(k)(k)h ](k)
12
式可写成
(k 1 ) (k ) R (k )h (k )y ( [k ) h (k ) (k )]
- 确定性问题的梯度校正参数估计递推公