第三章随机环境下的系统辨识

ˆ ] = E [ θ + ( Z T Z ) − 1 Z T ξ ] = θ + E [( Z T Z ) − 1 Z T ξ ] ⇒ E [θ
最小二乘无偏估计的充要条件为：
E [( Z T Z ) − 1 Z T ξ ] = 0
3.3 最小二乘估计的统计特性
1、最小二乘估计的无偏性 若{ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
∂2 J ⇒ 2 = 2ZT Z ˆ ∂θ
⇒ ZT Z > 0
Z阵为测量信息矩阵，只要矩阵Z满秩，也即ZTZ为正定阵。 性能指标函数J为极小的条件得到满足。
3.3 最小二乘估计的统计特性
参数估计的一般性质： 1、无偏性
E (θˆ) = θ
2、有效性
ˆ − θ ) ⎯⎯ → min cov(θ
3、一致性
上式写成向量形式为： " ⎡ y(n +1) ⎤ ⎡− y(n) ⎢ y(n + 2) ⎥ ⎢− y(n +1) " ⎢ ⎥=⎢ ⎢ # ⎥ ⎢ # ⎢ ⎥ ⎢ ( + ) y n N ⎣ ⎦ ⎣− y(n + N −1) "
记为：
Y N ×1
⎡a1 ⎤ ⎥ ξ (n +1) # − y(1) u(n +1) " u(1)⎤ ⎢ ⎤ ⎢ ⎥ ⎡ ⎢an ⎥ ⎢ξ (n + 2) ⎥ − y(2) u(n + 2) " u(2)⎥ ⎥ ⎢ ⎥+⎢ ⎥ # # # ⎥ ⎢bo ⎥ ⎢ # ⎥ ⎥ ⎢ ⎥ − y(N) u(n + N) " u(N)⎦ ⎢ # ⎥ ⎣ξ(n + N)⎦ ⎢ ⎥ ⎢ ⎣bn ⎥ ⎦ = Z N × ( 2 n + 1 ) θ ( 2 n + 1 ) ×1 + ξ N ×1 N （3.6）
) = E [( Z T Z ) − 1 Z T σ 2 Z (Z T Z ) − 1 ] ⇒ D (θ = E [σ 2 ( Z T Z ) − 1 Z T Z (Z T Z ) − 1 ] = σ 2 E [ (Z T Z ) − 1 ]
{
}
有效性估计的充分条件为： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
3.3 最小二乘估计的统计特性
3、最小二乘估计的一致性 一致性估计的定义： 若参数估计值以概率收敛于真值θ，则称估计值具有一致 性。或采用下述定义：
ˆ是参数θ的一致性估计。 = 0 ，则称 θ lim cov θ 若N →∞
~ cov[θ] 为估计误差 θ 的方差。 式中，
σ2 1 T −1 σ 2 −1 2 T −1 lim cov θ = lim σ E[( Z Z) ] = lim E[( Z Z) ] = lim R =0 N →∞ N →∞ N →∞ N N →∞ N N
3.2 最小二乘估计
辨识准则：残差平方和最小。 (1)残差e
ˆ , Y ˆ e=Y−Y 为模型的计算值，即
ˆ ˆ = Zθ Y
(2)指标函数J
J =
n+ N k = n +1 2 T ˆ )T ( Y − Zθ ˆ) e ( k ) = ee = ( Y − Z θ ∑
（3.8）
最小二乘法辨识就是使J最小的参数估计方法。 即有：
θˆ = min J
θ
下面我们推导θ估计值的计算方法。
3.2 最小二乘估计
J取得最小值，也即J为极值，则有：
∂J = 0 ˆ ∂θ
ˆ )T (Y − Z θ ˆ )] ∂[(Y − Z θ ⇒ =0 ˆ ∂θ
ˆ) = 0 ⇒ −2Z T (Y − Zθ
ˆ = Z TY ⇒ Z TZθ
其中, ( Z T Z ) 为(2n+1)×(2n+1)的方阵。 若其逆阵存在，则：
N →∞
lim E{( θ -θ ) ( θ -θ )}=0
T
Λ
Λ
3.3 最小二乘估计的统计特性
1、最小二乘估计的无偏性 无偏性估计的定义： 若
ˆ = θ E θ
{}
ˆ是参数θ的无偏估计。 ，则称 θ
下面讨论无偏估计的条件。
⎧ ⎪Y = Z θ + ξ ⎨ˆ T −1 T ⎪ ⎩ θ = (Z Z) Z Y
i =1 i
（3.2）
不失一般性
n=m
K时刻系统的输出：
y (k ) = −a1 y (k − 1) − " − an y (k − n) + b0u (k ) + b1u (k − 1) + " + bnu (k − n) + ξ (k ) （3.3）
式中：
ξ (k ) = v(k ) +
∑ a v(k − i)
+
y (k )
⎧ x(k ) + a1 x(k − 1) + " + an x(k − n) = b0u (k ) + " + bmu (k − m) ⎨ ⎩ y (k ) = x(k ) + v(k )
式中 u(k)为系统输入值， x(k)为理论输出值， y(k)为实际观测值， v(k)为观测噪声。
（3.10）
3.5 递推最小二乘估计
T −1 P = ( Z Z ) N N N 记：
ˆ N 可写成： ，则 θ
ˆ = P Z TY θ N N N N
ˆ θ N +1
（3.11）
现获得了一组新的数据：u(n+N+1)、y(n+N+1)。需推导出 的计算公式，即
ˆ = f (θ ˆ , u(n + N +1), y(n + N +1)) θ N +1 N
⎧ y(n +1) = −a1 y(n) −"− an y(1) + b0u(n +1) + "+ bnu(1) + ξ (n +1) ⎪ （3.5） ⎪y(n + 2) = −a1 y(n +1) −"− an y(2) + b0u(n + 2) + "+ bnu(2) + ξ (n + 2) ⎨ # ⎪ ⎪ y(n + N) = −a y(n + N −1) −"− a y(N) + b u(n + N) + "+ b u(N) + ξ (n + N) 1 n 0 n ⎩
i =1 i
n
3.2 最小二乘估计
y (k ) = − a1 y (k − 1) − " − an y (k − n) + b0u (k ) + b1u (k − 1) + " + bnu (k − n) + ξ (k )
（3.3）
令
2n + 1
阶向量 θ , z (k ) 分别为：
− a2 " − an b0 b1 " bn ]
= θ−θ ˆ = θ − ( Z T Z ) −1 Z T Y θ
= θ − ( Z T Z ) −1 Z T ( Z θ + ξ ) = − ( Z T Z ) −1 Z T ξ
] D[θ
~ 为估计误差 θ
的方差。
) = E [ θθ T ] = E [( Z T Z ) − 1 Z T ( ξξ T )Z (Z T Z ) − 1 ] D (θ
T
θ = [ − a1
参数向量
z (k ) = [ y (k − 1)
y (k − 2) " y (k − n) u (k ) u (k − 1) " u (k − n)]
信息向量
y (k ) = z (k )θ + ξ (k )
（3.4）
3.2 最小二乘估计
设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有：
（3.1）
3.2 最小二乘估计
消去x(k)，可得输入输出数据方程为：
y (k ) + a1 y (k − 1) + " + an y (k − n) = b0u (k ) + b1u (k − 1) + " + bmu (k − m) + ξ (k )
ξ (k ) = v(k ) +
n
∑ a v(k − i)
一致性估计的充分条件为： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
3.4 最小二乘估计的讨论
ν (k )
⎧ ⎪Y = Z θ + ξ ⎨ˆ T −1 T θ = Z Z Z Y ( ) ⎪ ⎩
为一次估计
u (k )
x(k ) +
+
y (k )
无偏性和一致性估计的充分条件均为：{ξ(k)}为零均值不相 关随机序列，且与{u(k)}无关。 考查
= θ + E [( Z T Z ) −1 Z T ] E [ ξ ]
=θ+0 =θ
可见，在上述条件下我们得到了参数θ的无偏估计。 LS无偏估计的充分条件为： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
3.3 最小二乘估计的统计特性
2、最小二乘估计的有效性 有效性的定义：若参数估计误差的方差达到最小值，则称该 估计值是有效估计值。 ˆ 是参数θ的估计,考察估计量与真值之间偏离量的方差 θ
3.5 递推最小二乘估计