随机系统最优控制

(7-4-10’) (7-4-11’)
(2) 系统状态的随机型性能指标
仍考虑系统 x(t) A(t)x(t) G(t)w(t)
及其初始状态
(7-4-13)
x(t0 ) x0
(7-4-14)
由于x(t)是在白噪声w(t)作用下动力学系统的响应，是一个随机过
程，如果采用与确定性二次型性能指标相同的表示方法，即
J s
1 2
xT(t f
)Pt f
x(t f
)
1 2
t f xT (t )Q(t )x(t )dt
t0
(7-4-15)
则Js就无法象确定性系统那样是一个确定数值，而是一个随机变量。
要求得确定性的性能指标数值，需要考虑用Js的数学期望
J
EJ s
E{1 2
xT(t f
)Pt f
x(t f
)
1 2
t f xT (t )Q(t )x(t )dt}
只在μ0=0时成立
n
再考虑 x0T x0 Tr[x0 x0T ]，其中，Tr[ A] ai 表示对n×n维方阵A的对
角线元素ai求和。则有
i 1
J
1 Tr { 2
Px (t f
)Pt f
1 2
tf t0
Px (t)Q(t)dt}
(7-4-17)
在上式右边加上一项
1{ 2
tf t0
d dt [Px (t )P(t )]dt
1 2
[ Px
(t
f
)Pt
f
Px (t0 )P(t0 )]}
1 2
Tr {Px (t0 )P(t0 )
tf t0
[ Px
(t
)Q(t
)
Px
(t
)P (t
)
Px
(t
)P(t
t0
(7-4-16)
作为性能指标。其中 Pt f 为终值项加权矩阵，Q(t)为积分项加权矩阵，
均为对称半正定矩阵。
上式可以考虑表示为另外一种形式。
首先假定 E[ x(t0 )] 0 0 。令Px' (t0 ) E[x0 x0T ]，表示对 x0 x0T 取均值，
则此时有 Px' (t0 ) Px (t0 ) Px0。
[Px (t f
)P(t f
)
Px' (t0 )P(t0 )]}
0，
并令 P(t f ) Pt f，及考虑 Px' (t0 ) Px (t0 ) ，则上式可表示为
J
1 Tr { 2
Px (t f
)Pt f
1 2
tf t0
[ Px
(t )Q(t )
d dt
[ Px
(t ) P (t )]]dt
随机系统最优控制的两种主要表现形式: 最小方差控制——基于输入输出模型 随机二次型最优控制——基于线性状态空间模型
最小方差控制问题可以看作是随机线性二次型最优控制问 题的特例，所以这里只讨论随机线性二次型最优控制问题。
(1)系统状态对随机作用的响应
设在随机作用下系统状态方程为 x(t) A(t)x(t) G(t)w(t)
ii’) x(t)的方差阵满足矩阵代数方程
APx Px AT GQ'GT＝0
(7-4-9’)
iii’) x(t)的协方差阵为
Px ( ) ( )Px Px ( ) Px T ( )
ቤተ መጻሕፍቲ ባይዱ
0
iv’) x(t )与w(t)的协方差阵为
( )GQ'
Pxw
(
)
1 GQ' 2 0
0 0 0
w(t)是m维零均值高斯白噪声过程，统计性能为
Cov[w(t), w( )] E[w(t)w( )T ] Q'(t) (t )
(7-4-5)
其中，δ(t
τ)
1 ε
,
τ ε tτ ε
2
2
为狄拉克δ函数；Q’(t)为动态
0 , t 等于其他值
噪声w(t)的协方差矩阵。并设x(t0)与w(t)无关，即
Cov[ x(t0 ), w( )] E{[ x(t0 ) 0 ][w(t ) Ew(t )]T } 0
(7-4-6)
则可以证明存在下列有关x(t)统计性能的关系式：
i) x(t)的均值满足矩阵微分方程
d [Ex(t )] A(t )Ex(t ) G(t )Ew(t ) dt
E[ x(t0 )] 0 ii) x(t)的方差阵满足矩阵微分方程
x(t0 ) x0
(7-4-12)
当其具有与上述相同的噪声统计性能时，x(t)的统计性能有类似于上 面公式的表达式。当 t 时 Px (t) P，有
i’) x(t)的均值满足矩阵微分方程
d [Ex(t)] AEx(t) GEw(t) dt
E[ x(t0 )] 0
(7-4-7’) (7-4-8’)
Px (t ) A(t )Px (t ) Px (t ) AT (t ) G(t )Q'(t )G T (t )
及初始条件
(7-4-7) (7-4-8) (7-4-9)
Px (t0 ) Px0
均为确定性方程
iii) x(t)的协方差阵为
Px (t , t) (t , t)Px (t) Px (t, t ) Px (t ) T (t , t )
随机系统控制理论考虑不确定性问题中的随机扰动部分，方 法是将确定性控制系统理论与概率论、随机过程理论方法相 结合。
随机系统最优控制作为随机系统控制理论的重要组成部分， 是建立在最优状态估计基础之上的。但由于最优状态估计在 其他课程中已有介绍，不是本课程的重点，因此暂且略过。
7.4 随机系统最优控制
0
其中 (t , t)为系统(7-4-1)的状态转移矩阵。
iv) x(t ) 与w(t)的协方差阵为
(t , t)G(t)Q'(t)
Pxw
(t
,
t
)
1 G(t 2
0
)Q'(t
)
0 0 0
(7-4-10) (7-4-11)
对于定常随机系统
x(t) Ax(t) Gw(t)
(7-4-1)
初始状态为
x(t0 ) x0
(7-4-2)
其中x(t)是n维随机状态向量；x0是n维随机初始状态向量，其统计性 能为
E[ x(t0 )] E[ x0 ] 0
(7-4-3)
Var[ x(t0 )] E{[x0 0 ][x0 0 ]T } Px (t0 ) Px0
(7-4-4)
七. 随机系统最优控制 (Stochastic Optimal Control)
引言
前面都是以确定性系统为基础讨论最优控制问题，而实际上 绝对的确定性系统几乎不存在，各种工程系统中总是或多或 少地存在不确定性。
如何处理系统中的不确定性已经是当前控制理论研究的重要 问题。引起不确定性的原因很多，处理的方法也有很多。