随机控制

Xk Yk
Wk k
和增广噪声向量

a k
(32)
（5）关于 X ka 的动态方程是
a a a a X ka1 k X U B 1,k k k k k
(33)
1 0 ， B 0 Bk
a. k
其中

a k 1, k
0 k 1,k k 1,k 0
k ， 0
a k
Z ka H ka X ka FkaVk
(34)
பைடு நூலகம்
（6）新的输出方程为 其中
Zk Z Dk
a k
H k H 0
a k
0 Nk
1 F 0
1.分离定理
这种情况下引出一个有名的分离定理（或确定性 等价定理），依据此定理，可以把最优控制问题
和状态变量的最优估计问题分开来讨论。
在研究最优控制问题时，假定所有状态变量都可 直接得到；在研究状态变量的最优估计时，则假
定控制信号是已知的确定性函数。最后把控制规 律中的状态变量用其估计值代替，就得到了随机 线性系统的最优控制。

Kk

k ,k 1
被控对象
k 1,k
Hk
Z 1
Uk
Lk
图 1
线性随机系统的最优反馈控制框图
图中Z-1表示一步延迟，反馈增益阵表示为公式5：
Lk k 1k 1,k
(5)
它和滤波增益阵
K k 都可预先离线计算出来。
2. 连续随机线性调节器问题
我们不加证明地列出下面的结果，设连续随机线 性系统为：
报告人：王鹏飞 吴晓刚
上节课前一位同学主要讲述的是随机控制理论的 相关内容，包括随机控制理论的概述、设计的领 域以及随机状态的模型。其中，重点讲述了随机 控制理论中的卡尔曼滤波理论及相应的应用实例。
在此理论研究的基础上，本节课主要讲述以下四
个方面的主要内容：
主要内容
1. 分离定理 2. 连续随机线性调节器问题 3. 随机线性跟踪器问题 4. 内容小结
E[WkW j ] Qk kj
T
E[VkV ] Rk kj
T j
(3)
E[WkV jT ] 0
对于这种 LQG 问题，最优控制规律可按确定性系 统来求，只是将状态变量的反馈改为状态变量估
计值的反馈，这就是分离定理。我们将它表达如 下： 分离定理：对于由方程（1）（ 2）以及所描述的线 性高斯随机控制系统，其最优控制为：
白噪声是一种功率频谱密度为常数的随机信号或随机过程
。换句话说，此信号在各个频段上的功率是一样的，由于 白光是由各种频率（颜色）的单色光混合而成，因而此信 号的这种具有平坦功率谱的性质被称作是“白色的”，此 信号也因此被称作白噪声。
高斯白噪声：如果一个噪声，它的幅度分布服从高斯分布，
而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。 当随机的从高斯分布中获取采样值时，采样点所组成的随 机过程就是“高斯白噪声”。
例1：汽车自动最优控制系统
图 3 ：汽车自动控制系统的示意图。汽车沿着道路 上设置的制导电缆自动行驶，汽车偏移电缆的横向 位移由传感器测出。 图4：自动控制系统的原理方块图。图中W为作用在 汽车上的干扰力 (例如路面不平等引起 ) ， U 为方向 舵控制力，V为传感器测量噪声，X为汽车侧向位移。
航线基准
a k
（7）用这些增广向量和增广矩阵来表示指标函数，有
a T T J E X k [M k , N k ]T Qk [M k , N k ] X ka U k R U 1 k 1 k 1 k 1 N


ek Dk C k NkYk M k X k [M k , Nk ]X ka
首先考虑 LQG 问题。随机线性系统的状态方程和 测量方程为：
X k 1 k 1,k X k kU k Wk
(1) (2)
Z k 1 H k 1 X k 1 Vk 1
其中 Wk ,Vk是零均值高斯分布的白噪声，满足如下：
E[Wk ] 0
E[Vk ] 0
ˆ1 L2 x ˆ2 u L1 x a 2 ˆ1 x b KV
4
a ˆ2 x b
(20)
其中，滤波值由下面的卡尔曼滤波方程决定：
ˆ ˆ Bu K ( Z HX ˆ) X AX C
(21)
其中，稳态卡尔曼滤波增益 K c 为：
K c PH T R 1
(22)
（1）设系统的动态方程和量测方程为
X k 1 k 1,k X k k U k Wk Z k H k X k Vk
(26)
（2）另有一个输出方程为
Ck M k X k
Xk
(27)
为n维， U k 为m维， Z k 为q维，Ck为s维。 要求Ck跟踪一个指令作用Dk。性能指标为：
令 得
Qk [M k , Nk ]T Qk [M k , Nk ]
a T T J E X k Qk X ka U k R U 1 k 1 k 1 k 1 N
由(24)，(25)解出 x ˆ1 , x ˆ 2 ，代入(20)即可求所 需最优控制。
3.随机线性跟踪器问题
理论研究中，前面我们讨论的问题是使系统 状态变量和输出量尽量控制到零，这种问题称为调 节器问题 ( 使输出量跟踪常值外作用的问题可归化 为这种问题)。 实际工作中，有时要求系统的输出跟踪一个 随时间变化的外作用，这种问题称为跟踪问题。制 导系统和随动系统就可归入这类。
E[W (t )V T ( )] 0
上述问题称为连续系统的线性高斯二次型问 题 (LQG问题)。根据分离定理，最优控制系统由两部 分组成：一部分是确定性最优控制器；另一部分 是与其串联的最优线性滤波器。最优控制可写成：
ˆ (t ) U (t ) L(t ) X
(10)
其中，图2表示连续随机线性系统最优控制的方块 图
B(t )
W (t )
G(t )
X (t 0 )
1 s
V (t )
H (t )
Z (t )

X (t )
B(t )

ˆ (t ) X 0
K (t )

1 s

H (t )
ˆ (t ) X
A(t )
被控对象
A(t )
U (t )
Lk
图2 连续随机线性系统最优控制的方块图
可解得
K11 K a b
1 2 V
3 4
1 4
K12 a b ， KV
1 2

1 2

1 2
K22 2 a b KV
1 2
1 4
3 4

3 2
，
将上面求到的 K
a L , b
代入(18)，可求得稳态增益阵为：
2 KV
4
a L1 , L2 b
于是由(17)得
满足下面的矩阵黎卡提代数方程：
AP PAT Q PH T R 1 HP 0
(23)
0 0 Q 0 q1
其中
0 1 A 0 0
P P 11 P 12
P 12 P22
0 B KV
K C1 H 1, 0 , R r1 , KC KC 2
(t ) A(t ) X (t ) B(t )U (t ) G(t )W (t ) X
(6) (7)
Z (t ) H (t ) X (t ) V (t )
其中， W (t和 )
为零均值高斯白噪声，且 V (t ) (8) (9)
E[W (t )] 0, E[W (t )W T ( )] Q(t ) (t ) E[V (t )] 0, E[(V (t )V T ( )] R(t ) (t )
由上面的值代入 (23) 求出 P ，将 P 代入 (22) 求出，再代入(21)，可得
ˆ1 KC1 x ˆ1 x ˆ2 KC1Z x
ˆ2 2KC 2 x ˆ1 KV u KC 2 Z x
(24) (25)
其中，
K C1 2 4 q1 r1
KC 2
q1 r1
在理论研究中，我们认为最优控制问题中的控制
系统具备确定性，它不受随机干扰的影响。
在实际工作中，系统避免不了会带有随机干扰的 因素。所以，我们需要研究在随机干扰作用下系 统的最优控制问题，即要同时考虑最优估计和最 优控制问题。
由于问题比较复杂，我们仅讨论系统是线性的。 指标函数是二次型的以及随机干扰是高斯分布噪 声 情 况 下 的 最 优 控 制 问 题 ， 即 所 谓 LQG 问 题 (Linear Quadratic Gaussian Problem) 。


控制器
u
w
汽车
x
传感器 线圈
传感器 线圈
v

传感器
制导电缆
图3 汽车制导传感器原理图
图4 汽车制导方块图
结合前文的相关理论，通过以下几个步骤对
汽车自动最优控制系统的分析，可以得到所 需最优控制：
1.对象状态方程 2.量测方程 3.性能指标 4.最优控制的设计
1.对象状态方程
汽车可看成纯惯性环节，其传递函数为：
0 1 A 0 0 K K 11 K12 K12 K 22 a 0 Q 0 0 0 B KV
R b
把这些值代黎卡提方程(19)，得