清华大学随机过程作业 答案

(1) 试问该过程是否为马尔可夫链; (2) 计算它的一步转移概率矩阵。
参考答案：
(1) 此过程是马尔可夫链，原因如下： ξ(n) 的状态集为 {0, 1, 2, 3}; 给定当前时刻状态后，下时刻状态的分布完全确定，与 过去时刻的状态无关。
(2) 它的一步转移概率矩阵
0100
P = 019
4 9
4 9
(因为由 Yt−1 = d, Yt−2 = d − 1 可得:|X(t − 1)| = d, 从而 |X(t)| < d)
定义随机序列 Zn = (|Xn|, Yn), n = 1, 2, · · · （由于 Zn 最多 (m + 1)2 种不同值，因
此也可认为是离散随机变量序列）, 此随机序列是 Markov 序列，其一步转移概率为：
4 9
4 9
019
0010
4. 设有齐次马尔科夫链，其状态空间为 I : 0, 1, 它的一步转移概率矩阵为：
(
)
P= 1−a a
(0 < a < 1, 0 < b < 1)
b 1−b
试求 P(n)(利用矩阵的特征值、特征矢量方法计算)
(
)
(
)
参考答案：由矩阵特征值理论可得：P = Q 1
0
Q−1, Q = 1 a


见下图。




(2) 给定 0 < d < m，则有：
P (Yt+1
=
d
+
1|Yt
=
d, Yt−1
=
d − 1)
=
1 2
(因为由 Yt = d, Yt−1 = d − 1 可得 |X(t)| = d)
P (Yt+1 = d + 1|Yt = d, Yt−1 = d, Yt−2 = d − 1) = 0
概率密度为 fξn (xn) = fn(xn)，E {ξn} = 0，n = 1, 2, . . .。
定义
ηn
=
∑n
i=1
ξi，n
=
1,
2,
.
.
.。试证明：
(1) 序列 η1, η2, · · ·, ηn, · · · 具有马尔科夫性； (2) E (ηn|η1 = y1, η2 = y2, · · ·, ηn−1 = yn−1) = E (ηn|ηn−1 = yn−1) = yn−1。
P (|Xn+1| = xn+1 = xn + 1||X1| = x1, ..., |Xn| = xn) =
P (|Xn+1| = xn + 1, Xn = xn||X1| = x1, ..., |Xn| = xn)
+ P (|Xn+1| = xn + 1, Xn = −xn||X1| = x1, ..., |Xn| = xn)
2. 设一个离散时间、离散状态的随机过程 {Xn, n ⩾ 1} 满足
X1, · · · , Xn−1⊥Xn+1|Xn, ∀n > 1
则成立
X1, · · · , Xn−1⊥Xn+1, · · · , Xm|Xn, ∀m > n > 1
参考答案：
下面为了记号简单，以 f (Xi|Xj) 代表条件 pdf: fXi|Xj (xi|Xj = xj)
=
(xt−1,
yt−1),
·
·
·
,
Z1
=
(x1,
y1)}
=
2
0
0 < i1 = i2 < m 其他
1
P {Zt+1
=
(i1,
i2)|Zt
=
(i1,
i2),
Zt−1
=
(xt−1,
yt−1),
·
·
·
,
Z1
=
(x1,
y1)}
=
2
0
i1 = i2 = m 其他

∏m f (Xn+1, · · · , Xn+m|X1, X2, · · · , Xn) = f (Xn+i|Xn+i−1)
i=1
∏m = f (Xn+i|Xn, · · · , Xn+i−1) = f (Xn+1, · · · , Xn+m|Xn)
i=1
此即：X1, · · · , Xn−1⊥Xn+1, · · · , Xm|Xn, ∀m > n > 1
清华大学电子工程系版权所有
3
参考答案:
(1) |X1|, |X2|, |X3|, ... 满足 Markov 性，可以严格证明：P (|Xn+1| = xn+1||X1| = x1, ..., |Xn| = xn) = P (|Xn+1| = xn+1||Xn| = xn)。 当 |Xn| = 0 时，必有：|Xn+1| = 1,P (|Xn+1| = 1||X1| = x1, ..., |Xn| = 0) = 1 = P (|Xn+1| = 1||Xn| = 0) 当 |Xn| = xn ̸= 0 ∨ m 时，则 |Xn+1| = xn+1 必须取值为 |Xn| ± 1

















图 2.1 带反射壁的随机游走
(1) 解释为什么 |X1|, |X2|, |X3|, . . . 满足 Markov 性，并画出相关的状态转移图。
(2) 假设跟踪记录最大偏移量，即定义 t 时刻的最大偏移量 Yt = max{|X1|, |X2|, . . . , |Xt|}， 解释为什么 Y1, Y2, Y3, . . . 不满足 Markov 性，试寻找一个满足 Markov 性且能够记 录最大偏移量的随机变量序列，并画出其相关的状态转移图。
清华大学电子工程系版权所有
*





!

"""#$%&'()&""
4
!"#$%&

'()*+,-./0 状态转移图为：


即：(η1, · · · , ηn−1)⊥ηn+1|ηn 因此随机变量序列 {ηn} 具有 Markov 性。 (2) E(ηn|η1 = y1, η2 = y2, · · · , ηn−1 = yn−1) = E(ηn−1 + ξn|η1 = y1, η2 = y2, · · · , ηn−1 = yn−1) = E(ηn−1|η1 = y1, η2 = y2, · · · , ηn−1 = yn−1)+E(ξn|η1 = y1, η2 = y2, · · · , ηn−1 = yn−1) = yn−1 + E(ξn) 根据 (1),{η1, η2, · · · , ηn−1} 与 ξn 相互独立 同样，可得 E(ηn|ηn−1 = yn−1) = yn−1 + E(ξn)。据题意，E(ξn) = 0 因此：E (ηn|η1 = y1, η2 = y2, · · ·, ηn−1 = yn−1) = E (ηn|ηn−1 = yn−1) = yn−1。
参考答案：
(1) 由随机变量 ξ1, ξ2, · · · , ξn, · · · 相互独立，可得：{η1, η2, · · · , ηn} 与 ξn+1 相互独立 又有：ηn+1 = ηn + ξn+1, 得到条件 pdf fηn+1|ηn (x) 为：
fηn+1|ηn (x) = fξn+1 (x − ηn) = fn+1(x − ηn) = fξn+1|ηn,ηn−1,··· ,η1 (x)
=
P (|Xn+1|
=
m − 1||X1|
=
x1, · · · , |Xn| = m)
综上：P (|Xn+1| = xn+1||X1| = x1, ..., |Xn| = xn) = P (|Xn+1| = xn+1||Xn| = xn)，即
Markov 性成立。上述证明也给出了 |Xn|(n = 1, 2, · · · ) 的一步转移概率，状态转移图
1 2
0 < i1 = i2 < m
P {Zt+1 = (i1+1, i2+1)|Zt = (i1, i2), Zt−1 = (xt−1, yt−1), · · · , Z1 = (x1, y1)} = 10
i1 = i2 = 0 其他
1
P {Zt+1
=
(i1−1,
i2)|Zt
=
(i1,
i2),
Zt−1
1 = 2 P (Xn = xn||X1| = x1, ..., |Xn| = xn)
1
1
+ 2 P (Xn = −xn||X1| = x1, ..., |Xn| = xn) = 2
同理：P (|Xn+1|
=
xn+1
=
xn
−
1||X1|
=
x1, ..., |Xn|
=
xn)
=
1 2
类似，可以证明：P (|Xn+1|
∏m f (Xn+1, · · · , Xn+m|X1, X2, · · · , Xn) = f (Xn+i|X1, X2, · · · , Xn+i−1)