半马尔可夫过程

一个半马尔可夫过程是这样的过程，它的状态按一个马尔可夫链转移，但是在状态转移之间的时间间隔是随机的。更特别的是，考虑一个状态为 1, ,0 ???的随机过程，它每次进入状态()0≥i i 时有：

下一个进入的状态是j 的概率为0 , ,≥j i P ij ，

在指定下一个进入的状态是j 时，直至从i 到j 的转移发生的时间具有分布ij F 。

如果我们以()t Z 记在时刻t 的状态，则(){}0,≥t t Z 称为一个半马尔可夫过程。 于是半马尔可夫过程并没有在给定现在的状态时将来独立与过去的马尔可夫性。因为为了预测将来，我们不仅需要知道现在的状态，而且还需要知道在那个状态停留的时间长度。当然在转移的时刻，我们需要知道一切是新的状态（而不需要有关过去的情形）。马尔可夫链是半马尔可夫过程，它具有

()?

??≥<=1 11 0t t t F ij 即马尔可夫链的一切转移时间恒等于1。

以i H 记半马尔可夫过程在转移前停留在状态i 的时间分布。即，由取条件于下一个状态，我们有

()()∑=j

ij ij i t F P t H ，

以i μ记它的均值。即

()?∞

=0d x H x i i μ。 若我们以n X 记第n 个被访问的状态，则{}0,≥n X n 是以ij P 为转移概率的马尔可夫链。它称为半马尔可夫过程的嵌入马尔可夫链。若嵌入马尔可夫链是不可约的，则我们称半马尔可夫过程不可约。

以ii T 记相继转移到状态i 之间的时间，且令[]ii ii T E =μ。用交替更新过程理论推导半马尔可夫过程的极限概率是一件简单的事情。