2010年5月苏北赛算法：马尔可夫链。适合很多题型

马尔可夫链

在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。例如，微分方程的初值问题描述的物理系统属于这类随机性现象。随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。

在贝努利过程(){}

,1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。

在维纳过程(){}

,0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。

在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数

()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进

入商店的顾客无关。 一、马尔可夫过程

定义：给定随机过程

(){},X t t T ∈。如果对任意正整数3n ≥，任意的

12,,1,,n i t t t t T i n <<<∈= ，任意的11,,,n x x S -∈ S 是()X t 的状态空间，总有

()()()1111|,n n n n P X x X t x X t x --≤==

()()

11|,n n n n n P X x X t x x R --=≤=∈ 则称(){}

,X t t T ∈为马尔可夫过程。

在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t - 是“过去”。马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --== 无关。这就体现了马尔可夫过程具有无后效性。通常也把无后效性称为马尔可夫性。

从概率论的观点看，马尔可夫过程要求，给定()()1111,,n n X t x X t x --== 时，()n X t 的条件分布仅与()11n n X t x --=有关，而与()()12,,n X t X t - 无关。

二、马尔可夫链及其转移概率

马尔可夫链是参数离散、状态离散的最简单的马尔可夫过程。在马尔可夫链

(){},X t t T ∈中，一般取参数空间{}0,1,2,T = 。马尔可夫链的状态空间E 的一般形式

是{}0,1,2,E = 。

1、马尔柯夫链定义：

一个随机序列{X(t), t=1,2,3,…}取值于正整数空间E ={0,1,2,……},或者为E 的子集， 如果有：()()()()

1111|,n n n n P X t x X t x X t x --===

()()()

11|n n n n P X t x X t x --=== x i ∈E ={0,1,2,……} ; i=1,2,…

则称为序列(){}

,X t t T ∈为马尔柯夫(Markov)链。这种序列具有马尔可夫性，也叫无后致性。注意：t 和i 均取整数。 2、马尔柯夫链的含义：

可以这样理解：序列(){}X t 的“将来”只与“现在”有关而与“过去”无关。 3、马尔柯夫链的状态：

马尔柯夫链序列(){

}

X t 中的某一个符号X(t i )的数值一定为E 中的某一个元素x i （或x j ），这时，称x I (或x j )为随机序列的一个状态Si 。 4、马尔柯夫链的一步转移概率

马尔柯夫(Markov)链的统计特性用条件概率（状态转移概率）来描述： 习惯上把转移概率记做

()()()()()()()()(1)

11|1|n n ij ij P X t x X t x P X t j X t i p t p t -+===+====

这称为马氏链的一步转移概率。为马尔柯夫链从状态i 变为状态j 的条件概率。 它满足：(概率的加法公式)

p ij (1)(t)≥0 i j ∈E

()1

ij j E

p t i E ∈=∈∑

5、马尔柯夫链的K 步转移概率：

其k 步转移概率为：为马尔柯夫链从状态i 经过k 步（k 个单位时间）后变为状态j 的条件概率：

()()()()()

|k ij P X t k j X t i p t +===

它满足：

p (k)ij (t)≥0 i j ∈E

()

()1k ij

j E

p

t i E ∈=∈∑

6、平稳马尔柯夫链的性质：

如果马尔柯夫链是平稳的，即与时刻无关，与t 无关，我们讨论的马尔柯夫链只是这种最简

单的情况。这种平稳马氏链称为齐次马氏链。由于这种齐次马尔柯夫链的转移概率与时间无关，因此去掉其时间变量t ，其中的一步转移概率为()

1ij ij p p =，k 步转移概率为()

k ij p ，n 步转移概率为()

n ij p 。

定义2：向量()

12,,,n u u u u = 称为概率向量，如果u 满足： 1

0,1,2,,1n

j i

i u j n

u

=≥==∑

定义3：若方阵P 的每行都为概率向量，则称此方阵为概率矩阵。

可以证明，如果矩阵A 和B 皆为概率矩阵，则,,k

k

AB A B 也都是概率矩阵(k 为正整数)

由所有一步转移概率组成的矩阵称为一步转移概率矩阵表示为：

11

12121

2221

2n n n n nn p p p p p p P p p p ?? ?

?

= ? ???

120.80.180.020.80.20.650.250.10.70.3001P P ???? ?== ?

???

???

转移矩阵必为概率矩阵，且具有以下两个性质： 1)()

(

)

1k k P

P P -=

2) ()

k k P

P =

下面主要学习正则链和吸收链

1、正则链：这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态，有如下定义.

定义4 一个有n 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都已大于零的概率到达状态(),1,2,,j i j n = ，则称为正则链。

正则链的判断方法：对于概率矩阵P ，若幂次方m

P 的所有元素皆为正数(指m

P 的每一元素大于零)，则矩阵P 称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍历性。

遍历性的直观含义：一个遍历的马尔可夫链经过相当长的时间后，它处于各个状态的概率趋于稳定，且概率稳定值与初始状态无关。在工程技术中，当马尔可夫链的极限概率分布存在时，它的遍历性表示一个系统经过相当长时间后趋于平衡状态，这时，系统处于各个状态的概率分布即不依赖于初始状态，也不在随时间的推移而改变。

设系统的极限分布(也是稳态分布)用行向量()013,,,,n πππππ=

来表示，一步转移概

率矩阵为P ，则有

P ππ=

，且1

1n

i i π==∑

从而可以解出系统的极限分布(或稳态分布)

从状态i 出发经k 次转移，第一次到达状态j 的概率称为i 到j 的首达概率，记做()ij f n ， 于是 ()1

ij ij

i nf n μ∞

==

∑

为由状态i 第一次到达状态j 的平均转移次数，特别的，ii μ是状态i 首次返回的平均转移次数，ii μ与稳态概率ω有密切关系，即对于正则链，1/ii i μπ=

马尔可夫链模型：

设系统在0k =时所处的初始状态()

()()(

)

(

)00

012,,,n

S S S S = 为已知，经过k 次转移后

所处的状态向量()

()()(

)

(

)()12,,,1,2,k k

k

k n

S

S S S k == ，则

()

()()11121

0021

22212k

n k n k n n nn p p p p p p S

S P S

p p p ??

? ?

== ?

???

此式即为马尔可夫预测模型。

由上式可以看出，系统在经过k 次转移后所处的状态()

k S

只取决于它的初始状态()

0S

和

转移概率P 。因此对于马氏链模型最基本的问题是构造状态()X t 及写出转移矩阵P ，一旦有了P ，那么给定初始状态概率()

0S

就可以用上式计算任意时段的状态概率()

k S

。

2、 吸收链

在马尔可夫链中，称1ij p =的状态i,j 为吸收状态。如果一个马尔可夫链中至少包含一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收链。

含有m 个吸收状态和(n-m)个非吸收状态的吸收链，其转移矩阵的标准形式为

()()0

m m n n

n m n m I P R Q ??-?-??

= ? ???

(1)

其中矩阵R 中含有非零元素，m m I ?为m 阶单位矩阵。Q 不是概率矩阵，它至少存在一个小于1的行和，且如下定理成立。

定理1 对于吸收链P 的标准形式(1),()I Q -可逆，()

1

s s M I Q Q ∞

-==-=∑，记元素全

为1的列向量()1,1,,1e '= ，则y Me =的第i 分量是从第i 个非吸收态出发，到某个吸收状态吸收的平均转移次数。

设状态i 是非吸收态，j 是吸收状态，那么首达概率()ij f n 实际上是i 经n 次转移被j 吸收的概率，而()1

ij ij n f f n ∞

==

∑则是从非吸收状态i 出发终被吸收状态j 吸收的概率，记

{}

()ij k r r

F f -?=，下面的定理给出了计算ij f 的方法。

定理2 设吸收链的转移矩阵P 表为标准形式(1),则

F MR =

例1、设马尔可夫链(){}

,0X t t ≥的状态空间{}1,2,3E =，一步转移概率矩阵为

1/43/401/31/31/301/43/4P ?? ?

= ? ???

初始分布为()

()01/4,1/2,1/4S

=，即

()()()()()()111

01,02,03424

P X P X P X ======

则 ()()()2

20113/576,230/576,233/576P P P ==

用Matlab 计算如下：s0=[1/4 1/2 1/4]; P=[1/4 3/4 0;1/3 1/3 1/3;0 1/4 3/4];

S2=s0*P.^2=(0.0712 0.2118 0.1962)

稳态分布 T=(t1,t2,t3),TP=T,变换后 (P ’-E)T ’=0 T=(0.16 0.36 0.48) 附程序：liyiw.m

市场占有率模型

设有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户，各用户在各企业间自由选购，但不超出这三家企业，也无新的客户。假定在10月末经过市场调查得知，甲、乙、丙三家企业拥有的客户分别是：250户，300户，450户，而11月份用户可能的流动情况如表所示：

假定该产品用户的流动按上述方向继续变化下去(转移概率不变)，预测12月份三家企业市场用户各自的拥有量，并计算经过一段时间后，三家企业在稳定状态下该种产品的市场占有率。

解：第一步：根据调查资料，确定初始状态概率向量，这里

()

()()()()

()00

123,,250/1000,300/1000,4

50/1000S

S S S == ()0.25,0.3,0.45=

第二步：确定一次转移概率矩阵，此例由用户可能流动情况调查表可知，其一步转移概

率矩阵为

230/25010/25010/2500.920.040.0420/300250/30030/3000.0670.833

0.130/45010/450410/4500.0670.0220.911P ???? ? ?

== ? ? ? ?????

矩阵中每一行的元素，代表着各企业保持和失去用户的概率，如第一行甲企业保持用户

的概率是0.92，转移到乙、丙两企业的概率都是0.04，甲企业失去用户的概率是0.04＋0.04＝0.08。

第三步：利用马尔可夫链模型进行预测。显然，12月份三家企业市场占有率为

()

()()(

)

(

)

()22

2

20

2123

,,S

S S S S P ==

()()2

0.920.040.04

0.25,0.3,0.450.0670.8330.10.2150

,0.2088,0.37690.0670.0220.911?? ?== ? ???

12月份三个企业市场用户拥有量分别为：

甲：1000?0.215＝215户 乙：1000?0.2088＝208.8户 丙：1000?0.3769＝376.9户

现在，假定该产品用户的流动情况按上述方向继续变化下去，我们来求三个企业的该种产品市场占有的稳定状态概率。

易验证P 为正规矩阵，设(),,1,t x y x y =--令tP t =

()()0.920.040.04,,10.0670.8330.1,,10.0670.0220.911x y x y x y x y ??

?

--=-- ? ???

将上式展开，得联立方程式

()()()0.920.0670.06710.040.8330.02210.040.10.91111x y x y x

x y x y y x y x y x y ++--=??

++--=??++--=--?

解之得 0.4558,0.1598,x y == 故()(),,10.4558,0.1598,0.3844x y x y --=

上述结果表明：如果甲、乙、丙三家企业的市场占有率照目前转移概率状态发展下去，

那么经过一段时间后，三企业的市场占有率分别为45.58％、15.98%和38.44%.显然，对于乙、丙两企业而言，必须迅速找出市场占有率下降的原因。

最佳服务地点选择

市汽车出租公司在甲、乙、丙三处开设租车还车处。顾客可在甲、乙、丙三处任意租车和还车。今公司准备在上述三处之一设立汽车维修保养厂。初步确定在汽车集中比较多的一处设置维修保养场。根据统计资料，顾客在上述三处还车的概率如表所示，试确定在何处设汽车维修保养场。

解：由题意可知，该问题的转移概率矩阵P 为：

0.80.2

00.2

00.80.20.20.6P ??

?= ? ???，2

0.680.160.160.320.20.480.320.160.52P ?? ?= ? ???

因为2P 的所有元素都大于零，所以P 为正规矩阵。当甲、乙、丙三处租车、还车业务开展一定时期后，就会达到平衡条件，这样就可以得到一固定概率t ，使得tP t =成立，即

()()0.80.20,,10.200.8,,10.20.20.6x y x y x y x y ??

?

--=-- ? ???

成立

上式展开，得

()0.80.20.21x y x y x ++--= ()0.20.20.21x y x y y ++--= ()0.20.80.611x y x y x y ++--=--

解上述联立方程式，得0.5,0.167x y == 故 ()(),,10.5,0.167,0.333x y x y --=

由上述计算可知，在稳定状态汽车还到甲处得概率为0.5，即向甲处还车得概率占出租

汽车得一半，其余乙、丙处总共也只有一半，因此汽车维修保养场设在甲处是最佳得选择。 变。

钢琴销售的存储策略

一家商店根据以往经验，平均每周只能售出1架钢琴，现在经理制定的存储策略是，每周末检查库存量，仅当库存量为零时，才定购3架供下周销售；否则，不定购。试估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少？

问题分析

对于钢琴这种商品的销售，顾客的到来是相互独立的，在服务系统中通常认为需求量近似服从泊松分布，其参数可由每周销售1架得到，由此可以算出不同需求量的概率。周末的库存可能是0，1，2，3，周初的库存量只有1，2，3这3种状态，每周不同的需求将导致周初库存状态的变化，于是可用马氏链来描述这个过程。当需求超过库存时就会失去销售机会，可以计算这种情况发生的概率，在动态过程中这个概率每周是不同的，每周的销售量也不同，通常采用的办法是在时间充分长以后，按稳态情况进行分析和计算。

模型假设

1、钢琴每周需求量服从泊松分布，均值为每周1架

2、存储策略是：当周末库存量为零时，定购3架，周初到货；否则不订购

3、以每周初的库存量作为状态变量，状态转移具有无后效性。

4、在稳态情况下计算该存储策略失去销售机会的概率，和每周的平均销售量 模型建立

记第n 周的需求量为n D ，由假设1，n D 服从均值为1的泊松分布，即 ()()1

/!0,1,2,n p D k e k k -=== (1)

记第n 周的库求量为n S ，{}1,2,3n S ∈是这个系统的状态变量，由假设2，状态转移概率为 13

n n n n n n n

S D D S S D S +-

≥? (2)

由(1)式不难算出()()()00.368,10.368,20.184,n n n p D p D p D ======

()()30.061,30.019,n n p D p D ==>=由此计算状态转移概率 ()()

1111|100.368

n n n p P S S P D +====== ()1212|10n n p P S S +==== ()()1313|110.632n n n p P S S P D +====≥= ()()2111|210.368n n n p P S S P D +=====

= ()()2212|200.368n n n p P S S P D +====== ()()2313|220.264n n n p P S S P D +====≥= ()()

3111|320.184

n n n p P S S P D +====== ()()3212|310.368n n n p P S S P D +======

()()()3313|3030.448n n n n p P S S P D P D +=====+≥=

得到转移概率矩阵

0.368

00.6320.3680.3680.2640.1840.3680.448P ?? ?

= ? ???

记状态概率()()()()()()()

123,1,2,3,,,,i n a n P S i i a n a n a n a n ====根据状态转移具有无后效性的假设，有()()1a n a n P +=，又易验证P 是正则链，具有稳态分布w ， 由 3

1

,

1i

i wP w w

===∑，可得到()()123,,0.285,0.263,0.452w w w w ==

该存储策略(第n 周)失去销售机会的概率为()n n P D S >，按照全概率公式有 ()()()3

1

|n n n n

n i P D S P

D i S i P S i

=>=

>==∑ 其中的条件概率()|n n P D i S i >=容易有(1)式计算，当n 充分大时，可以认为

().1,2,3n i P S i w i ===

最终得到

()0.2640.2850.0800.2630.0190.4520.105n n P D S >=?+?+?= 即从长期看，失去销售机会的可能性大约10％。

在计算该存储策略(第n 周)的平均销售量n R 时，应注意到，当需求超过存量时只能销售掉存量，于是

()()()3

111||i n n n n n n i j R jP D j S i iP D i S i P S i -==??

===+≥==????

∑∑

同样的，当n 充分大时用稳态概率i w 代替()n P S i =，得到

0.6320.2850.8960.2630.9770.4520.857n R =?+?+?=

即从长期看，每周的平均销售量为0.857架，这个数值略小于模型假设中给出的每周平均平

均需求量为1架。

基因遗传

豆科植物茎的颜色有绿有黄，生猪的毛有黒有白，有粗有光，人类会出现先天性疾病如色盲等，这都是基因遗传的结果，基因从一代到下一代的转移是随机的，并且具有无后效性，因此马氏链模型是研究遗传学的重要工具之一。本节给出的简单模型属于完全优势基因遗传理论的范畴。

生物的外部表征，如豆科植物茎的颜色，人的皮肤或头发，由生物体内相应的基因决定，。基因分优势基因和劣势基因两种，分别用d 和r 表示，每种外部表征由体内的两个基因决定，而每个基因都可以是d 或者r 中的一个，于是由三种基因类型，即D(dd)，H(dr)，R(rr)，分别称为优种，混种，和劣种，含优种D(dd)和混种H(dr)基因类型的个体，外部表征呈优势，如豆科植物的茎呈绿色，人的皮肤或头发有色素，含劣种R 基因类型的个体，外部特征呈劣势，如豆科植物的茎呈黄色，人的皮肤或头发无色素。

生物繁殖时，一个后代随机地继承父亲两个基因中的一个和母亲两个基因中的一个，，形成它的两个基因，一般的两个基因中哪个遗传下去是等概率的，所以父母的基因类型就决定了每一后代基因类型的概率。父母基因类型，有全是优种DD ，全是劣种RR,一优种一混种DH(父为D,母为H ；或者父为H ，母为D)及DR ，HH ，HR 共6种组合，对每种组合简单的计算可以得到其后代各种基因类型的概率，如表格4所示

表格4 父母基因类型决定后代各种基因类型的概率 下面我们就马氏链为工具讨论两个具体的基因遗传模型，

随机交配 这是自然界中生物群体的一种常见的，最简单的交配方式。假设一个群体中雄性和雌性的比例相同，并且有相同的基因类型分布，即雄性中D,H,R 的比例和雄性中D,H,R 的比例相等。所谓随机交配是指：对于每一个(不论属于D,H 或R)的雌性(或雄性)个体，都以D,H,R 的数量比例为概率，与一个雄性(或雌性)个体交配，其后代则按照前面所说的方式，等概率的继承其父母亲的各一个基因，形成它的基因类型。假定在初始一代的群体中，三种基因类型的数量比例是D(dd):H(dr):R(rr)=a:2b:c,满足a+2b+c=1,记p=a+b,q=b+c ，则群体中优势基因d 与劣势基因r 的数量比例为d:r=p:q ，且p+q=1.

下面讨论随机交配方式产生的一系列后代群体中的基因类型分布。

用1,2,3n X =分别表示第n 代的一个体属于D,H 及R 基因类型，即3种状态，

0,1,2,n = ，()i a n 表示个体属于第i 种状态的概率，1,2,3i =，可视为第n 代的群体属

于第i 种基因类型的比例。转移概率ij p 可用ij p P =(一个后代具有基因类型j|母亲具有基因类型i)来计算。在已知母亲基因类型的条件下，后代的基因类型取决于父亲的基因类型，值得指出的是，在计算ij p 时与其考虑被随机选择为父亲的3种不同基因类型的比例a:2b:c ，不如直接考察从雄性群体中以p:q 的比例获得优势基因d 和劣势基因r ，比如

11p P =(后代为D(dd)|母亲为D(dd))=p

12p P =(后代为D(dr)|母亲为D(dd))=q 13p P =(后代为D(rr)|母亲为D(dd))=0 21p P =(后代为D(dd)|母亲为H(dr))=p/2

因为后代需要以1/2的概率从母体获得d,同时以p 的概率从雄性群体中获得d

22p P =(后代为D(dr)|母亲为H(dr))=p/2+q/2

23/2p q =,同样的方法算出313233,,p p p 后得到转移概率矩阵

0/21/2/20p

q P p q p q ?? ?= ? ???

若初始一代是从3种基因类型比例为a:2b:c 的群体种随机选取的，那么初始状态概率为()()0,2,a a b c =，其中a,2b,c 满足p=a+b,q=b+c, 利用马氏链基本方程可以得到 ()()(

)2

2

10,2,a a P p pq q

==

()()()()222210,2,a a P a P p pq q ===

显然这个分布将保持下去，这表明在随机交配方式中第一代继承者的基因类型分布为

22:::2:D H R p pq q =

并永远不变。这个结果在遗传学中称Hardy-Weinberg 平稳定律。 容易判断这是一个正则链，可计算出它的稳态分布为(

)22

,2,p pq q

π=。表明即使初

始分布不是从群体中随机选取，在随机交配方式下，经过足够长时间后3种基因类型的分布

也趋向上述稳定分布。

这个模型得到的结果的正确性已有观察和试验证明。如自然界中通常有p=q=1/2，于是3种基因类型的平稳分布为::1/4:1/2:1/4D H R =，而优种D 和混种H 的外部表征呈优势。据观察，豆科植物茎呈绿色(优势表征)的约占3/4，与上面的结果相一致。

最后考察在随机交配下3种基因类型的首次返回平均转移稀疏，即平均经过多少代每种基因类型首次回到原来的类型。D,H,R 类型的首次返回平均换代数目

2

2

1122331/,1/2,1/p pq q μμμ===

即一个群体中基因d 越多(p 越大)，基因类型D(dd)的平均换代数目越小。特别，当p=q=1/2时，D,H,R 的平均换代数目分别为4(代)，2(代)和4(代)。

近亲繁殖：

这是指这样一种繁殖方式，从同一对父母的大量后代中，随机的选取一雄一雌进行交配，产生后代，如此继续下去，考察一系列后代的基因类型的演变情况。

与前面的模型不同的是，那里讨论后代群体中基因类型的分布，只许设置D,H,R 三个

状态即可，这里则需按照随机选取的雄雌配对，分析后代配对中基因类型的变化。于是状态应取雄雌6种基因类型组合，设1,2,3,4,5,6n X =依次定义为DD,RR,DH,DR,HH,HR.

构造马氏链模型的关键是写出转移概率ij p ，它可根据本节开始给出的表看出，显然

()()1112221,01,1,02j j p p j p p j ==≠==≠，因为父母全为优种D(或劣种R)时，后代全

是优种(或劣种)，随机选取的雄雌配对当然也是。

311/4p = 因为配对DH(状态3)的后代中D 和H 各占1/2，所以随即选取得配对为DD(状态1)的概率是1/2×1/2=1/4；

31p P =(后代配对为DH|父母配对为DH)＝P(后代雄性为D ，雌性为H|父母配对为DH)＋P(后代雄性为H ，雌性为D|父母配对为DH)＝1/2×1/2+1/2×1/2=1/2;

同理331/4p =，又因配对DH 的后代中没有R ，故对于含有R 的状态2，4，6，有 3234360p p p === 其他的ij p 可以类似的计算，最后得到转移矩阵为

1

000000100001/401/201/400

000101/161/161/41/81/41/401/4001/41/2P ?? ? ? ?

= ? ? ? ? ???

容易看出，状态1(DD)和状态2(RR)是吸收态，这是一个吸收链。它表明不论最初选取得配

对是哪种基因类型组合，经过若干代近亲繁殖，终将变为DD 或RR ，即变成全是优种或全是劣种，而且一旦如此，就永远保持下去。

为了计算从任一个非吸收态3,4,5,6出发，平均经过多少代就会被吸收状态1,2吸收，我们首先将矩阵P 转化为前面给出的转移矩阵地标准形式，得到

1/201/4

00

0101/41/81/41/40

01/41/2Q ?? ?

?= ? ???，1/4

0001/161/1601/4R ?? ?

?= ?

?

??

则

()1

8/31/6

4/32/34/34/38/34/34/31/38/34/32/3

1/64/38/3M I Q -??

?

?

=-= ?

?

??

52254,6,5,46336y Me '

??== ???

3/41/41/21/21/21/21/43/4F MR ??

? ?

==

?

???

M 的第1行至第4行依次代表非吸收态DH,DR,HH 和HR ，由定理对y 的各个分量的解释，从DH 配对的状态出发，在近亲繁殖的情况下平均经过5

4

6

代就会被状态DD 或RR 吸收，即全变成优种或劣种。而根据定理2，被吸收态吸收的概率为矩阵F 的第1行元素，即变成优种和劣种的概率分别为3/4和1/4。从其他状态DR ，HH 和HR 出发，可以得到相应的结论。

上述结果的使用价值在于，在农业＆畜牧业中常常是纯种(优种或劣种)生物的某些品质(如抗病性)不如混种，所以在近亲繁殖情况下大约经过5～6大就应该重新选种，以防品质的下降。

练习

1、某企业根据前一年()0t =统计得知，该企业共有技术人员300名。其中技术员职称的有140名，助理工程师100名，工程师(包括高级工程师)60名。现若规定技术员每年可由30％的人数晋升为助理工程师，又有10%的技术员因各种原因调离该企业，余下60％的技术员留任其原来岗位。而助理工程师每年要有40％留任，30％晋升工程师，30％调离。工程师则每年有60％留任，40％调离或退休。同时，该企业计划每年向社会招聘80名大专学生以补充技术员队伍。现要求预测今后5年内该企业技术人员总的拥有量及各类技术人员的分布情况，假定5年内人员晋升、流动情况按上述比例不变。

2、 将钢琴销售的存储策略修改为：当周末库存量为0或1时，订购，使下周初的库存量达到3架；否则，不订购，建立马氏链，计算稳态下失去销售机会的概率，和每周的平均销售量。

解：仍以第n 周初的库存量为状态,2,3n n S S =，需求概率不变，容易算出状态转移概率矩阵为

0.3680.6320.3680.632P ??

=

???

稳态概率分布为()0.368,0.632ω=，稳态下失去销售机会的概率p=0.041，每周的平均销售量R=0.947.

3、老K 公司生产的某家电产品与其他两家生产同类产品的A 公司和B 公司相竞争。现计划用加强广告宣传的方法以增加改产品的市场占有率。今拟定了两个广告宣传方案1D 和2D ，公司决策人在两个条件相同(指初始市场占有率和初始转移概率矩阵相同)的地区试

用这两个广告方案，试验结果得到不同的转移概率矩阵。今已知市场占有率的全国水平是：老K 公司产品为28％，A 公司产品为39％，B 公司产品为33％。求解下述问题： (1)用初始转移概率矩阵确定在稳定(平衡)时，该两试验地区市场占有率是否接近全国水平？

(2)假定两个广告宣传方案1D 和1D 成本相同，在稳定(平衡)时哪种广告宣传能有最高的市场占有率？

已知初始转移概率矩阵为： K A B

0.60.30.10.20.70.10.10.10.8K A B ?? ?

? ???

广告1D 推出后的转移概率矩阵为：K A B

0.70.20.10.20.70.10.10.10.8K A B ??

?

? ???

广告2D 推出后的转移概率矩阵为：K A B

0.80.10.10.10.70.20.20.10.7K A B ??

?

? ???

4、某供应特需商品的商店，每周再周末营业一天，该店对某种不经常有人购买的商品

库存，采用下述订货策略：如结存0件或1件时，则一次定购3件，如结存超过1件时就不定购。凡在周末停止营业时定购的商品是为了准备在下周末出售。这一订货策略保证商品的初始库存量只能是2件、3件或4件。

又根据统计，该商品每周的需求量为0，1，2，3件的概率分别为0.4，0.3，0.2和0.1，试建立一个转移概率矩阵，用以说明由本周初始库存状态转为下周初始状态的概率。在达到稳定条件下，确定库存量为2，3，4的概率。