随机运筹学-5

例10 （生产系统模型）某公司有两台机器组成的 生产设备，每台机器每小时生产 一个零部件，并 且每个零部件可以立即测试以检验有无缺陷。令ai 为机器i生产的零部件无缺陷的概率，i=1，2。有 缺陷的零部件立即抛弃，而每台机器生产的无缺 陷的零部件则被储存在两个分离的箱子里。当每 个箱子里储存有零部件时，则这两个箱子立即调 集起来运走。每个箱子至多容纳2个零部件。当一 个箱子装满，则相应的机器就关掉。只有当箱子 有空间容纳至少一个零部件时才重新启动机器。

间（值域）S的情况一般可分为下列三类： 1、时间离散、状态离散的马尔科夫过程
通常将这类马尔科夫过程称为马尔科夫链，简称 马氏链。 2、时间连续、状态离散的马尔科夫过程 3、时间连续、状态连续的马尔科夫过程 三、实例 例1 （直线上的随机游动）一个质点在零时刻处 于实数轴上的原点的位置。每隔单位时间右移或


例5 （赌徒破产或带吸收壁的随机游动）系统的 状态是0到n，反映赌博者A在赌博期间拥有的钱数， 当他输光或拥有钱数为n时，赌博停止；否则，他 将持续赌博，每次以概率p赢得1，以概率q=1-p输 掉1。这个系统也是马尔科夫过程。 例6 例5中当A输光时，将获得赞助1让他继续赌下 去，其余条件不变，则这个也是马尔科夫过程。 例7 （自由随机游动）设一个求在全直线上做无 限制的随机游动，它的状态为0，±1，±2，„。 这个系统也是马尔科夫过程。

一旦机器坏掉，公司将派修理工前去修理。如果 机器在某一天开始工作时坏掉，它在第二天开始 工作时也坏掉的概率为0.03；否则，机器将修理完 毕并以0.97的概率正常工作。
假定该公司使用两台相同的机器，并且这两台机 器彼此独立运行，每台机器都有自己的修理工。 若Yn是第n天开始时处于正常工作状态的机器数， 则{Yn，n≧0}是离散时间的马尔科夫链，求其转 移矩阵。

上5：00营业。并且采用以下的经营策略来控制奔 腾PC机的库存：在星期五下午5：00，仓库管理员 检查有多少奔腾PC机仍在库存。如果库存数目少 于2台，仓库管理员就需要订购足够的PC机，以 使总库存在下一周营业日开始的星期一达到5台。 如果库存数目2台或更多，则不采取任何行动。而 一周内市场上对PC机的需求服从参数为3的泊松 分布，并且任何需求如果不能立即满足就会丧失 这个机会。试建立该公司的奔腾PC机库存的随机 模型。


例3 （直线上带反射壁的随机游动）设0<p<1， q=1-p。一质点只能处在实数轴上1，2，3，4，5 五个点的位置。当它处在2，3，4位置时，下一时 刻右移一格的概率为p，左移一格的概率为q。当 质点处于1位置时，下一时刻留在原位置的概率为 q，右移一格的概率为p；当质点处于5位置时，下 一时刻左移一格的概率为q，留在原位置的概率为 p，可看作在1，5位置分别放置有反射壁。求其一 步转移概率矩阵。 例4 （直线上带完全反射壁的随机游动）设0<p<1


初晋升到等级4的概率为0.005，或者离开公司的概 率为0.02，或者继续呆在原来等级到下一周之初。 等级4的工人在一周之初离开公司的概率为0.01， 或者继续呆在原来等级到下一周之初。若一个工 人离开公司，他立即被等级1的工人替代。建立该 模型。 例12 （股票市场模型）某公司的普通股票在股市 上流通。该公司的首席财务官买进和卖出本公司 的股票以便公司股票价格决不低于2美元且决不高 于10美元。假定Xn为第n天收盘时的股票价格，并



例8 （天气模型）Heavenly市的天气被分为晴天、 多云和雨天。假定明天的天气仅与今天的天气有 关，其关系如下：若今天是晴天，则明天有0.3的 概率是多云天气，有0.2的概率是雨天天气；若今 天是多云天气，则明天有0.5的概率是晴天天气， 有0.3的概率是雨天天气；若今天是雨天天气，则 明天有0.4的概率是晴天天气，有0.5的概率是多云 天气。则天气模型是马尔科夫链模型。 例9 （库存系统模型）某计算机公司储存一批PC 机供零售。该公司从星期一早上8：00到星期五晚



一、马尔科夫过程的定义 定义1 具有无后效性的随机过程称为马尔科夫过 程，简称马氏过程。 定义2 无后效性是指：当过程在时刻tm所处的状态 为已知时，过程在大于tm的时刻t所处状态的概率 特性只与过程在tm时刻所处的状态有关，而与过 程在tm时刻以前的状态无关。 二、马尔科夫过程的类型 马尔科夫过程{X（t），t∈T}按参数集T和状态空
贰、马尔科夫链


一、马尔科夫链的定义 定义1 设随机序列{X（n），n=0，1，2，„}的离 散状态空间为S。若对于任意m个非负整数n1， n2，„，nm（ 0≦n1<n2<„<nm）和任意自然数k， 以及任意i1，i2，„，im，j∈E，满足P{X（nm+k） =j|X（n1）=i1，X（n2）=i2，„ ，X（nm） =im}=P{X（nm+k）=j|X（nm）=im}，则称{X （n），n=0，1，2，„}为马尔科夫链。 定义2 条件概率P{X（nm+k）=j|X（nm）=im}称为





左移一个单位长度，右移的概率为p（0 < p < 1 ）， 左移的概率为q，其中q=1-p。记质点在第n时刻的 位置为X（n），n=0，1，2，„。质点在直线上 的移动是随机的，故称之为指点在直线上的随机 游动。 例2 电话交换站在t时刻前来到的呼唤次数X（t） （即时间[0，t]内来到的呼唤数）是一个随机过程。 已知现在tm时刻前来到的呼唤次数，未来时刻t （t> tm）前来到的呼唤数只依赖于tm时刻前来到 的呼唤数，这是因为[0，t]内来到的呼唤数等于
随机运筹学
马尔可夫过程
马尔科夫过程简介

马尔科夫过程是由前苏联数学家A.A.Markov 在1906年首先提出和研究的一类随机过程， 并且因此而得名。 目前，已经成为内容十分丰富、理论上相 当完整、应用十分广泛的一门数学分支。 在自然科学、工程技术及经济管理各领域 中都有广泛的应用。

壹、马尔科夫过程


的位置，而与过去花粉的位置无关，所以花粉随 机游动具有无后效性。因而，X（t）也具有无后 效性，是马尔科夫过程。同样地，花粉位置的Y （t）也是马尔科夫过程。 例4 （疾病死亡模型，Fix-Neyman（1951））考虑 一个包含两个健康状态S1和S2以及两个死亡状态S3 和S4（即由不同原因引起的死亡）的模型。若个 体病愈，则认为它处于状态S1；若患病，则认为 它处于S2，个体可以从S1和S2进入S3和S4。这是一 个马尔科夫过程。


当k=1时，pij（1）称为一步转移概率，简记为pij。 一步转移概率具有下列两个性质：
（1）非负性 0≦pij≦1，i，j=1，2，„写成矩阵形式： 1、对有限状态空间E={1，2，„，N}，矩阵为 P=（pij）N×N，为方阵。


，q=1-p。一质点只能处在实数轴上1，2，3，4， 5五个点的位置。当它处在2，3，4位置时，下一 时刻右移一格的概率为p，左移一格的概率为q。 当质点处于1位置时，下一时刻必定移到2位置； 当质点处于5位置时，下一时刻必定移到4位置， 可看作1，5位置分别放置具有完全弹性的反射壁。 求其一步转移概率矩阵。 例5 （直线上带完全反射壁的随机游动）设0<p， 0<q，0<r，p+q+r=1。一质点只能处在实数轴上


且只取整数。即{Xn，n≥0}的状态空间为{2，3，4， 5，6，7，8，9，10}。令In+1为在第n+1天没有首 席财务官干扰的情况下，股票价格的潜在运动趋 势。因此， 2 若Xn+In+1≤2 Xn+1= Xn+In+1 若2< Xn+In+1 <10 10 若 Xn+In+1≥10 过去的数据表明{In，n≥1}是独立同分布的随机变 量，且P（In=k）=0.2，k=-2，-1，0，1，2。则



马尔科夫链在n时刻的k步转移概率，记为pij（n， n+k）。 转移概率表示已知n时刻处于状态i，经k个单位时 间后过程处于状态j的概率。 定义3 若转移概率pij（n，n+k）是不依赖于n的马 尔科夫链，称为时齐（齐次）马尔科夫链。 时齐马尔科夫链的状态转移概率仅与转移出发状 态i、转移步数k、转移到达状态j有关，而与转移 的起始时刻n无关。k步转移概率可记为pij（k）。


q≥0，原地不动的概率为r≥0（p+q+r=1），且各 次移动相互独立，以Xn表示质点经n次移动所处的 位置，则{Xn，n≥0}是一马尔科夫链，且pi，i+1=p， pi，i-1=q，pi，i=r，其余pij=0。 例7 （机械可靠性）某公司生产了一种机器，要 么正常，要么坏掉。如果在某一天开始工作时， 这种机器是正常的，那么它在第二天开始工作时 也是正常的概率为0.98；否则将以0.02的概率坏掉。


例2 （直线上带吸收壁的随机游动）一质点只能 处在实数轴上1，2，3，4，5五个点的位置。当它 处在2，3，4位置时，下一时刻右移一格的概率为 p（0<p<1），左移一格的概率为q（q=1-p）。当 质点处在1位置时，它永远停留在1上；又当质点 处在5位置时，它永远停留在5位置上。把1和5点 看作分别放置有吸收壁。质点的随机游动用{X （n），n=0，1，2，„}表示，其中X（n）表示 第n时刻质点的位置。判断随机游动，若是马尔科 夫链求其一步转移概率矩阵。

试建立这个系统模型。 例11（人力资源计划模型）某公司是一家保险公 司，它的100名工人被分成1，2，3，4等4个等级。 假定工人只在某一周之初可以从一个等级晋升到 另一个等级，或者离开公司。等级1的工人在一周 之初晋升到等级2的概率为0.03，或者离开公司的 概率为0.02，或者继续呆在原来等级到下一周之初。 等级2的工人在一周之初晋升到等级3的概率为0.01， 或者离开公司的概率为0.008，或者继续呆在原来 等级到下一周之初。等级3的工人在一周之