基于马尔科夫过程的排队论的研究

基于马尔科夫过程的排队论的研究

摘要：排队问题[1]仿真的目的是要寻找服务对象与服务设置之间的最佳配置，保证系统具有最佳的服务效率与最合理的配置，而马尔科夫链是研究排队系统的主要方法。本文研究了将一般的排队系统转化为马尔科夫[2]排队过程,因而可以利用马尔科夫决策规划的求值运算来求解。本文着重介绍了顾客逐一的接受服务和顾客成批的接受服务两种最主要类型,并计算给出相应的结果。

关键词:排队论，马尔科夫链,马尔科夫过程化,Matlab仿真

一、引言

排队是日常生活中经常遇到的现象，例如：出行坐火车，等待检票进站的排队；到食堂打饭所形成的排队；学校打预防针、体检所形成的排队；看电影、旅

游时，前往售票处购票形成的排队等；另一种排队是物的排队，例如：使用FTP 或P2P 下载传递文件；流水线上生产的产品等待接受检验；维修室的故障仪器等待维修等。排队现象的要素包括两个方面的内容：一是需要接受服务的顾客；二是提供服务的服务台。最近几十年来，排队理论在计算机网络、通信、交通以及其它公共事业领域的应用越来越广泛， 已成为分析和设计这些系统的一个不可或缺的工具。

排队论[3]的基本思想是1910年丹麦电话工程师A.K.埃尔朗在解决自动电话设计问题时开始形成的，当时称为话务理论。他在热力学统计平衡理论的启发下，成功地建立了电话统计平衡模型，并由此得到一组递推状态方程，从而导出著名的埃尔朗电话损失率公式。瑞典数学家巴尔姆又引入有限后效流等概念和定义。他们用数学方法深入地分析了电话呼叫的本征特性，促进了排队论的研究。50年代初，美国数学家关于生灭过程的研究、英国数学家 D.G.肯德尔提出嵌入马尔可夫链理论，以及对排队队型的分类方法，为排队论奠定了理论基础。本文基于马尔科夫链研究分析了排队系统的方法。

二、 马尔科夫及排队论基础知识

2.1马尔科夫过程

马尔科夫过程一种典型的随机过程。该过程是研究一个系统（如一个地区、一个工厂）的状况及其转移的理论。它是通过对不同状态的初始概率以及状态之间的转移概率的研究，来确定状态的变化趋势，从而达到对未来进行预测的目的。

马尔科夫过程有两个基本特征：一是“无后效性”，即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关；二是“遍历性”，是指不管事物现在出于什么状态，在较长时间内，马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。

用数学语言描述马尔科夫[2]过程就是： 设(),X t t T ∈为随机过程，若在121121,,

,,()n n n n t t t t t t t t T --<<

<<∈时

刻对()X t 观测得到相应的观测值,,,,n n x x x x -121满足条件

{}{}

11221111()(),(),,()()()n n n n n n n n n n P X t x X t x X t x X t x P X t x X t x ------≤====≤= （1）

或

()

()

12211221

11;,,,,;,,,,;;X n n n n n n X n n n n F x t x x x x t t t t

F x t x t ------=

则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。其

中

()1

2

21

1

221

;,

,,

,;,,,,

X n

n n n n n F x t x x x

x t t

t ----代表在1

1

22(

)

,

(

),,()n n n n X t x X t

x X t x ----===的条件下时刻

()n X t 取n x 值得条件分布函数。

若把n t -1时刻看成“现在”，因为121n n t t t t -<<<< 则n t 就可以看成“将

来”，122,,

,n t t t -就当做“过去”。因此上述定义可表述为现在的状态1()

n X t -取值为1n x -的条件下，将来状态()n X t 的取值于过去状态

122(),(),

,()n X t X t X t -

的取值是无关的。

2.2马尔科夫链

马尔科夫链是指时间和状态参数都是离散的马尔科夫过程，是最简单的马尔科夫过程。也就是说，一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值之间可做无限分割，且做研究的状态也是无限多的。而马尔科夫链的时间参数取离散数值。在经济预测中，一般的时间取的是日、月、季、年。同时马尔科夫链的状态也是有限的，只有可列个状态。例如市场销售状态可取“畅销”和“滞销”两种。用蛙跳的例子来说明就是：假定池中有N 张荷叶，编号为1，2，3,……,N ，即蛙跳可能有N 个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立）。

用数学语言描述为：

若随机过程(),X n n T ∈满足条件: (l)时间集合取非负整数集{}0,1,2,T =对应每个时刻，

状态空间是离散集，记作{}012,,,

E E E E =，即()X n 是时间状态离散的。

(2)对任意的整数n T ∈,条件概率满足：

()()()(){}

()(){}

110

1,1,,01n n n n n

P X n E X n E X n E X E P X n E X n E +-+==-===+==

则称(),X n n T ∈为马尔科夫链，并记

()(){}

()(),,k ij j i i j P P X m k E X m E E E E ==+==∈ （2） 表示在时刻m ，系统处于状态i E 的条件下,在时刻m k +，系统处于状态j E 下的概率。

条件概率等式，意即()X n 在时间m k +的状态()j X m k E +=的概率只与时刻m 的状态()i X m E =有关，而与m 时以前的状态无关，它就是马氏性（无后效性）的数学表达式之一。

2.3排队论

排队论也称随机服务系统理论[4]。排队论主要是对服务系统建立数学模型，研究诸如单位时间内服务系统能够服务的顾客的平均数、顾客平均的排队时间、排队顾客的平均数等数量规律。

它涉及的是建立一些数学模型，藉以对随机发生的需求提供服务的系统预测其行为。

为了叙述一个给定的排队系统，必须规定系统的下列组成部分：

输入过程

即顾客来到服务台的概率分布。排队问题首先要根据原始资料，由顾客到达的规律、做出经验分布，然后按照统计学的方法（如卡方检验法）确定服从哪种理论分布，并估计它的参数值。我们主要讨论顾客来到服务台的概率分布服从泊松分布，且顾客的达到是相互独立的、平稳的输入过程。所谓

“平稳”是指分布的期望值和方差参数都不受时间的影响。

排队规则

即顾客排队和等待的规则，排队规则一般有即时制和等待制两种。所谓即时制就是服务台被占用时顾客便随即离去；等待制就是服务台被占用时，顾客便排队等候服务。等待制服务的次序规则有先到先服务、随机服务、有优先权的先服务等，我们主要讨论先到先服务的系统。

服务机构

服务机构可以是没有服务员的，也可以是一个或多个服务员的；可以对单独顾客进行服务，也可以对成批顾客进行服务。和输入过程一样，多数的服务时间都是随机的，且我们总是假定服务时间的分布是平稳的。若以ξn表示服务员为第n个顾客提供服务所需的时间，则服务时间所构成的序列{ξn}，n=1，2……所服从的概率分布表达了排队系统的服务机制，一般假定，相继

的服务时间ξ

1，ξ

2

，……是独立同分布的，并且任意两个顾客到来的时间

间隔序列{Tn}也是独立的。如果按服务系统的以上三个特征的各种可能情形来对服务系统进行分类，那么分类就太多了。因此，现在已被广泛采用的是按顾客相继到达时间间隔的分布、服务时间的分布和服务台的个数进行分类。

研究排队问题的目的是研究排队系统的运行效率，估计服务质量，确定系统参数的最优值，以决定系统的结构是否合理，设计改进措施等。所以，必须确定用来判断系统运行优劣的基本数量指标，这些数量指标通常是：队长

指排队系统中的顾客数，它的期望值记为L系；排队长，指在排队系统中排队等待服务的顾客数，其期望值记为L队。系统中的顾客数 = 等待服务的顾客数 + 正被服务的顾客数，所以L队（或L系）越大，说明服务效率越低。

逗留时间

指一个顾客在排队系统中的停留时间，即顾客从进入服务系统到服务完毕的整个时间。其期望值记为W系。等待时间，指一个顾客在排队系统中等待服务的时间，其期望值记为W队。逗留时间 = 等待时间 + 服务时间

忙期

指从顾客到达空闲服务机构起到服务机构再次为空闲这段时间长度，即服务机构连续工作的时间长度。它关系到服务员的工作长度，即服务机构连续工作的时间长度。它关系到服务员的工作强度、忙期的长度和一个忙期中平均完成服务的顾客数，这些都是衡量服务效率的指标。

三、排队过程的马尔科夫过程化[5]

3.1 Markov 链表示

要利用马尔科夫决策规划的成熟理论及求值运算解决排队过程, 必须使一般的非马尔科夫型的排队过程马尔科过程化。以嵌入马尔科夫链的方法来解决:在时刻t 时,排队系统的状态用RV,Y(t)表示, 于是在过程{Y(t),t ≥0} 的任一实现中,系统的历史可用定义域(0,∞) 的时间函数Y(·)表示,以集Mt 表示定义域为[0,t]且值域与Y(·)相同的全体函数,对每个实现,令T 为t ∈[0,∞]的集,对任意t ，Y(·)限于[0,t]上是θt 的一个元素。另外,定义RV,X(t)=ft{Y(τ):τ≤t ，t ∈T},其中ft 是一个特定的具定义域θt 的泛函,对t ∈[0,∞]使得t 可顺序排列……t n-1,t n ,t n+1,……对任意t n ∈T ，有X n =X n (t n ),则对一切n 有

{}{}1111

1

1,n n n n n n n n n n P X x X x X x P X

x X x ++--++======

于是称过程{X n ，n= 0,1,2……}为嵌入Markov 链。嵌入Markov 链的转移概率为

{}1ij n n P X j X i +===

例如考察排队系统M/ G/ 1 ,设i 与j 表示两个相继离去的顾客后面的顾客数,令 P=(P ij ) 表征嵌入Markov 链的转移概率矩阵,于是

其中k r >0(r = 0，1，2……)由

给出,其中λ>0是表征Poisson 输入的参数。

3.2 Morkov 过程表示

令RV,X(t)表时刻t 时排队的顾客数,即在时刻t 的队长,则随机过程{X(t),t ≥0}是可数状态的Morkov 过程,令P(t)=[P ji (t)]表示过程{X(t)}的转移矩阵,且满足Kolmogorov 方程组

(t)

(t)A(t)dP P dt

=且P(0)=I 为单位阵或表示为 0

(t)(t)(t).,0,1,2

ij ik kj k dP P a i j dt

∞

===

∑ （3）

且

(δij)称Kronecker 算子)

为解Kolmogorov 方程,需规定函数a ij (t),它们在排队系统中都是时间t 的函数,并且是刻划时间间隔及服务时间分布函数的参数的函数。因而就可按通常的方法解Kolmogorov 方程。以此为基础的排队系统可分为两个部份: (1) 非平衡理论:主要解决(Px(t))=P{X(t)=x}x=0,1……,即寻找时刻t 时排队长度为x 的概率。 若初始状态x 0已知,则{Px 0x(t)}是时刻t 的绝对概率分布。(2)平衡理论:主要解决概率

即要寻求状态x 的极限或平稳概率分布{πx }。寻求πx 是排队论中一个重要问题。

3.3 顾客逐一接受服务的排队系统

考察M/ M/ 1 型的排队系统,即系统属于单个服务员,具有负指数的间隔时间与服务时间的分布函数。这种类型有:

1)在区间(t ，t+Δt)内,有一个顾客来到服务台的概率是λΔt+0(Δt),λ>0; 2)在区间(t ，t+Δt)内,有一个顾客接受服务完毕后离去的概率是μΔt+0(Δt),μ>0;

3)在区间(t ，t+Δt)内,既无顾客到来也无顾客离去的概率是0(Δt)。

则得到差分微分方程

(4) 为解这方程组,用母函数与Laplace 变换法,令

表示概率Px(t)的母函数,所以母函数方程为

（5）

如果在时刻t=0,排队中的顾客数是x

0即X(0)=x

,则方程应在初始条件F(s,0)=S x0

下求解。令f(s，z)=L{F(s，t)}是F(s，t)的Laplace变换,从(4)与(5)得:

(6)

其中P

0(z)=L{P

(t)},由Laplace变换定义,f(s，z)必须在单位圆|S|= 1内处处收

敛,在此区域中,f(s，z)的表达式的分子与分母的零点必须重合,分母零点是

于是

则ξ

1

(z)是单位圆内的唯一零点,故而有

把此式代入(6),以(s-ξ

1

)除两边,再展成s的幂级数,即可将(6)改写为:

(7)

若置

(8)则(7)可写成为:

(9)

为了简化,考察F(s，t)对时间的导数的Laplace变换,由(5)得:

(10)将(9)代入(10)并用(8),即可看到S

的系数是L{d Pt(t) / dt}即d Pt(t) / dt的

i

Laplace 变换。这个系数是六个项之和,每项都正比于形如

的表达式,它的Laplace变换是

其中

是n阶Bessel函数,因此,对任一的i,有

（11）其中,将(11) 积分,就得到M/ M/ 1 型系统的排队长度的概率分布。

这种排队模型中, 队中的顾客是逐个被服务的, 它在电话业务理论、在机器维修理论等领域中有着普遍的应用。

四、问题仿真

4.1排队模型

单服务台排队系统[6]的结构模型如图1 所示。

图1 单服务台排队系统的结构模型

M/M/1/N/∞排队模型表示顾客源为无限，顾客的到达相互独立，到达规律服从泊松分布，平均到达率为λ；单服务台，队长限制为N （即系统中最多允许有N个顾客在排队，再来的顾客将被拒绝进入系统），先到先服务，各顾客的服务时间相互独立，且服从负指数分布，平均服务率为μ。

4.2 顾客信息初始化

（1）根据到达率λ和服务率μ来确定每个顾客的到达时间间隔和服务时间间隔。服务间隔时间可以用负指数分布函数exprnd () 来生成。由于泊松过程的时间间隔也服从负指数分布，故亦可由此函数生成顾客到达时间间隔。需要注意的是，exprnd () 的输入参数不是到达率λ和服务率μ，而是平均到达时间间隔1/λ和平均服务时间1/μ。

（2）根据到达时间间隔，确定每个顾客的到达时刻。学习过C 语言的人习惯于使用for循环来实现数值的累加，但for循环会引起运算复杂度的增加，而在Matlab仿真环境中，提供了一个方便的函数cumsum () 来实现累加功能，读者可以直接引用。

（3）对当前顾客进行初始化。第1个到达系统的顾客不需要等待就可以直接接受服务，其离开时刻等于到达时刻与服务时间之和。

4.3 进队出队仿真

在当前顾客到达时刻，根据系统内已有的顾客数来确定是否接纳该顾客。若接纳，则根据前一顾客的离开时刻来确定当前顾客的等待时间、离开时间和标志位；若拒绝，则标志位置为0。

4.4 仿真结果

以单服务台的售票处为例，假设各顾客的到达时间间隔和服务时间均服从负

指数分布，到达率λ=10人/分钟，服务率μ=6人/分钟，等待队长N=20人，仿真时间Total_time=10分钟。

仿真出的各顾客到达时刻与离开时刻曲线，等待时间与停留时间曲线，如图2、图3所示

图2 顾客到达时间与离开时间曲线图

图3 顾客停留时间与等待时间曲线图

五、结论

本文介绍了排队论及马尔科夫链的相关理论，研究了将一般的排队系统转化为马尔科夫排队过程，并通过Matlab 平台实现了排队论中M/M/1/N/∞ 模型的过程仿真，以单服务台的售票处为例，详细阐述程序的工作原理，并给出了仿真结果。本方法适用于生活中的许多排队案例的分析，进行必要改进即可实现多服务模型的分析，可以为工程设计人员进行排队规划提供参考。

00.511.522.533.54

参考文献：

[1] 周炯磐,张琳等，通信网理论基础[M]，人民邮电出版社，2009。

[2] 刘次华，随机过程(第四版)[M],华中科技大学出版社。

[3] 陆传赉．排队论［M］北京邮电学院出版社， 1989．

[4] 唐应辉，唐小我．排队论基础及应用［M］．电子科技大学出版社， 2000

[5] 曹永荣1，2，韩瑞霞1，2，胡伟3基于马尔科夫状态转移过程的M/M/m排队模型仿

真，重庆师范大学学报( 自然科学版)[J], 2012 年1月

[6]高静涛，史百战.基于MATLAB 的排队问题仿真[J].武汉工业学院学报，2006.