北大随机过程课件：第 3 章 第 3 讲 生灭过程

北大随机过程课件：第 3 章 第 2 讲 马尔可夫过程

马尔可夫过程 ?1马尔可夫过程概论 6 1.1马尔可夫过程处于某个状态的概率 6 1.2马尔可夫过程的状态转移概率 6 1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程 切普曼-柯尔莫哥洛夫方程 齐次切普曼-柯尔莫哥洛夫方程 转移概率分布函数、转移概率密度函数 6 1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数 瞬时转移概率分布函数 6 1.5确定马尔可夫过程Q矩阵 跳跃强度、转移概率Q矩阵 ?2参数连续状态离散马尔可夫过程的前进方程和后退方程 柯尔莫哥洛夫-费勒前进方程（利用Q矩阵可以导出、转移概率的微分方程）福克-普朗克方程（状态概率的微分方程） 柯尔莫哥洛夫-费勒后退方程（利用Q矩阵可以导出、转移概率的微分方程）?3典型例题 排队问题、机器维修问题、随机游动问题的分析方法 ?4马尔可夫过程的渐进特性 稳态分布存在的条件和性质 稳态分布求解 ?5马尔可夫过程的研究 1概论 1.1 定义及性质 1.2 状态转移概率 1.3 齐次马尔可夫过程的状态转移概率 1.5跳跃强度、转移概率Q矩阵 2 前进方程和后退方程 2.1 切普曼-柯尔莫哥洛夫方程 2.2柯尔莫哥洛夫-费勒前进方程 2.2福克-普朗克方程 2.3柯尔莫哥洛夫-费勒后退方程 3典型的马尔可夫过程举例 例1 例2 例3 例4，随机游动 4马尔可夫过程的渐进特性 4.1 引理1 4.2 定理2 4.3 定理

5马尔可夫过程的研究 6关于负指数分布的补充说明：

1概论 1.1定义：马尔可夫过程 ()t ξ： 参数域为T ，连续参数域。以下分析中假定[0,)T =∞； 状态空间为I ，离散状态。以下分析中取{0,1,2,}I ="； 对于T t t t t m m ∈<<<<+121"，若在12m t t t T <<<∈"这些时刻观察到随机过程的值是12,,m i i i "，则 1m m t t T +>∈时刻的条件概率满足: {}{}1111()/(),,()()/(), m m m m m m P t j t i t i P t j t i j I ξξξξξ++======∈" 则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。 1.2 定义：齐次马尔可夫过程 对于马尔可夫过程()t ξ，如果转移概率{}21()/()P t j t i ξξ==只是时间差12t t ?=τ的函数,这类马尔可夫过程称为齐次马尔可夫过程。 1.３ 性质 马尔可夫过程具有过程的无后效性； 参数连续状态离散的马尔可夫过程的条件转移概率为： {}{}212112()/()0()/(),,P t j t t t P t j t i t t i j I ξξξξ′′=≤≤===≤∈ 马尔可夫过程的有限维联合分布律可以用转移概率来表示 {} {}{}{}32132211123(),(),()()/()()/()(),,,P t k t j t i P t k t j P t j t i P t i t t t i j k I ξξξξξξξξ=========≤≤∈ 马尔可夫过程的有限维条件分布律可以用转移概率来表示

北大随机过程课件：第 3 章 第 4 讲 排队过程

马尔可夫过程排队过程 1 排队过程的基本参数和问题 排队模型的一般描述：A/R/S/N 排队系统的基本参数 排队的基本问题 排队问题的李特公式 2．排队问题的分析方法 3. 排队问题的Little定律 4．排队问题举例： 例1 排队问题M/M/1/∞（无限队长） ξ是一个参数连续状态离散的马尔可夫过程。 (1)()t (2) 求解Q矩阵： (3) 研究稳态t→∞的状态概率分布 (4) 达到稳定状态后，系统中顾客的平均数L， (5) 达到稳定状态后，系统中排队等待顾客的平均值L Q， (6) 达到稳定状态后，顾客在系统中的平均时间W， (7) 达到稳定状态后，顾客在系统中等待的平均时间WQ： (8) Little定律： M/M/1/∞排队模型总结： 系统中平均的顾客数和平均延迟与负载的关系：例2 排队问题M/M/1/N（有限队长） 例3 顾客成批到达的排队问题 例4 电话交换问题（M/M/N/N） 例5 M/M/s/∞排队系统 例6 队长为k>s、s个服务员的排队问题M/M/s/k 例7 机器维修问题

1 排队过程的基本参数和问题 排队模型的一般描述：A/R/S/N 排队系统的基本参数 A ：顾客到达系统的规律（典型的是泊松到达率）， R ：顾客在系统中接受服务的规律（典型的是负指数分布）， S ：系统中服务人员的个数（典型的是一个服务员）， N ：系统中排队队长的限制（典型的有限队长N ）。 排队的基本问题 在排队系统的平均顾客数L ， 在排队等候的平均顾客数L Q ， 顾客在系统中平均花费的时间W ， 顾客在排队等候的平均时间W Q 。 排队问题的李特公式 W L λ=，Q Q W L λ= 2．排队问题的分析方法 马尔可夫模型的排队问题，M/M/…… 确定： 系统状态转换图， Q 矩阵， 稳态的线性方程组， 得到： 稳态分布的递推关系和稳态解， 分析： 系统中的平均顾客数、平均队长、系统中的时间、平均等待时间、李特公式。 3. 排队问题的Little 定律 W L λ=，Q Q W L λ= 排队系统中普适性的定律，统计量服从的公式，对到达过程、服务时间分布、服务规则无特殊要求。

北大随机过程课件：第 3 章 第 6 讲 特征函数与母函数

特征函数、母函数、矩母函数 确定随机变量的概率密度函数/分布律 方便求解独立随机变量和的分布函数一类问题 可以通过微分运算求随机变量的数字特征 1．特征函数： 设随机变量ξ的分布函数为Ｆ(x), 概率密度函数为f(x), 称： (){}()()jt jtx jtx t E e e dF x e f x dx ξ∞∞?∞?∞ Φ===∫∫ 为随机变量ξ的分布函数的特征函数，或ξ的特征函数,特征函数是概率密度函数的付氏变换。 特征函数的性质： 1．特征函数与概率密度函数相互唯一地确定； 2．两个相互统计独立的随机变量和的特征函数等于各个随机变量特征函数的积； 3．特征函数与随机变量的数字特征的关系：()0()|{}k k k t t j E ξ=Φ= 典型随机变量的特征函数 1． 两点分布的特征函数：()jt t q pe Φ=+ 2． 二项式分布的特征函数：()()n jt t q pe Φ=+ 3． 几何分布：()1jt jt pe t qe Φ=? 4． 泊松分布(λ)：(1)()jt e t e λ??Φ= 5． 正态分布2(,)N σ?：22 ()exp{}2t t j t σΦ=?? 6． 均匀分布[0，1]：1()jt e t jt ?Φ= 7． 负指数分布：()t jt λ λΦ=?

2．母函数 研究分析非负整值随机变量时，可以采用母函数法： 对于一个取非负整数值n=0,1,2,……，的随机变量x ，，其相应的矩生成函数定义为： 0()()n n z p x n z ∞ =Φ==?∑ (1/)z Φ是序列()p x n =的正常的z 变换 母函数的性质： 1． 两个相互统计独立的随机变量和的母函数等于各个随机变量的母函数的积。 2． 随机个独立同分布的非负整值随机变量和的矩生成函数是原来两个母函数的复合(见附 合泊松过程的应用) 3．()000(),()!1,2,k k z z z p z k p k ==Φ=Φ==" 通过母函数有理分式的幂级数展开等方法，得到随机变量的概率分布表达式。 3． ()1(){(1)(1)}1,2,k z z E X X X k k =Φ=??+="" 通过矩生成函数的微分可以得到随机变量的数字特征： 均值： '1{}()|z E X z ==Φ 方差： 22''''2111{}{}[{}]()|()|[()|]z z z D X E X E X z z z ====?=Φ+Φ?Φ 典型随机变量的母函数 1． 两点分布的母函数：()z q pz Φ=+ 2． 二项式分布的母函数：()()n z q pz Φ=+ 3． 泊松分布(λ)：(1)()z z e λ??Φ= 4． 几何分布：()1pz z qz Φ=?