随机过程MA335.doc-致远学院-上海交通大学
随机过程马氏过程
5
一 齐次马氏链的遍历性
定义4.1 设齐次马氏链的状态空间为 E={1,2,…}，若对于E中所有的状态 i,j，存在 不依赖于i的常数πj，为其转移概率的极限， 即
lim p ij
n (n)
j,
i, j E
其相应的转移矩阵有
6
P
(n)
n P
P
(2)
P
2
即知其所有的二步转移概率均大于0，由定理 4.1知，此链具有遍历性.
11
再由转移概率与稳态概率满足的方程组得
1 1 1 2 3 0 1 2 2 1 1 2 1 2 0 3 2 2 1 1 0 1 2 3 3 2 2
(n) n
lim p 12
n
(n)
0 1 lim p 22 ,
(n) n
故由定义4.1知，此链不具有遍历性,也不存在 稳态概率。
14
二 齐次马氏链的平稳分布
定义4.2 设{X(n),n≥0}是一齐次马氏链，若存 在实数集合{rj,j∈E}，满足
(1 )
(2)
rj 0
于是由此可推测
(n)
lim P
n
0 0 0
1/ 2 1 0
1/2 0 1
4
因此,一般来说，通常讨论关于齐次马氏 链的n步转移概率的两方面问题，一是其极 限是否存在？二是如果此极限存在，那么 它是否与现在所处状态i无关，在马氏链理 论中，有关这两方面问题的定理，统称为 遍历性定理。
i E
p i ( 0 ) p ij
(1 )
(n)
随机过程
随机过程随机过程的定义 引言在许多实际问题中，不仅需要对随机现象对特定时间点上的一次观察，而且需要做多次的连续不断的观察，以观察研究对像随时间推移的演变过程。
首先我们观察的对象与通常意义上的函数()f t 是不同的， 观察研究的对象本身是一个随机变量X ，这个随机变量随时间的变化过程就是一个随机过程()X t ，通俗的理解。
随机变量X 的所有可能取值。
另一种解释是，随机过程是随机变量的函数。
随机两字的含义包含着随机过程()X t 的在某一时刻，如i t 时刻的取值，()()it t i i X t X t X ===仍然为一随机变量，随机变量i X 取值的样本空间Ω，样本空间中样本值可以是连续的，也可以是离散的。
如{}12,,,n x x x ，意味着在i t 时刻，随机变量i X 的取某一样本空间的某一元素的概率是确定的（做无穷多次实验的统计规律），在该时刻，所有样本空间元素的概率之和为1。
例如，随机相位正弦波信号。
()()sin X t a wt =+Θ 其中Θ服从均匀分布，则固定一个时刻i t 时，显然可求得i t 随机变量()i X t 的分布函数与概率密度。
可见其随机过程的概密度是时间参数t 与随机变量Θ的二元函数。
另一种理解是，对随机信号作一次观测相当于做一次随机实验，每次随机实验所得到的观测记录结果()i x t ，是一个确定函数，称为样本函数，所有样本函数的全体构成了随机过程。
随机过程的标准定义定义：设(Ω, Σ, P) 是一概率空间，对每一个参数t ∈T ， X (t,ω) 是一定义在概率空间(Ω, Σ, P) 上的随机变量，则称随机变量族 X T ={X (t ，ω); t ∈T}为该概率空间上的一随机过程。
其中T ⊂ R 是一实数集，称为指标集或参数集。
X (t,ω)通常简写为()X t 。
随机过程{X (t ); t ∈T }可能取值的全体所构成的集合称为此随机过程的状态空间，记作 S 。
上海交大研究生课程随机过程和排队论习题答案
随机过程与排队论课程部分习题答案第一章1－1 解：因为，,)1()1,()1|(>>=>x p x x p x x p 其中， ⎰∞+--==>1)1(λλλe dx e x p x所以，{=>)1|(x x p )1(0--x e λλ 11>≤x x ，[]λλλ11)1|(1|1)1(+==>=>⎰⎰∞+--∞+∞-dx e x dx x x xp x x E x1－3 解：因为，y dx ye y e y Yf y x f y Y x f y y y y 1)(),()|(0=====⎰--,其中，+∞<<<<y yx 00所以，[]31|2022y dx y x y Y x E y =⋅==⎰1－4解：令，{=Y 210迷宫第一次选择左边，走出分钟徊第一次选择左边，但徘第一次选择右边561,31,21210===p p p令N 为耗子徘徊的时间均值；[]27][65][]|[+====∑N E i Y p i Y N E N E i所以，[]N E ＝21。
平均徘徊21分钟1－8解：Y 的概母函数qZ pZZ P -=1)(所以，[]()p q p P Y E 11)1(2'=-==，222][][][p qY E Y E Y Var =-=1－10 证明：（略）1－11 解：a ）N S 的概母函数为：⎥⎦⎤⎢⎣⎡--==λλqZ p Z P G Z H 1exp ))(()(N S 的均值：p q S E N λ=][，方差，2)1(][p q qS Var N +=λb ）（1）证明：N S 的概率母函数为))1(exp())(exp()(-=-+=Z p Zp q Z H λλλ所以，N S 是均值为p λ的泊松分布。
（2）)()(),(y S P n N P y S n N P n N =⋅==== yn y n q p y n y n e n --⋅-⋅⋅=λλλ)!(!!!)!(!y n y q p e yn y n -=--λλ 得证（3）!)(),()(),()|(y e p yS n N P y S p y S n NP y S n N P py N N N N λλ-⋅=========()y n y n q e yn q ≥-=--,)!(λλ，证毕1－13 解：)()('x F x f =，且[]θλλθθ+==-K e E f x )(*所有, []λθθθKd df x E =⎥⎦⎤⎢⎣⎡-==0*)(1－15解：[]()22*1)(θθθθ---==e e E f x第二章2－2 解：na a a a a a n p qq p p q p q U ⎪⎪⎭⎫⎝⎛-+--=2－5 证明：（略）2－7 证明：（略）2－8 解：)(1t N 时间t 内通过的小车数，)(2t N 时间t 内通过的大车数 a ）950.011)1)((36005.01≈-=-=≥-⨯-e e t N Pb ）[])(67105710)(|)(1辆=+==t N t N Ec ）066.0)5)(45)((12＝，＝=t N t N P2－9解：a ）顾客到达的时间的分布是均匀分布，所以，3/1)20(=p p ＝分钟内到达顾客在开始9/1)202(2=p p ＝分钟内到达个顾客在开始b ）至少有一个顾客在开始20分钟内到达的概率95)1(12=--=p p b2－11解：)1)1(exp())(()(qZ Z Z P G t M --=λ的概母函数：所以，p tP t X tE t M E i λλλ=⋅==)1(][)](['同时， 22)2(][)]([p p q t X tE t M Var +==λλ第三章3－1 解：1）根据定义，此过程为马氏链。
随机过程第二章
2.2 随机过程的分类和举例
2、离散参数、连续状态的随机过程 这类过程的特点是参数集是离散的，对于固定的t∈T， X(t)是连续性随机变量。
例 设Xn，n=…,-2,-1,0,1,2,…是相互独立同服从标准正态 分布的随机变量，则{Xn，n=…,-2,-1,0,1,2,…}为一随机
过程，其参数集T={…,-2,-1,0,1,2,…}，状态空间 S=(﹣∞,+∞)
2.3 随机过程的有限维分布函数族
例2.3.2 令X(t)=Acost,﹣∞<t<+∞,其中A是随机变量，其
分布律为 试求
P(A=i)= 1 , i=1,2,3 3
(1) 随机过程{X(t),﹣∞<t<+∞}的一维分布函数
(x)
2,
1 2
0,其他
x
0
时X( )Vcos V，故 X
(
)
的概率密度
1,1x0 fX()(x)0,其他
2.1 随机过程的定义
(3) 当t
2
时，X(2)Vcos20，不论V取何值,
均有 X ( ) 0，因此，P(X( )0)1，从而X ( ) 的
2
2
2
分布函数为
1,x0
F
X(
(x)
…
exp[
j(u1x(t1)
u2x(t2)
…
unx(tn))]dF(t1,t2,? ,tn;x1,x2,…,xn) ui∈R,ti∈T,i=1,2,…,n,j= 1
为随机过程{X(t), t ∈T }的n维特征函数.
2.3 随机过程的有限维分布函数族
称 { ( t 1 , t 2 , … , t n ; u 1 , u 2 , … , u n ) , u i R , t i T , i 1 , 2 , … , n , n N }
随机过程_课件---第三章
随机过程_课件---第三章第三章随机过程3.1 随机过程的基本概念1、随机过程定义3-1 设(),,F P Ω是给定的概率空间，T 为一指标集，对于任意t T ∈，都存在定义在(),,F P Ω上，取值于E 的随机变量()(),X t ωω∈Ω与它相对应，则称依赖于t 的一族随机变量(){},:X t t T ω∈为随机过程，简记(){}tX ω，{}tX 或(){}X t 。
注：随机过程(){,:,}X t t T ωω∈Ω∈是时间参数t 和样本点ω的二元函数，对于给定的时间是()00,,t T X t ω∈是概率空间(),,F P Ω上的随机变量；对于给定样本点()00,,X t ωω∈Ω是定义在T 上的实函数，此时称它为随机过程对应于0ω的一个样本函数，也成为样本轨道或实现。
E 称为随机过程的相空间，也成为状态空间，通常用""t X x =表示t X 处于状态x 。
2、随机过程分类：随机过程t X 按照时间和状态是连续还是离散可以分为四类：连续型随机过程、离散型随机过程、连续随机序列、离散随机序列。
3、有穷维分布函数定义3-2 设随机过程{}t X ，在任意n 个时刻1,,n t t 的取值1,,nt tX X 构成n 维随机向量()1,,n t t XX ，其n 维联合分布函数为：()()11,,11,,,,nnt t nt t nF x x P X x Xx ≤≤其n 维联合密度函数记为()1,,1,,n t tn f x x 。
我们称(){}1,,11,,:1,,,nt t n n Fx x n t t T ≥∈ 为随机过程{}t X 的有穷维分布函数。
3.2 随机过程的数字特征1、数学期望对于任何一个时间t T ∈，随机过程{}t X 的数学期望定义为()()tX t t E X xdF x μ+∞-∞==?()t E X 是时间t 的函数。
2、方差与矩随机过程{}t X 的二阶中心矩22()[(())],tX t t t Var X E X E X t T σ==-∈称为随机过程{}t X 的方差。
第一讲随机过程的概念
随机过程的基本知识
引例：热噪声电压
一、随机过程的定义
定义1 设E是一随机实验,样本空间S={e}，T为参数集
若对每个eS ,X(e,t)都是实值函数, 则称{X(e,t),t T}
为随机过程，简记为X(t),t T 或X(t),也可记为X(t).
称族中每一个函数称为这个随机过程的样本函数。
样本函数： xi (t ) a cos( t i ) , i (0 , 2 )
状态空间:I=（-a，a）
例3: 掷骰子试验
伯努利过程 （伯努利随机序列）
以上都是随机过程，状态空间都是:I={1，2，3，4，5，6}
二、随机过程的分类
离散型随机过程
1. 依状态离散还是连续分为：
s, t 0, C X ( s, t ) DX [min{s, t }].
④ C X ( s, t ) Cov( X ( s), X (t ))
E[ X ( s) X ( s)][X (t ) X (t )]
为{X(t),tT}的协方差函数.
⑤ Rx(s,t)=E[X(s)X(t)]为{X(t),tT}的自相关函数, 简称相关函数
诸数字特征的关系：
X (t ) f ( x, t )
称 f ( x, t ) 为随机过程的一维密度函数 称{ f ( x, t ), t T } 为一维密度函数族.
X t 0 ，其中 X Y ( t ) te 例4 设随机过程
e( ) ，求
{Y (t ),t 0}的一维密度函数
y P( X ln ) , t 解： F ( y; t ) P[Y (t ) y ] P(te y ) 0 ,
随机过程
时间离散的Markov 链 §1 Markov 链的概念 1.1 定义与Markov 性质定义1.１ 随机过程可能取到的值(状态)组成的集合记为S , 称为随机过程的状态空间. 随机序列{}:0n n ξ≥称为Markov 链, 如果这些随机变量都是离散的（S 至多是一个可数集） , 而且对于0n ∀≥及任意状态01,,,...,,n i j i i - 都有111001(|,,...,)(|)(1.1)n n n n n n p j i i i p j i ξξξξξξ+--+=======----即下一时刻状态只与最近时刻的状态有关。
（1.1）式称为Markov 性质，事实上此性质能够进一步推广，设f 是状态空间s 上的有界实值函数则有下面结论：111001(()|,,...,)(()|)n n n n n n p f i i i p f i ξξξξξξ+--+=====下面给出Markov 性质的几个等价形式:(1).Markov 性等价于：对于过程在时刻n 以前的时刻所确定的事件A 及时刻n+1 及其以后的时刻所确定的事件B 有或'(|)(|)(|)(1.2)n n n p BA i p B i p A i ξξξ====----(1.2)式的含意为: 如果过程在时刻n 处于状态i ，那么不管它以前处于什么状态，过程以后处于什么状态的概率是一样的. 这就说明了，Markov 链在已知“现在”的条件下，“将来”与“过去”是条件独立的.即是说Markov 性质为：(|,)(|)(1.2)n n p B A i p B i ξξ===----在已知“现在”的条件下，“将来”与“过去” 是条件独立的. Problem: 能否推出A 和B 独立，事实上此问题可以转化为当n ξ取值是一个集合时'(1.2)是否还成立，这里先给出结论：不成立，可以给出反例加以说明。
(2)Markov 性的等价于：对Markov 链{}n ξ及1,0m n ∀≥≥和任意状态01,,,...,,n i j i i -有1100(|,,...,)(|)(1.3)n m n n n n m n p j i i i p j i ξξξξξξ+--+=======----11100111100111100111:1.1m (|,,...,)(,|,,...,)(|,,,...,)(|,,...,n m n n n n m n n n n kn m n n n n kn n n n pf m p j i i i p j k i i i p j k i i i p k i i ξξξξξξξξξξξξξξξξξξ++--+++--+++--+--<>=================⨯===∑∑对m 作归纳。
第二章随机过程
第⼆章随机过程第 2 章随机过程2.1 引⾔确定性信号是时间的确定函数，随机信号是时间的不确定函数。
?通信中⼲扰是随机信号，通信中的有⽤信号也是随机信号。
描述随机信号的数学⼯具是随机过程，基本的思想是把概率论中的随机变量的概念推⼴到时间函数。
2.2 随机过程的统计特性⼀.随机过程的数学定义：设随机试验E 的可能结果为)(t g ，试验的样本空间S 为{x 1(t), x 2(t)， …, x n (t),…}， x i (t)是第i 次试验的样本函数或实现，每次试验得到⼀个样本函数，所有可能出现的结果的总体就构成⼀随机过程，记作)(t g 。
随机过程举例：⼆.随机过程基本特征其⼀，它是⼀个时间函数；其⼆，在固定的某⼀观察时刻1t ，)(1t g 是随机变量。
随机过程具有随机变量和时间函数的特点。
●随机过程)(t g 在任⼀时刻都是随机变量；●随机过程)(t g 是⼤量样本函数的集合。
三.随机过程的统计描述设)(t g 表⽰随机过程，在任意给定的时刻T t ∈1， )(1t g 是⼀个⼀维随机变量。
1.⼀维分布函数：随机变量)(t g ⼩于或等于某⼀数值x 的概率，即})({);(1x t g P t x P ≤= 2.2.12.⼀维概率密度函数:⼀维概率分布函数对x 的导数.xt x P t x p ??=);(),(11 2.2.2 3.对于任意两个时间1t 和2t ,随机过程的对应的抽样值)(1t g )(2t g 为两个随机变量.他们的联合分布定义为)(t g 的⼆维分布})(;)({),;,(221121212x t g x t g P t t x x P ≤≤= 2.2.34.⼆维分布密度定义为212121221212),;,(),;,(x x t t x x P t t x x p = 2.2.4 四.随机过程的⼀维数字特征设随机过程)(t g 的⼀维概率密度函数为),(1t x p .1.数学期望(Expectation)dx t x xp t g E t g );()]([)(1?∞∞-==µ 2.2.5 2.⽅差(Variance)dx t x p t x t t g E t g Var t g g g ),()]([]))()([()]([)(1222µµσ-=-==?∞∞- 2.2.6五.随机过程的⼆维数字特征1.⾃协⽅差函数(Covariance)21212122211221121),;,())())((())]()())(()([(),(dx dx t t x x p t x t x t t g t t g E t t C g g g g g µµµµ--=--=??∞∞-∞∞- 2.2.72. ⾃相关函数(Autocorrelation)2121212212121),;,()]()([),(dx dx t t x x p x x t g t g E t t R g ∞∞-∞∞-== 2.2.83.⾃相关函数和⾃协⽅差函数的关系)]([)]([),(),(212121t g E t g E t t R t t C g g ?-= 2.2.94.设两个随机过程分别为)(),(t h t g ,在时刻1t 和2t ,对)(),(t h t g 抽样,两个随机过程的互相关函数(Cross-correlation)定义为)]()([),(2121t h t g E t t R gh = 2.2.105.两个随机过程的互协⽅差函数(Cross-covariance)定义为)]()())(()([(),(221121t t h t t g E t t C h g gh µµ--= 2.2.112.3 平稳随机过程⼀.狭义平稳的随机过程(严平稳的随机过程)对于任意的正整数n 和实数τ,若随机过程)(t g 的n 维概率密度函数满⾜ ),,;,,(),,;,,,(21212121n n n n n n t t t x x x p t t t x x x p=+???++???τττ 2.3.1 则称)(t g 为狭义平稳的随机过程.统计特性不随时间的推移⽽变化的随机过程称为平稳随机过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上海交通大学致远学院2014年秋季学期
《随机过程》课程教学说明
一.课程基本信息
1．开课学院（系）：致远学院
2．课程名称：《随机过程》(Stochastic Processes)
3．学时/学分：64学时/4学分
4．先修课程：概率论
5．上课时间：周二、四，3-4节课
6．上课地点：中院207
7．任课教师：韩东（donghan@）
8．办公室及电话：数学楼1206，54743148-1206
9．助教：张登（zhangdeng@）
10.Office hour：周四下午3-5点，数学楼1206
二.课程主要内容（中英文）
随机过程是定量研究随机现象（事件）统计规律的一门数学分支学科。
学习《随机过程》的主要目的是：了解、认识随机现象的统计性质；知道如何构造随机模型并且能计算和分析随机事件随时间发生变化的的概率及其相关性质。
《随机过程》主要包括：Poisson过程、Markov过程、鞅过程、Bronian 运动、随机分析基础(Ito积分与随机微分方程)、平稳过程等。
Stochastic Processes are ways of quantifying the dynamic relations of sequences of random events. It is a branch of mathematics. The main content of this course includes: General theory of stochastic processes; Poisson process and renewal theorems; Martingales; Discrete-time Markov Chains; Continuous-time Markov Chains; Brownian motion; Introduction to stochastic analysis; Stationary processes and ARMA models.
第一章概率论精要
主要内容：概率公理化，全概率公式和Bayes 公式，随机变量及其数字特征、条件期望、极限定理。
重点与难点：条件期望和极限定理。
第二章随机过程的基本概念
主要内容：随机过程的定义、随机过程的存在性、随机过程的数字特征。
重点与难点：随机过程的存在性。
第三章Poisson 过程
主要内容：Poisson过程的定义及性质，首达时间与其间隔的分布，Poisson过程的极限定理。
重点与难点：首达时间间隔与Poisson过程的关系。
第四章Markov过程
主要内容：转移概率、状态分类与空间分解、平稳分布、转移速率、向前向后方程、平稳分布、生灭过程。
重点与难点：转移概率的极限与平稳分布。
第五章鞅过程
主要内容：鞅定义及性质、鞅停时定理、鞅的收敛性、鞅不等式。
重点与难点：鞅停时定理。
第六章Bronian 运动
主要内容：Bronian运动定义及性质、首达时间分布、Bronian运动与Markov性质、轨道性质。
重点与难点：鞅停时定理
第七章随机分析基础
主要内容：均方微分与积分、Ito积分及性质、Ito公式、Ito随机微分方程的解及其性质。
随机微分方程的应用。
重点与难点：Ito公式
第八章平稳过程
主要内容：严、宽平稳过程的定义及性质、谱分解定理、各态历经性。
重点与难点：各态历经性。
三.课程教学进度安排（中英文）
四.课程考核方式及说明
平时成绩（作业、听课等）10%
期中考试（闭卷）成绩30%
期末考试（闭卷）成绩60%
五.教材与参考书
教材：《随机过程讲义》, 韩东、王桂兰、熊德文，2013.
参考书：Probability, Statistics, and Stochastic Processes (Peter Olofsson, John Wiley & Sons,2005) The Essentials Probability (Richard Durrett, Duxbury Press, 1994)
《应用随机过程》（林元烈，清华大学出版社，2005）。