第二章随机过程的基本概念

第二章随机过程的基本概念§1随机过程及其概率分布、随机过程概念：一、随机过程概念：初等概率论所研究的随机现象，基本上可以用随机变量或随机向量来描述.但在实际中有些随机现象要涉及(可列或非可列)无穷多个随机变量.例1．某人扔一枚硬币，无限制的重复地扔下去，要表示无限多次扔的结果，我们不妨记正面为1，反面为0.第次扔的结果是一个，其分布，无限多次扔n n r vX ⋅{}{}1012n nP X P X ====，无限制的重复地扔，要表示无限多次扔的结果，我们不妨反面为其分布无限多次扔的结果是一个随机过程，可用一族相互独立，，或表示.r v ⋅1X ，2X {},1nX n ≥nnX 0nn0 1 2 3 4 5 6 7 8 910……例2．当固定时，电话交换站在时间内来到的呼叫次数是，记，，其中是单位时间内平均来到的呼叫次数，而，若从变到，时刻来到的呼叫次数需用一族随机变量表它为非降的阶，在有呼唤来到的时刻阶跃地增加，假定在任一呼唤来到的时刻不可能来到多）(0)t t ≥[0,]t r v ⋅()X t ()()X t P t λ λ0λ>t 0∞t {}(),[0,)X t t ∈∞()X t ，电话交换站在记，若时刻示，是一个随机过程. 对电话交换站作一次观察可得到一条表示以前来到的呼唤曲线，它为非降的阶梯曲线，在有呼唤来到的时刻阶跃地增加，（假定在任一呼唤来到的时刻不可能来到多于一次呼唤）.E t 1()x t同理，第二次观察，得到另一条阶梯形曲线；同理，第n 次观察，得到另一条阶梯形曲线.2()x t ()n x t ，第二次观察，得到另一条阶梯形曲，第，得到另一条阶梯形曲 总之，一次试验得到阶梯形曲线形状具有随机性1()X t ()X t图……0 02()X t()nX tt 0t2图2在例1中每一张点图和例2中每一条阶梯形曲线，称作一个样本函数或一条样本曲线.样本函数表示一次结果的函数.对随机过程进（无限多个）随机变量；另，它是某种，而试验出现的E E ，称作一个样本函数或一条样本曲线行一次观察，出现样本函数是随机的.即随机过程是一族（无限多个）随机变量；另一方面，它是某种的结果，而试验出现的样本函数是随机的.E例3．热噪声电压.电子元件或器件由于内部微观粒子（如电子）的随机热运动所引起的端电压，称为热噪声电压.以电阻之热噪声电压为例.以表示热噪声电压.引进第次长时间测量得一条电压-时间曲线：固定考察，第而因此，{}(),[0,)X t t ∈∞i （如电子）的随机热运动所引起的，称为热噪声电压,一次得到的样本曲线是随机的. 理解：固定，考察在数值，第次值为.显然为一个.于是固定时热噪声电压是一个，而变化时是一族，因此，是一个随机过程.() (1,2,,,)i x t i n = E 0t t =()X t ()X t ()X t 0t i 0() (1,2,,,)i x t i n = 0()X t r v ⋅r v ⋅t t {}(),(0,)X t t ∈+∞r v ⋅()X t 1()X t 0……2()X t ()n X t 0t 图3例4.英国植物学家Brown 发现液体表面的花粉微粒做无规则的运动，后来就称为Brown 运动.这种运动的起因是花粉受到液体分子的碰撞，这种碰撞每秒钟多达次，这些微小2110，后来就称为，这种碰撞每秒钟多达，这些微小碰撞力的总和使花粉微粒做随机运动.我们用表示时刻花粉微粒的位置，这是二维随机向量.我们得到.()(),X t Y t ()()()(){},,0,X t Y t t ∈∞t设是一个概率空间，是一个实数集.是对应于和的函数,即为定义在和上的二元函数，若此函数对任意固定的，是上,则称是随机过程.，在，它是一个称之为过，它，称为随机过程的样本函数或样，亦称之为现实（曲线）(,,)F P Ω(,,)F P ΩTT Ωt T ∈(t,)X ω{}(,),,X t t T ωω∈∈Ω{}(,),,X t t T ωω∈∈Ωt ωr v ⋅定义：，是一个实数，若此函数对任意随机过程在时刻状态或截口：为一随机过程，在固定时，它是一个，称之为过程在时刻的状态或截口.若固定，它是的函数，称为随机过程的样本函数或样本曲线，亦称之为现实（曲线）.(,)X t ω(,)X t ωt t t ωr v ⋅tRemark ：①上述定义中样本空间通常可理解为样本函数的全体，而每一条样本曲线作为一个基本事件；例3：样本曲线作为改写为；全体样本函数ΩΩΩ()i x t ω(1,2,,,)i i n ω= (,)i X t ω{}()x t {}(,)X t ω①上述定义中样本空间，而每一条样本曲线作例样本曲线全体样本函数构成样本空间，即全体构成样本空间当时，即为i ωω=X(,)i t ω(),i 1,2i x t =②随机过程可简记为，通常并不指出概率空间.此时样本函数用表示，第次得到的样本函数为.定，且，记为{}(),X t t T ∈Ω()x t i () (1,2,,,)ix t i n = ()X t t 通常并不指， 随机过程状态空间或值域：随机变量(固)的所有可能取的值构成一个实数集，称之为过程的状态空间或值域，记为；而每一个可能值称为一个状态().()X t t T ∈r v ⋅E随机过程的各个状态：（可能取的各个数值）.例1状态空间由与二数构成；例3噪声电压的状态空间.随机过程的分类(根据及为可列集或非可列集) （1）离散参数，离散状态的随机过程：离散参数，连续状态的随机过程：连续参数，离散状态的随机过程连续参数，连续状态的随机过程() ()X t t T ∈01(,)-∞+∞T E ：可能取的各个数）；例离散参数，离散状态的随机过程：（2）离散参数，连续状态的随机过程：（3）连续参数，离散状态的随机过程. （4）连续参数，连续状态的随机过程二、有限维分布族： 对于任意的,称为随机过程的维分布函数.，二维分布函，，等等的全体12,,,n t t t T ∈ {}121211(,,,;,,,)(),,()n n n n F x x x t t t P X t x X t x =≤≤ ()X t n n ()X t 、有限维分布族：定义： 定义随机过程的维分布密度随机过程一维分布函数，二维分布函数，，维分布函数，等等的全体称为过程的有限维分布族.n ()X t 12121112(,,,;,,,)(,,;,,)nn n n n nf x x x t t t F x x t t x x x ∂=∂∂∂ ()X t 1121{(,,;,,,):,,,1}n n n F x x t t t t t T n ∈≥有限维分布函数族性质： (1).对称性:对的任意一种排列有1,2,,n 12,,n j j j 111212(,,,;,,,)(,,;,,)n n n n j j j j F x x x t t t F x x t t = ：(2).相容性:对,有:m n <112(,,;,,,)m m F x x t t t 112(,,,,,;,,,)m n F x x t t t =+∞+∞利用随机过程的统计特性(有限维分布族和数字特征)进行分类,主要有两类随机过程：平稳过程与马尔可夫过程.下面我们介绍随机过程中的一个重要定理：，则必存在概率空间使T ：平：Theorem （Kolmogorov ）若给定参数集及分布函数族满足相容性条件，则必存在概率空间及定义于其上的随机过程，使的有限维分布函数族与上述给定的分布函数族是重合的.11{(,,;,,):n n F x x t t 11,,,}n n t t T ∀≥∈ (,,)P ΩF {(),}X t t T ∈()X t§2.随机过程的数字特征一、数学期望和方差 在每一时刻是一个,其期望和方差都是依赖于参数的函数.{(),}Xtt T ∈t T ∈r v ⋅t ()()(,),X m t E X t xdF x t t T +∞-∞==∈⎰、数学期望和方差均值(函数):其中是过程的一维分布函数. 表示随机过程的样本函数在时的状态的统计平均值,是一条固定曲线.(;)F x t ()X m t t ()X m t（a ）（b ）()Xt ()X t t t()x m t ()x m t 图5方差(函数)标准差它们描绘它的样本曲线在各个时刻2()(())[()()],X X D t D X t E X t m t t T==-∈()()()X X t D t DX t ==对的分散程度均方值(函数) 易知t ()X m t 2()()X t EX t ψ=22()()()X D X t EX t m t =-2()()X X t m t =ψ-二、随机过程的协方差函数和相关函数 随机过程的(自)协方差函数(的协方差)()X t 12()()X t X t 与1212(,)cov((),())X C t t X t X t =1122[()()][()()]X X E X t m t X t m t =--、随机过程的协方差函数和相关函数 协方差函数还可表示为:随机过程的(自)相关函数121212(,)[()()]()()X C t t E X t X t EX t EX t =-1212(,)[()()]X R t t E X t X t =例1.随机相位正弦波其中是正常数,而，求期望、方差和相关函数.例2.设随机过程,其中0()cos()X t a t t ω=+Φ-∞<<+∞0,x ω.[0,2]r v U π⋅Φ ()X t 2(),X t X Y t Zt t =++-∞<<+∞,,X Y Z 求、相互独立,各自期望为0,方差为1，求协方差函数.例3.给定一个随机过程和常数,用的相关函数表示随机过程的相关函数.()X t a ()X t ()()()Y t X t a X t =+-三.正态随机过程（高斯过程） 定义设或，称随机过程为正态随机过程，如果对任意正整数及，是维正态向量.维密度函数：[0,)T =+∞(),t T X t ∈n 1,n t t T ∈ ()()1(),X nX t t n 11(n⎧'⎬n (,)T =-∞+∞（高斯过程）称随机过程，如果对任意正整数：其中()111221e ,xp )()2(2)|C |;,X n n X fx x t x m C t x m -⎫⋅---⎭=⎨⎩ ()()1212,,,,(),(),()n X X X X n x x x x m m t m t m t == ()111212122212(,)(,)(,)(,)(,)(,),0(,)(,),X X X n X X X n X n X n X n n C t t C t t C t t C t t C t t C t t C C C t t C t t C t t ⎛⎫ ⎪ ⎪=≠ ⎪ ⎪ ⎪⎝⎭性质：正态随机过程的有限维分布密度完全的由其期望和协方差函数所确定.定理是高斯过程的充要条件是它的任意有限个元的任意线性组合都是一个一维正态随机变量或常数.(),t T i i X t ∈()1(),X nX t t四、二阶矩过程(second moments processes ) 若随机过程的一、二阶矩存在，即则称{(),}X t t T ∈()()2()E X t E x t <+∞<+∞、二阶矩过程、二阶矩存在，即是二阶矩过程.二阶矩过程的协方差函数,相关函数总是存在的.高斯过程是二阶矩过程.()X t ()12,X C t t 12(,t )X R t随机过程的相关理论:从二阶矩过程数学期望和相关函数出发讨论随机过程的性质,而允许不涉及它的有限维分布.这种理论称之为随机过程的相关理论.五、相关函数的性质:，即：协方差函数、相关函数的性质 两条性质:(1)是对称的，即 (2)相关函数是非负定的,即对任意和任意实数及任意复数有: 注：协方差函数也满足上述性质.12(,)X R t t 1221(,)(,)X X R t t R t t =12(,)X R t t 1n ≥12,,,nT τττ∈ 1,,n z z 11(,)0n n j X k j k k j R z z ττ==≥∑∑()12,X C t t§3复(值)随机过程从实值随机过程到复值随机过程,是数学上的推广,在工程上亦有必要.复随机过程:若是实随机过程,则(),()()X t Y t t T ∈()()(),Z t X t iY t t T =+∈称为复随机过程.复随机过程概率分布:可用二维随机过程的所有维分布函数或分布密度给出.期望: (自)协方差函数:()Z t ((),())T X t Y t m n +()()()(),Z m t EZ t EX t iEY t t T==+∈12112212(,)[(()())(()())], ,Z Z Z C t t E Z t m t Z t m t t t T =--∈(自)相关函数定义:注意与实随机过程协方差和相关函数定义不同(取共轭)121212(,)[()()],,Z R t t E Z t Z t t t T=∈ 方差:非负的实函数.均方值:非负实函数.2()()()(,)Z Z Z D t E Z t m t C t t =-=2()()(,)Z Z t E Z t R t t ψ==易知:121212(,)(,)()()Z Z Z Z C t t R t t m t m t =-Proof:121122(,)[(()())(()())]Z Z Z C t t E Z t m t Z t m t =--1212[()()]()()Z Z E Z t Z t m t m t =-1211(,)()()Z Z Z R t t m t m t =-复二阶矩过程:一阶和二阶矩存在(期望、方差、协方差和相关函数有限)的复随机过程.且期望和相关函数是复二阶矩过程的基本数字特征,协方差与方差均可由它们确定. 两个复随机过程,可定义12(),()()Z t Z t t T ∈、方、协方差和相关函数有限互协方差函数: 互相关函数:12121122(,)c o v ((),())Z Z C t t Z t Z t =1211122212[()()][()()] ,Z Z E Z t m t Z t m t t t T=--∈12121122(,)[()()]Z Z R t t E Z t Z t =Remark: (1)通常仅考虑实随机过程(2).随机过程的微积分和第三章平稳过程亦适用复随机过程. 例.复随机过程其中是正常数,是固定正整数,是实,相互独立,求的期望与相关函数.此例表示个复谐波信号叠加而成的信号,它是复随机过程.0()1(),k Ni t k k Z t A e t ω+Φ==-∞<<+∞∑0ωN k A ,[0,2]kr v U π⋅Φ (1,2,,)kkA k N Φ= 和()Z t ()Z t N§4随机微积分在实际问题中，常涉及到随机过程的导数和积分，这些运算都是极限运算.就我们的目的而言，假定，存在有效的研究，常涉及到随机过程的导数和积分，，假定极限为均方意义下的极限就够了.这是因为一般应有领域所涉及的过程大部分是二阶矩过程，并且均方收敛在数学上比其它收敛简单，存在有效的研究方法.一、均方极限(limit in mean square):定义1.设随机序列,若有:则称22{,1,2,},,n n X n r v X E X E X =⋅<∞<∞和且2l i m 0nn EXX →∞-=均方收敛于,而均方极限记(“ ” limit in mean square)Remark:针对一般数列而言针对随机序列而言n X X n X X 是n n l i m X X →∞⋅⋅=l i m ⋅⋅l i m ⋅⋅lim定理.若，则.即均方极限在概率为1相等的意义下唯一.均方极限性质：，若则,n n n n l i m X X l i m X Y →∞→∞⋅⋅=⋅⋅=且{}1P X Y ==,lim ,lim []n n n n n n n n l i m X X EX EX EX E l i m X →∞→∞→∞→∞⋅⋅===⋅⋅则即则：(1)若即极限与数学期望可交换次序.(2)若则.特别的，若，则.(3)若则对常数有,,m n n n l i m X X l i m Y Y →∞→∞⋅⋅=⋅⋅=EXY Y EX nm n m =∞→∞→lim n n l i m X X →∞⋅⋅=2lim ()m nn n E X X EX →∞→∞=,,n n n n l i m X X l i m Y Y →∞→∞⋅⋅=⋅⋅=,a b ()n n n l i m aX bY aX bY→∞⋅⋅+=+(4)若数列有极限，又是，则(5) .{,1,2,}n a n = lim 0n n a →∞=X r v ⋅()0n n l i m a X →∞⋅⋅=()0nmnn m n l i m X l i m X X →∞→∞→∞⋅⋅⇔⋅⋅-=存在2又Remark:在性质(2)条件下不能得到2,()mn n m n l i m X X l i m X Y XY→∞→∞⋅⋅=⋅⋅=例1：设有二阶矩随机序列和二阶矩变量,且，是普通函数，且满足李普希茨条件:，其中是一正常数，证明:设，令证明{}n X X ()f n ()()f u f v M u v -≤-M ((n n l i m X X →∞⋅⋅=设有二阶矩随机序列，且满足其中，证明 例2：设是独立同分布随机变量序列，，令，证明:))n n l i m fX fX →∞⋅⋅=12,,Y Y211,E Y D Y μσ==11nnii X Y n ==∑n n l i m X μ→∞⋅⋅=二、均方连续性与均方导数本节以后之内容参数集取为连续的,如取. 定义若随机过程,对固定的,有，则称T [)[,],(,),0,a b -∞+∞+∞{(),}X t t T ∈0t T ∈00()()t t l i m X t X t →⋅⋅=、均方连续性与均方导数即则称在处均方连续.若在中每一个处都连续，则称在上均方连续.20lim ()()t t E X t X t →-=()X t 0t ()X t T t ()X t T定理随机过程在上均方连续其相关函数在的所有点上是连续的. 证：事实上需证:在上任一固定点上连续连续.定义在处，下列均方极限，则称此极限为，记为此时，称，则称{(),}X t t T ∈T ⇔12(,)XR t t {(,):}t t t T ∈()X t T 0t 1200(,)(,)X R t t t t ⇔在“{(),}X t t T ∈0t ：，下列均方极限存在，则称此极限为在处的均方导数，记为，或，此时，称在处均方可导.若在中的每一点上均方可导，则称在上均方可导.000()()h X t h X t l i m h→+-⋅⋅()X t 0t '0()X t 0()t t dX t dt =()X t 0t ()X t T t ()X t T定理随机过程在处均方可导极限存在，因而在上均方可导上式对所有：，只需证{(),}X t t T ∈t ⇔00(,)(,)(,)(,)lim X X X X h h R t h t h R t h t R t t h R t t h h →'→''++-+-++'⨯(Ⅰ)()X t T ⇔t ，因而均成立.证：上式成立，只需证存在.由均方极限性质(5),只要即⇐0()()h X t h X t l i m h→+-⋅⋅00()()()()[]0h h X t h X t X t h X t l i m h h →'→'+-+-⋅⋅-='()200()()()lim 0h h X t h X t X t h X t E h h →'→'+-+--='亦即，而此极限在，，所以200(,)(,)(;)(,)lim [X X X X h h R t h t h R t h t R t t h R t t h →'→++-+-++2(,)(,)(,)(,)X X X X R t h t h R t h t R t t h R t t h ''''++-+-+++'因为(Ⅰ)极限存在，而此极限在时亦存在，且极限数值不变，所以存在.(,)(,)(,)(,)2]0X X X X R t ht h R t ht R t t h R t t h h ''++-+-++-⨯='h h '=0()()h X t h X t l i m h→+-⋅⋅设在处可导，利用均方极限性质(2),且存在，可得，亦即极限⇒()X t t 0()()h X t h X t l i m h→+-⋅⋅，利用均方极限性质，可得存在，亦即极限存在.00()()()()lim []h h X t h X t X t h X t E h h →'→'+-+-⋅'00(,)(,)(,)(,)lim X X X X h h R t h t h R t h t R t t h R t t h h →'→''++-+-++'性质(其证明只须用均方导数定义和均方极限性质)（1）若过程在处可导,则它在处连续.()X t t tt 均方导数()X t ()X t '（2）的期望是()[()]()()X X dm t E X t EX t m t dt'''===求导记号与数学期望可交换次序.(3)若随机过程的均方导数存在，则，，则()X t ()X t '∂()()()()''()X ,()X ,E X s t R s t s E X s t R s t t ∂⎡⎤=⎣⎦∂∂⎡⎤=⎣⎦∂，则(4)若 (5)若是随机过程，是常数，则22121212121221(,)[()()](,)(,)X X X R t t E X t X t R t t R t t t t t t '∂''===∂∂∂∂,X r v X '⋅=为则(),()X t Y t ,a b [()()]()()aX t bY t aX t bY t '''+=+证：2()()()()()()a X t hb Y t h a X t b Y t E a X t b Y t h+++--''--2()()()()(())(())X t h X t Y t h Y t E a X t b Y t h h+-+-''=-+-2222()()()()()()X t h X t Y t h Y t a E X t b E Y t h h+-+-''≤-+-121222()()()()2()()X t h X t Y t h Y t a b E X tE Y t h h ⎛⎫⎛⎫+-+-''+-⋅- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭h →−−−→(6)若是可微函数，是随机过程，则证：()f t ()X t [()()]()()()()f t X t f t X t f t X t '''=+2()()()()()()()()f t h X t h f t X t E f t X t f t X t h++-''--2()()()()()()()()()()()()f t h Xt h f t Xt h f t Xt h f t Xt E f t Xt f t X th++-+++-''=--2()()()()()()()()()f t h f t X t h X t E X t h f t X t f t X t h h +-+-⎡⎤''=+-+-⎢⎥⎣⎦2()()(()0())()()()()()X t h X t E f t h X t h f t X t f t X t h +-⎡⎤'''=++-+-⎢⎥⎣⎦[]2()()()()()0()()()()X t h X t E f t X t h X t h X t h f t X t h +-⎡⎤''=+-+++-⎢⎥⎣⎦22222()()(())()()0()()()()X t h X t E f t X t h X t h E X t h f t E X t h +-⎡⎤''≤+-+++-⎢⎥⎣⎦()1/2221220()()(()())()h f t E X t h X t E X t h '++-⋅+122212()()20()()()(())X t h X t h f t E X t E X t h h ⎛⎫+-'+-+ ⎪ ⎪⎝⎭1222122()()2()()(()())()X t h X t f t f t E X t h X t E X t h ⎛⎫+-'++-- ⎪ ⎪⎝⎭h →−−−→三、均方积分(integration in mean square): 定义设是随机过程，是函数.将区间分成个子区间，分点为，作和式，若均方极限，，则称此极限，记{(),[,]}X t t a b ∈()([,])f t t a b ∈[,]a b n 01n a t t t b =<<<= ∑、均方积分，，分点为作和式其中是子区间中任意一点，.令，若均方极限存在，且与子区间的分法和的取法无关，则称此极限为在上的均方积分，记为.此时也称在区间上是均方可积的.11()()()nkk k k k f uX u t t -=-k u 1[,]k k t t -1,2,,k n = 11max()k k k nt t -≤≤∆=-101()()()n k k k k k l i m f u X u t t -∆→=⋅⋅-∑k u ()()f t X t [,]a b ()()ba f t X t dt ⎰()()f t X t [,]a b定理在区间上均方可积的充分条件是二重积分存在，且有证：利用均方极限性质，亦即()()f t X t ()()(,)b bX a a f s f t R s t dsdt ⎰⎰2()()()()(,).bb bX aa aE f t X t dt f s f t R s t dsdt =⎰⎰⎰[,]a b ()()ba f t X t dt⎰，且有(5),要积分存在，只需证明其中是区间的另一组分点，而，，亦即110110()()()()()()0n mk k k k l l l l k l l i m f u X u t t f v X v s s --∆→=='∆→⎡⎤⋅⋅---=⎢⎥⎣⎦∑∑01m a s s s b =<<<= [,]a b 1l l l s v s -≤≤11max()l l l ms s -≤≤'∆=-211011lim ()()()()()()0n mk k k k l l l l k l E f u X u t t f v X v s s --∆→=='∆→---=∑∑即，左边极限等于110110lim ()()(,)()()n nk j X k j k k j j k j f u f u R u u t t t t --∆→=='∆→⎡--⎢⎣∑∑1111()()(,)()()m ml n X l n l l n n l n f v f v R v v s s s s --==+--∑∑⎤由二重积分定义，左边极限等于充分性获证.11112()()(,)()()0nmk l X k l k k l l k l f u f v R u v t t s s --==---=⎥⎦∑∑()()(,)()()(,)b bb bX X a a a af s f t R s t dsdt f s f t R s t dsdt+⎰⎰⎰⎰2()()(,)0b bX a af s f t R s t dsdt -=⎰⎰因均方积分存在，由均方极限性质(2)有存在，且等于，即110110lim ()()()()()()nmk k k k l l l l k l E f u X u t t f v X v s s --∆→=='∆→⎡⎤--⎢⎥⎣⎦∑∑2()()baE f t X t dt⎰()()baf t X t dt⎰2()()(,)()()b bbX aaaf s f t R s t dsdt Ef t X t dt=⎰⎰⎰。