随机过程读书报告
随机过程读书报告老子云：“合抱之木，生于毫末；九层之台，起于垒土；千里之行，始于足下。
”而这句话的哲理就是告诉我们量变最终可以达到质变。
而对于任何事物的认识只有逐渐积累，扩大视野，把握其整体基础体系并不断思索，才会上升到一个新的高度。
其实考试只是一种形式，而真正的去理解和领悟一门课程知识才是最为重要的，而学期结束时写一篇读书报告有利于我们去对这门课整体把握同时也复习一下已经掌握的知识。
因此，我想这也是老师的一番苦心吧！说实在的，我本科是师范类专业的，从未接触过随机过程这门在工程技术中广泛应用的课程知识。
但我感到很庆幸，有幸在读研期间接触到这门课程。
并对其有了初步的了解和认识。
下面对自己对随机过程的学习做以下报告：学习过程中通过老师的讲解和自己课下的学习我了解到随机过程的理论与方法，已广泛地应用于科学技术各个领域，并越来越显示出十分重要的作用。
例如，平稳过程的滤波和预测应用于通信、雷达及导航；时间序列分析应用于系统建模及气象预报；卡尔曼滤波应用于空间技术及信息处理；线性系统在随机作用下的分析计算应用于电力系统运行及船舶自动航行等等。
不仅如此，随机过程理论与方法已广泛地渗透到很多专业和技术领域中，特别是，作为控制科学与工程的基础课，为许多后续专业课，如系统辨识与参数估计，自适应控制，随机控制，最优估计，智能控制与专家系统等学习，打下坚实的理论基础。
因此，我认识到对于工科院校的研究生以及从事科学研究、工程技术的工作者，随机过程无疑是一门很重要的基础课程。
下面具体谈一下我所了解和学到的随机过程知识。
一般来说，把一组随机变量定义为随机过程。
在研究随机过程时人们透过表面的偶然性描述出必然的内在规律并以概率的形式来描述这些规律，从偶然中悟出必然正是这一学科的魅力所在。
古人云：“欲灭一国，必先灭其历史文化。
”由此可见历史文化的重要性，下面我们就一起来了解一下随机过程学科的历史发展，随机过程整个学科的理论基础是由柯尔莫哥洛夫和杜布奠定的。
这一学科最早源于对物理学的研究，如吉布斯、玻尔兹曼、庞加莱等人对统计力学的研究，及后来爱因斯坦、维纳、莱维等人对布朗运动的开创性工作。
1907年前后，马尔可夫研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。
1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。
随机过程一般理论的研究通常认为开始于20世纪30年代。
1931年，柯尔莫哥洛夫发表了《概率论的解析方法》，1934年A·辛钦发表了《平稳过程的相关理论》，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。
1953年，杜布出版了名著《随机过程论》，系统且严格地叙述了随机过程基本理论。
在研究方法方面，研究随机过程的方法多种多样，主要可以分为两大类：一类是概率方法，其中用到轨道性质、停时和随机微分方程等；另一类是分析的方法，其中用到测度论、微分方程、半群理论、函数堆和希尔伯特空间等。
实际研究中常常两种方法并用。
另外组合方法和代数方法在某些特殊随机过程的研究中也有一定作用。
而该课程研究的主要内容有：多指标随机过程、无穷质点与马尔可夫过程、概率与位势及各种特殊过程的专题讨论等。
中国学者在平稳过程、马尔科夫过程、鞅论、极限定理、随机微分方程等方面做出了较好的工作。
然而一个实际的随机过程是任意一个受概率支配的过程，例子有：①看做是受孟德尔遗传学支配的群体的发展；②受分子碰撞影响的微观质点的布朗运动，或者是宏观空间的星体运动；③赌场中一系列的赌博；④公路一指定点汽车的通行。
在每一种情形，一个随机系统在演化，这就是说它的状态随着时间而改变，于是，在时间t的状态具有偶然性，它是一个随机变量x(t)，参数t的集通常是一个区间(连续参数的随机过程)或一个整数集合(离散参数的随机过程)。
然而，有些作者会只把随机过程这个术语用于连续参数的情形。
当系统的状态用一个数来表示，x(t)就是数值的，在其他情形，x(t)可以是向量值或者更为复杂。
在本条的讨论中，通常限于数值的情形。
当状态变化时，它的值确定一个时间的函数——样本函数，支配过程的概率规律确定赋予样本函数的各种可能性质的概率。
数学上的随机过程是由实际随机过程概念引起的一种数学结构。
人们研究这种过程，是因为它是实际随机过程的数学模型，或者是因为它的内在数学意义以及它在概率论领域之外的应用。
数学上的随机过程可以简单的定义为一组随机变量，即指定一参数集，对于其中每一参数点t指定一个随机变量x(t)。
如果回忆起随机变量自身就是一个函数，以ω表示随机变量x(t)的定义域中的一点，并以x(t，ω)表示随机变量在ω的值，则随机过程就由刚才定义的点偶(t，ω)的函数以及概率的分配完全确定。
如果固定t，这个二元函数就定义一个ω的函数，即以x(t)表示的随机变量。
如果固定ω，这个二元函数就定义一个t的函数，这是过程的样本函数。
一个随机过程的概率分配通常是由指定它的随机变量的联合分布来给定的，这些联合分布以及由它们诱导出来的概率可以解释为样本函数的性质的概率。
例如，如果0t是一个参数值，样本函数在0t取正值的概率是随机变量X(0t)有正值的概率。
在这个水平上的基本定理：任意指定的自身相容的联合概率分布对应一随机过程。
发展过程随时间推进的随机现象的数学抽象。
例如，某地第n年的年降水量x由于n受许多随机因素的影响，它本身具有随机性,因此{x,n=1,2,…}便是一个随机n过程。
类似地，森林中某种动物的头数，液体中受分子碰撞而作布朗运动的粒子位置，百货公司每天的顾客数，等等，都随时间变化而形成随机过程。
严格说来，现实中大多数过程都具有程度不同的随机性。
气体分子运动时，由于相互碰撞等原因而迅速改变自己的位置与速度，其运动的过程是随机的。
人们希望知道，运动的轨道有什么性质(是否连续、可微等等)？分子从一点出发能达到某区域的概率有多大？如果有两类分子同时运动，由于扩散而互相渗透，那么扩散是如何进行的,要经过多久其混合才会变得均匀？又如，在一定时间内，放射性物质中有多少原子会分裂或转化？电话交换台将收到多少次呼唤？机器会出现多少次故障？物价如何波动？这些实际问题的数学抽象为随机过程论提供了研究的课题。
学习过程中我了解到一些特殊的随机过程早已引起注意，例如1907年前后，Α.Α.马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如1923年N.维纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至今仍是重要的研究对象。
虽然如此，随机过程一般理论的研究通常认为开始于30年代。
1931年，Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，Α.Я.辛钦发表了《平稳过程的相关理论》。
这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。
稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。
1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。
1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。
60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机微分方程等方面也做出了较好的工作。
以下为我说了解的特殊随机过程：对过程的概率结构作各种假设,便得到各类特殊的随机过程。
除上述正态过程、二阶过程外，重要的还有独立增量过程、马尔可夫过程、平稳过程、鞅点过程和分支过程等。
贯穿这些过程类的有两个最重要最基本的过程，布朗运动和泊松过程，它们的结构比较简单，便于研究而应用又很广泛。
从它们出发,可以构造出许多其他过程。
这两种过程的轨道性质不同，前者连续而后者则是上升的阶梯函数。
广义过程正如从普通函数发展到广义函数一样，随机过程也可发展到广义过程。
设D 为R 上全体无穷次可微且支集有界的实值函数φ的集，定义在D 上的连续线性泛函称为广义函数、全体广义函数的集记为x D 。
考虑Ω⨯D 上的二元函数x(Φ,ω),如果对固定的ω，x(·,ω)∈x D 是广义函数，而对固定的Φ,x(Φ，·)是随机变量，则称{x(Φ,ω):Φ∈D}为定义在(Ω，F,p)上的广义过程。
它在n ΦΦΦ,,,21 上的联合分布为全体这种联合分布构成了广义过程x 的"有穷维分布族"。
前两阶矩分别称为均值泛函和相关泛函根据有穷维分布族的性质，也可以定义特殊的广义过程类，象广义平稳过程、广义正态过程等。
例如，若对D 中任意有限个线性独立函数n ΦΦΦ,,,21 有限维分布都是正态分布，则称x={x(φ,ω)}为广义正态过程。
基础理论整理随机过程定义[1]1.设随机试验的样本空间为{}X S = ，对于空间的每一个样本S x i ∈，总有一个时间函数)(t X i 与之对应，而对于空间的所有样本S x ∈ ，可有一组时间函数{})(t X i 与其对应，那么，此时称此组时间函数 {})(,),(),(21t X t X t X n 为随机过程)(t X 。
定义[2]:对于某一固定时刻T t t ∈=1，)(1t X 为时间函数在1t t = 时 的状态，它是一个随机变量，它的样本空间为{})(,),(),(11211t X t X t X n 。
如果把该状态样本空间描述为状态函数的形式，那么我们依赖于时刻t 就有一组这样的状态函数，我们称此组状态函数{})(,),(),(21m t X t X t X 为随机过程)(t X 。
定义1与定义2本质上是一致的，后者常用于做理论分析。
讨论1. 若t 和x 都是变量，则随机过程是一组样本记录，可用全部样本记录的集合描述；2. 若t 是变量，而x 是固定值，则随机过程只是一个样本记发，它可描述为一个确定的时间函数；3. 若t 是固定值，而x 是变量，则随机过程是一个随机变量，它只是全部样本记录中某个固定时刻的点集合；4. 若t 和x 都是固定值，则随机过程是确定值。
显然，只有（1）才反映一个随机变量的完整的随机过程，其他都只是随机过程的一个样本或样点。
随机过程分类1. 按时间和状态是否连续分为：连续型随机过程、离散型随机过程、连续随机序列、离散随机序列；2. 按样本函数形式分为：不确定随机过程和确定随机过程；3. 按随机过程分布函数的特性不同分为：平稳过程、马尔克夫过程、独立增量过程等；4. 按有无平稳性分为：平稳随机过程和非平稳随机过程；5. 按有无各态历经分为：各态历经随机过程和非各态历经随机过程；6. 按功率谱特性分为：白色过程和有色过程，宽带过程和窄带过程。
随机过程报告
随机过程报告在我们的日常生活和众多科学领域中，随机过程这一概念扮演着极其重要的角色。
它不仅是理论研究的关键领域，也在实际应用中发挥着巨大的作用。
随机过程，简单来说，就是一族随机变量，其取值会随着某些参数（比如时间）的变化而变化。
想象一下，我们在预测天气时，每天的天气状况并不是完全确定的，而是具有一定的随机性。
这种随着时间变化的不确定的天气情况，就可以看作是一个随机过程。
随机过程有着各种各样的类型。
比如，泊松过程就是其中一种常见的类型。
泊松过程通常用于描述在一定时间内某一事件发生的次数。
例如，在一段时间内到达某个服务窗口的顾客数量，或者某一时间段内网站的点击次数等。
另一个重要的随机过程是马尔可夫过程。
马尔可夫过程具有一个非常有趣的特性，那就是“无记忆性”。
这意味着未来的状态只取决于当前的状态，而与过去的历史无关。
就好像一个人在做决策时，只考虑当下的情况，而不受到之前所做决定的影响。
随机过程在通信领域也有着广泛的应用。
在信号传输过程中，由于存在各种干扰和噪声，信号的强度和质量会发生随机变化。
通过对这些随机变化的分析和建模，我们可以更好地设计通信系统，提高信号传输的可靠性和效率。
在金融领域，随机过程同样不可或缺。
股票价格的波动、汇率的变化等都具有随机性。
通过建立合适的随机模型，投资者可以对风险进行评估和管理，制定更合理的投资策略。
让我们通过一个具体的例子来更深入地理解随机过程。
假设我们有一个抽奖游戏，每次抽奖的结果是独立的，可能抽到奖品，也可能抽不到。
我们把每次抽奖看作一个时间点，抽到奖品记为 1，抽不到记为0。
那么随着抽奖次数的增加，这一系列的结果就构成了一个随机过程。
在研究随机过程时，我们会用到一些重要的概念和方法。
期望值和方差是两个常用的统计量，它们可以帮助我们了解随机变量的平均水平和波动程度。
而概率分布函数则描述了随机变量取不同值的概率。
为了更准确地描述和分析随机过程，我们还会使用一些数学工具，如微分方程和随机微分方程。
随机过程实验报告
随机过程实验报告一.实验目的通过随机过程的模拟实验, 熟悉随机过程编码规律以及各种随机过程的实现方法, 通过理论与实际相结合的方式, 加深对随机过程的理解。
二. 实验原理及实现代码1.伪随机数的产生函数功能: 采用线性同余法, 根据输入的种子数产生一个伪随机数, 如果种子不变, 则将可以重复调用产生一个伪随机序列实现思路：利用CMyRand类中定义的全局变量：S, K, N, Y。
其中K和N为算法参数, S用于保存种子数, Y为产生的随机数, 第一次调用检查将seed赋值与S获得Y的初值, 之后调用选择rand（）函数赋值与Y。
代码如下:unsigned int CMyRand::MyRand(unsigned int seed){Y=seed;Y=K*seed%N;S=Y;return Y;}2.均匀分布随机数的产生在上面实验中, 已经产生了伪随机序列, 所以为了得到0~N 的均匀分布序列, 只需将其转化为min 到max 的均匀分布即可, 代码如下:double CMyRand::AverageRandom(double min,double max) {double dResult;dResult = (double(MyRand(S))/N)*(max-min)+min; dResult=(int(dResult*10000))/10000.0 ;return dResult; }3.正态分布随机数的产生由AverageRandom 函数获得0－1间隔均匀分布随机数U(0,1), i=1,2,…,n, 且相互独立, 由中心极限定理可知, 当n 较大时,()~(0,1)nU nE U Z N -=取n=12, 近似有, 也就是说, 只要产生12个伪随机数u1,u2,…u12, 将它们加起来, 再减去6, 就能近似得到标准正态变量的样本值。
代码如下:double CMyRand::NormalRandom(double miu, double sigma, double min, double max){double dResult;dResult = 0;for(int i=0;i<12;i++)dResult+=(double(MyRand(S))/N); //循环相加12次dResult-=6;dResult=(dResult*sigma+miu)*(max-min)+min;return dResult;}3.指数分布的随机数的产生用AverageRandom产生均匀分布随机数{ui}, 计算指数分布随机数: xi=-ln ui /λdouble CMyRand::ExpRandom(double lambda, double min, double max){double dResult = 0.0;dResult=-log(AverageRandom(min,max))/lambda;return dResult;}4.泊松分布的随机数产生unsigned int CMyRand::PoisonRandom(double lambda, double min, double max){unsigned int dResult = 0;double F=exp(-lambda);while(AverageRandom(0,1)>=F){F+=(lambda*F)/(dResult+1);dResult++;}return dResult;}5.计算任意分布的随机过程的均值根据大数定律, 调用任意函数加和求平均即为该分布的均值。
随机过程实验报告
一、实验目的1. 理解随机过程的基本概念和性质。
2. 掌握随机过程的基本运算和性质。
3. 通过实验验证随机过程的性质和规律。
二、实验原理随机过程是指一系列随机变量按照一定规则排列而成的序列。
在现实生活中，随机过程广泛存在于自然界和人类社会，如股票价格、气象变化、生物进化等。
随机过程的研究有助于我们更好地理解和预测这些现象。
随机过程可以分为两类：离散随机过程和连续随机过程。
本实验主要研究离散随机过程。
三、实验设备与材料1. 计算机2. 随机过程模拟软件（如Matlab）3. 纸笔四、实验内容1. 随机过程的基本概念（1）随机变量的概念随机变量是指具有不确定性的变量，它可以取多个值。
在随机过程中，随机变量是基本的研究对象。
（2）随机过程的概念随机过程是由一系列随机变量按照一定规则排列而成的序列。
2. 随机过程的基本性质（1）无后效性无后效性是指随机过程的前后状态相互独立。
（2）无记忆性无记忆性是指随机过程的状态只与当前时刻有关，与过去时刻无关。
（3）马尔可夫性马尔可夫性是指随机过程的状态只与当前时刻有关，与过去时刻无关。
3. 随机过程的运算（1）随机过程的和设{Xn}和{Yn}是两个随机过程，则它们的和{Zn}定义为Zn = Xn + Yn。
（2）随机过程的差设{Xn}和{Yn}是两个随机过程，则它们的差{Zn}定义为Zn = Xn - Yn。
（3）随机过程的乘积设{Xn}和{Yn}是两个随机过程，则它们的乘积{Zn}定义为Zn = Xn Yn。
4. 随机过程的模拟利用随机过程模拟软件（如Matlab）模拟随机过程，观察其性质和规律。
五、实验步骤1. 初始化随机数生成器2. 定义随机过程（1）根据随机过程的基本性质，定义随机过程{Xn}。
（2）根据随机过程的运算，定义随机过程{Yn}。
3. 模拟随机过程（1）使用随机过程模拟软件（如Matlab）模拟随机过程{Xn}和{Yn}。
（2）观察模拟结果，分析随机过程的性质和规律。
随机过程实验报告全
随机过程实验报告学院：专业：学号：姓名：一、实验目的通过随机过程的模拟实验，熟悉随机过程编码规律以及各种随机过程的实现方法，通过理论与实际相结合的方式，加深对随机过程的理解。
二、实验内容（1）熟悉Matlab工作环境，会计算Markov链的n步转移概率矩阵和Markov链的平稳分布。
（2）用Matlab产生服从各种常用分布的随机数，会调用matlab自带的一些常用分布的分布律或概率密度。
（3）模拟随机游走。
（4）模拟Brown运动的样本轨道的模拟。
（5）Markov过程的模拟。
三、实验原理及实验程序n步转移概率矩阵根据Matlab的矩阵运算原理编程，Pn = P ^n。
已知随机游动的转移概率矩阵为：P =0.5000 0.5000 00 0.5000 0.50000.5000 0 0.5000求三步转移概率矩阵p3及当初始分布为P{x0 = 1} = p{x0 = 2} = 0, P{x0 = 3} = 1 时经三步转移后处于状态3的概率。
代码及结果如下：P = [0.5 0.5 0; 0 0.5 0.5; 0.5 0 0.5] %一步转移概率矩阵P3 = P ^3 %三步转移概率矩阵P3_3 = P3(3,3) %三步转移后处于状态的概率1、两点分布x=0:1;y=binopdf(x,1,0.55);plot(x,y,'r*');title('两点分布');2、二项分布N=1000;p=0.3;k=0:N;pdf=binopdf(k,N,p);plot(k,pdf,'b*');title('二项分布');xlabel('k');ylabel('pdf');gridon;boxon3、泊松分布x=0:100;y=poisspdf(x,50);plot(x,y,'g.');title('泊松分布')4、几何分布x=0:100;y=geopdf(x,0.2);plot(x,y,'r*');title('几何分布');xlabel('x');ylabel('y');5、泊松过程仿真5.1 % simulate 10 timesclear;m=10; lamda=1; x=[];for i=1:ms=exprnd(lamda,'seed',1);x=[x,exprnd(lamda)];t1=cumsum(x);end[x',t1']5.2%输入：N=[];for t=0:0.1:(t1(m)+1)if t<t1(1)N=[N,0];elseif t<t1(2)N=[N,1];elseif t<t1(3)N=[N,2];elseif t<t1(4)N=[N,3];elseif t<t1(5)N=[N,4];elseif t<t1(6)N=[N,5];elseif t<t1(7)N=[N,6];elseif t<t1(8)N=[N,7];elseif t<t1(9)N=[N,8];elseif t<t1(10)N=[N,9];elseN=[N,10];endendplot(0:0.1:(t1(m)+1),N,'r-') 5.3% simulate 100 timesclear;m=100; lamda=1; x=[];for i=1:ms= rand('seed');x=[x,exprnd(lamda)];t1=cumsum(x);end[x',t1']N=[];for t=0:0.1:(t1(m)+1)if t<t1(1)N=[N,0];endfor i=1:(m-1)if t>=t1(i) & t<t1(i+1)N=[N,i];endendif t>t1(m)N=[N,m];endendplot(0:0.1:(t1(m)+1),N,'r-')6、泊松过程function I=possion(lambda,m,n)for j=1:mX=poissrnd(lambda,[1,n]); %参数为lambda的possion 过程N(1)=0;for i=2:nN(i)=N(i-1)+X(i-1);endt=1:n;plot(t,N)grid onhold onend7、布朗运动7.1一维布朗运动程序：function [t,w]=br1(t0,tf,h)t=t0:h:tf;t=t';x=randn(size(t));w(1)=0;for k=1:length(t)-1w(k+1)=w(k)+x(k);endw=sqrt(h)*w;w=w(:);end调用t0=1;tf=10;h=0.01;[t,w]=br1(t0,tf,h);figure;plot(t,w,'*');xlabel('t');ylabel('w');title('一维Brown运动模拟图'); 7.2二维布朗运动：function [x,y,m,n]=br2(x0,xf,y0,yf,h)x=x0:h:xf;y=y0:h:yf;a=randn(size(x));b=randn(size(y));m(1)=0;n(1)=0;for k=1:length(x)-1m(k+1)=m(k)+a(k);n(k+1)=n(k)+b(k);endm=sqrt(h)*m;n=sqrt(h)*n;end调用x0=0;xf=10;h=0.01;y0=0;yf=10;[x,y,m,n]=br2(x0,xf,y0,yf,h);figure;plot(m,n);xlabel('m');ylabel('n');title('二维Brown运动模拟图');7.3三维布朗运动：npoints =1000;dt = 1;bm = cumsum([zeros(1, 3); dt^0.5*randn(npoints-1, 3)]);figure(1);plot3(bm(:, 1), bm(:, 2), bm(:, 3), 'k');pcol = (bm-repmat(min(bm), npoints, 1))./ ...repmat(max(bm)-min(bm), npoints, 1);hold on;scatter3(bm(:, 1), bm(:, 2), bm(:, 3), ...10, pcol, 'filled');grid on;hold off;8、马尔科夫链离散服务系统中的缓冲动力学m=200;p=0.2;N=zeros(1,m); %初始化缓冲区A=geornd(1-p,1,m); %生成到达序列模型, for n=2:mN(n)=N(n-1)+A(n)-(N(n-1)+A(n)>=1);endstairs((0:m-1),N);9、随机数游走9.1 100步随机游走n = 100; %选取步数。
随机过程学习总结
随机过程学习报告通过这一段时间以来的学习，我认识到我们的生活中充满了随机过程的实例，在生活中我们经常需要了解在一定时间间隔[0,t)内某随机事件出现次数的统计规律，如到某商店的顾客数；某电话总机接到的呼唤次数；在电子技术领域中的散粒噪声和脉冲噪声；已编码信号的误码数等。
在我们的专业学习——通信工程中，研究数字通信中已编码信号的误码流，数模变换中对信号进行采样等也都会应用到随机过程的知识，因此这门课程的学习是非常重要的。
一、认识泊松过程与复合泊松过程的区别泊松过程是一类很重要的随机过程，随机质点流描述的随机现象十分广泛，下面我就通过运用泊松过程的知识解答一道书本中的实际应用题目：设移民到某地区定居的户数是一泊松过程，平均每周有两户定居，即λ=2。
若每户的人口数是随机变量，一户4人的概率是1/6，一户3人的概率是1/3，一户两人的概率是1/3，一户一人的概率是1/6，且每户的人口数是相互独立的，①5周内移民到该地区定居的人口数是否为泊松过程？②求上述随机过程的数学期望与方差。
分析：这道题目中的问题就是复合泊松过程的实际应用，这类过程具有泊松过程的一部分性质，不同的地方就在于随机质点流的到达不必再满足每次只能到一个的标准，这就将随机过程的研究与实际相融合，生活中的大部分过程其实是不可能满足每次到达一个这样的苛刻要求的，比如调查到达商场购物的人数等问题时，实际去商场购物时人们大多都是与好朋友结伴出行而不可能存在每个人都是独自来购物的现象，所以引入复合泊松过程是十分有必要的。
解：设[0,t)时间内到该地定居的户数为N(t)，则{N(t)，t>=0}是一泊松过程，X(n)为第n 户移民到该地定居的家庭人口数，{X(0)=0,X(n),n=1,2,3···}是独立同分布随机变量列，Y(t)为[0,t)时间内定居到该地的人数。
则Y(t)=∑=)(0)n (X t N n t>=0 为一复合泊松过程，)()(υϕn X =4γi e *1/6+3γi e *1/3+2γi e *1/3+γi e *1/6)()t (υϕY =)1)((t )1(-γϕλX e由特征函数的唯一性可知，Y(t)不是泊松过程。
高等概率论
立，由 sup E t , 知， sup E t /
tT tT
于是，当 时， p ( t ) E t / sup/ ,
tT
从而 E t I 对任何 t T 成立，即 sup E t I t 。 t
tT
lim sup E t I t 0 ，则称之为一致可积的。
从一致可积的定义可见：有限个期望存在的 r.v. 组成的 r.v. 族是一致可积的；如果 r.v. 族
t , t T 和 t , t T 都一致可积，那么对任何 a, b R ， a t bt , t T 也一致可积。
j 1 i 1 i i j
m
n
Bj
。 E ( X g ) 是一 g 可测随机变量，
满足： E E X g I B E XI B ， B g 条件期望的基本性质： （1） E E X g E X ;
（2）若 X 为 g 可测，则 E X g X a.s. ； （3）设 g 则 E X g E X a.s. ； ， ， （4） E X g E X g E X g a.s. ； （5） X Y a.s. E X g E Y g a.s. ； （6）设 c1 , c2 为实数， X , Y , c1 X c2Y 的数学期望存在，则
P
得E
nN
(
n
, ) 1
nN
E (
n
, ) 1 ,则
n a.s.。 N
不 成 立 ， 存 在 一 些 0 使 得 E ( n , ) 1 沿 着 一 个 子 序 列 如 果 n
随机过程读书报告
随机过程读书报告摘要: 本文主要是近阶段对随机过程的初步研究的总结。
主要对随机过程的基本知识，泊松过程以及平稳随机过程进行了研究,其中，着重对平稳过程部分进行了总结。
关键词：随机过程 泊松过程 平稳随机过程Keywords: Stochastic Process Poisson process stationary random process1. 随机过程基本知识 1.1. 随机过程概念设T 为一无限实数集，记{X （t ），t ∈T}，其中t 为参数，X(t)为随机变量，也称为过程状态。
将依赖参数t ∈T 的一族随机变量称为随机过程。
1.2. 随机过程分类依状态分⎩⎨⎧离散型随机过程连续型随机过程），（当出现当出现现定义本空间为例：抛掷一枚硬币，样变量上服从均匀分布的随机）为在（为正常数，，），其中（例离散型随机过程连续型随机过程∞+∞∈⎩⎨⎧==+=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧-t T Htt cos X(t)T}{H,S 2,0t cos X(t):ππθωαθω 依t ∈T 的连续性分 ⎩⎨⎧离散参数随机过程连续参数随机过程1.3. 随机过程的分布函数族引人{X F （1x ,2x ,…, n x ;1t ,2t ,…, n t ）, i t ∈T}来刻画随机过程在不同时刻状态之间的统计联系,其中X F （1x ,2x ,…, n x ;1t ,2t ,…, n t ）=P{X （t ）≤11x t X ≤）（,…,X(n t )≤n x } ,R x ∈i ，i=1，2，…，n1.4. Kolmogrov 定理若一族给定的分布函数具有对称性和相容性，则保证了存在一个随机过程{X （t ），t ∈T}使它的有限维分布族正好就是给定的分布函数族相容性：当某些x →∞时高维分布的边缘分布与相应的低维分布是一致的。
即对m ﹤n 有n m m t ,...,t ,t ,...,t 11F +(1x ,…, m x ,∞,…, ∞）=m t ,...,t 1F (1x ,…, m x ）1.5. 随机过程的数字特征 均值函数）（t x μ =E[X(t)] 方差函数Var[X(t)]=E{[X(t)-）（t x μ]2}=EX 2(t)-）（t 2x μ 自相关函数），（21xx t t R =E[X(1t )X(2t )]自协方差函数），（21xx t t C =COV[X(1t ),X(2t )]=E{[ X(1t )-）（1x t μ][X(2t )-）（2x t μ]} Var[X(t)]= ），（t t C xx如果n 个随机过程之和W （t ）=）（t X 1+…+）（t X n ,其中）（t X 1,…, ）（t X n 两两不相关且各自均值函数为零，则有），（21w t t R =），（21x t t R 1+…+），（21x t t R n 1.6. 二维随机过程设X(t)，Y(t)是依赖于同一参数t ∈T 的随机过程，对于不同的t ∈T ，（X(t)，Y(t)） 是不同的二维随机变量，我们称{（X(t)，Y(t)），t ∈T} 为二维随机过程给定二维随机过程{(X(t),Y(t)),t ∈T},1t ,2t ,…, n t ；'1t , '2t ,…, 'm t 是T 中任意两组实数，我们称n+m 维随机变量(X(1t ),X(2t ),…,X(n t );Y('1t )Y('2t )Y('m t ))的分布函数X F （1x ,2x ,…, n x ;1t ,2t ,…, n t ；1y ,2y ,…, m y ;'1t , '2t ,…, 'm t ），i x j y ∈R,i=1,2,…,n,j=1,2,…,m 为这个二维随机过程的n+m 维分布函数互相关函数),(21t t R XY =E[X(1t )Y(2t )]1t ,2t ∈T 互协方差函数),(C 21t t XY =E{[ X(1t )-）（1x t μ][Y(2t )-）（2Y t μ]}=),(21t t R XY -）（）（2Y 1X t t μμ2. 泊松过程2.1. 独立增量过程如果对任意选定的正整数n 和任意选定的0≦0t ＜1t ＜2t ＜…＜n t ,N 个增量，X （1t ）-X(0t ),X(2t )-X(1t ),…, X(n t )-X(1n t +)相互独立，则称{X(t),t ≥0}为独立增量过程2.2. 增量的平稳性若对任意的实数h 和0≦s+h ＜t+h ，X(t+h)-X （s+h ）与X （t ）-X （s ）具有相同的分布，称这一独立增量过程是其次的或时齐的 2.3. 泊松过程所需满足的条件①在不相重复的区间上的增量具有独立性，即对任何整数n=2,3，…如时刻0t =0＜1t ＜2t ＜…＜n t ,增量N （1t ）-N （0t ），N （2t ）-N （1t ），N （n t ）-N （1-n t ）互相独立②时间上均匀性或齐次性，即对任何时刻t 和正数h ，随机变量增量N （t+h ）-N （t ）的概率分布只依赖于区间长度h 而不依赖于时刻t③事件是稀有的，即存在正常数λ，当h →0时，使在长度为h 小区间里，事件至少发生一次的概率为P{N （t+h ）-N （t ）≥1}=λh+）（t ∆ο④相继性，即在小区间（t ，t+h]发生两个或两个以上事件的概率为 ）（h ο，即当h →0, P{N （t+h ）-N （t ）≥2}=）（h ο 2.4. 等待时间随机变量设指点依次重复出现的时刻1t ，2t ，…, n t ,…是以强度为λ的泊松流，{N （t ），t ≥0}为相应的泊松过程。
1随机过程实验报告-副本
1随机过程实验报告 - 副本__________________________________________________________________________________随机过程试验报告班级:姓名:学号:____________________________________________________________________ ____________________________________________________________________________________________ ______________________________________________________________________________________实验一实验题目 Xtxwt()cos(),描绘出随机过程的图像实验目的 Xtxwt()cos(),利用MATLAB编程描绘出随机过程的图像实验地点及时间信息楼127机房 2012.5.31实验内容Xtxwt()cos(),绘制随机过程的图像实验习题,函数z=xcos(wt)中，w为常量，设为2;自变量为x和t，其中t[-1,1],x服从[-1,1]上的标准正态分布;y是因变量。
用Matlab编程如下:t=-1:0.01:1;>> x=normpdf(t);//x服从标准正态分布。
>> z=x.*cos(1*t);>> plot3(t,x,z);如下图所示;实验总结理解随机过程的本质含义，并学会运用MATLAB语言编程描绘在随机过程函数图像。
实验成绩评阅时间评阅教师____________________________________________________________________ ____________________________________________________________________________________________ ______________________________________________________________________________________实验二实验题目 Xtwt()cos(),，,,绘制随机相位正弦波的均值，方差和自相关函数的图像实验目的通过绘制图像，深入理解随机相位正弦波的均值，方差和自相关函数实验地点及时间信息楼127机房 2012.5.31Xtwt()cos(),，,,实验内容:绘制随机相位正弦波的均值，方差和自相关函数的图像实验习题,cos(,t，,),,,,函数z=中，令=2，=2，服从(0，2)上的均匀分布，,,t(0，2)。
随机过程实验报告
随机过程实验报告一、实验问题两赌徒模型对于上述模型现在假定赌徒甲的对手赌徒乙有N－i的初始财富，N为两个赌徒的总财富。
则赌徒甲破产的概率有多大？模拟之。
二、问题分析该问题实质上为带有两个吸壁的随机游动，我们可以仍可把它看作数学中的一个一维随机游动问题。
其马尔可夫链状态空间为{0，1，2，…，N}，N为赌徒甲、乙的总财富。
类似于赌徒与游戏机模型，我们也可以把财富抽象地看成是一个质点。
可知求赌徒甲破产的概率转化为现在的问题就是求质点从i点出发到达0状态先于到达N状态的概率。
这里较赌徒与游戏机模型中多出一个条件，即：赌徒甲先于赌徒乙到达0状态。
我们不难得到这一模型的解：三、问题解决1、先讨论p=q的随机游动情况对于简单的随机游动，如果从0开始，向前跳一步的概率为p，向后跳一步的概率为1－p，则由计算机可以模拟此情形。
这只是许多模拟结果中的一种。
现在我们假设，有A、B两个赌徒，他们共同用于赌博的财富M=100（元），A、B输赢的概率（即赌博的技巧相同）时，他们破产的概率。
假设，共同的财富中A、B分别投入的资金如下表：运算结果如下：由上图可知，当赌徒甲、乙输赢的概率相等时,其中一人破产的概率与对方所拥有的财富成正比关系。
这样我们可以得出结论：在两人的赌博游戏中,如果赌徒甲、乙的赌博技术差不多即输赢概率相当的话,那么谁要想最终获胜的最好方法就是多带赌本。
2、下面讨论p!=q时随机游动情况我们不妨将之具体为p=0.4，q=0.6。
用计算机模拟上述数据。
可得图如下：由上图可知，在每次输赢都为1元时，就算甲90元、乙10元，甲也几乎不可能赢。
如果我们把每次下的赌注加大到5元，修改程序三，模拟之，又可得图如下：由上图我们可以更清晰地看出：在两人的赌博游戏中,如果赌徒甲的赌博技术比乙的赌博技术差的话,那么甲要想最终获胜就要带比乙多很多的赌本。
四、结果拓展现实中的赌博还可能有三人、四人甚至更多的人一起进行。
下面我们简单地讨论当赌徒输赢概率相等时的二维随机游动。
随机过程读书笔记
第一章随机过程及其分类第一节随机过程的概念1、随机过程的定义⑴、定义：随机过程：设（Ω，F，P）是概率空间，如果对于∀t∈T，X（t，ω）是一个随机变量，则称随机变量族X T={ X（t，ω）；t∈T}是一个随机过程，⑵、符号：X（t，ω）简写为X（t），从而随机过程简写为{ X（t）；t∈T}2、随机过程的剖析X（t，ω）是一个T×Ω→R的映射⑴、如果固定t∈T，则X（t，ω）为随机变量⑵、如果固定ω∈Ω，则X（t，ω）为样本函数3、基本概念⑴、定义：随机序列【当参数T取可列集时，随机过程称为随机序列】⑵、定义：状态空间【{ X（t，ω）；t∈T}能够取到的所有值，记为S】4、习题解析⑴、判断是否随机过程【关键：首先固定t，然后判断X（t，ω）是不是一个随机变量】⑵、求解样本函数【关键：ω每取一个值，就得到一个样本函数】⑶、求解状态空间【在分析所有样本函数的基础上，再进行判断；简单情况可直接判断】第二节随机过程的分类1、以参数集的性质和状态空间的特征分类⑴、以参数集的性质分类【T可列，T不可列】⑵、以状态空间的特征分类【S离散，S连续】2、分类结果⑴、离散型参数离散型随机过程【一维随机游动】⑵、连续性参数离散型随机过程【服务台模型：N（t）表示[0，t]时刻到达的顾客数】⑶、连续性参数连续型随机过程【正弦随机过程X (t) = Acosωt，ω是常数，A ~U[0, 1]】⑷、离散型参数连续型随机过程【随机序列】3、以随机过程的统计特征或概率特征分类⑴、独立增量过程【增量X（t1），X（t2）－X（t1），…，X（tn）－X（tn-1）相互独立】⑵、马尔科夫过程【无后效性】⑶、二阶矩过程【对于∀t∈T，D[X（t）]存在】第三节随机过程的分布函数1、定义：随机过程的一维分布函数设{ X（t）；t∈T}为随机过程，对于∀t∈T，X（t）为随机变量，则随机过程的一维分布函数：F（t，x）=P[X（t）≤x]，其中t∈T ，x∈R2、定义：随机过程的一维概率密度函数如果对于∀t∈T，X（t）为连续型随机变量，并且存在非负可积函数f（t，x），使得F（t，x）=∫[－∞，x]f（t，x）dx3、定义：随机过程的二维分布函数设{ X（t）；t∈T}为随机过程，对于∀s，t∈T，（X（s），X（t））为二维随机变量，则随机过程的联合分布函数：F（s，t；x，y）=P[X（s）≤x ，X（t）≤y]4、定义：随机过程的二维概率密度函数如果对于∀s，t∈T，（X（s），X（t））为二维连续型随机变量，并且存在非负可积函数f（s，t；x，y），使得F（s，t；x，y）=∫∫[－∞，y] [－∞，x]f（s，t；x，y）dxdy5、定义：随机过程的n维特征函数θ（t1，t2，…，tn ；u1，u2，…，un）=E{exp[j（u1X（t1）＋u2X（t2）+…＋unX（tn））]}6、习题剖析⑴、锯齿波【关键定理：随机变量函数的分布★★】定理：已知X的分布函数为F X（x），则Y=g（X）的分布函数为F Y（x）=P（Y<x）=P（g（X）<x）=P（X<g-1（x））= F X（g-1（x））⑵、投掷硬币试验【以P48的分析为模板，仔细给出一维和二维分布函数】第四节随机过程的数字特征一、基本概念1、均值函数⑴、定义：μX（t）=E[X（t）]= ∫[－∞，＋∞]xdF（t，x）⑵、离散型：μX（t）=∑[1，＋∞]xkPk（t）⑶、连续型：μX（t）=∫[－∞，＋∞]xf（t，x）dx2、方差函数⑴、定义：D X（t）= E{X（t）－E[X（t）]}2=∫[x－μX（t）]2dF（t，x）⑵、性质：D X（t）= E[X（t）] 2－{E[X（t）]}23、协方差函数与自相关函数⑴、定义：自协方差函数【C X（s，t）=E{X（s）－E[X（s）]} { X（t）－E[X（t）]}】⑵、定义：自相关函数【R X（s，t）=E[X（s）X（t）]】二、基础知识复习1、随机变量函数的联合分布⑴、定理：随机变量函数的联合分布Yi=gi（X1，…，Xn），其中（X1，…，Xn）为n维随机变量，i=1，…，k则F Y1，Y2，...，Yk（y1，y2，...，yk）=∫[D]f（x1，x2，...，xn）dx1dx2 (x)⑵、推论：Z=X+Y的概率密度函数【=∫f X（z-y）f Y（y）dy】【注意证明】2、特征函数的定义和性质⑴、定义：特征函数【θX（u）=E（e iuX）=∫[－∞，＋∞]e iux dF（x）】⑵、性质：如果X和Y相互独立，则θX+Y（u）=θX（u）θY（u）⑶、定理：唯一性定理【关键：利用特征函数求解分布函数】三、正态分布随机过程1、正态分布的基本性质⑴、性质：如果X和Y相互独立，则E（XY）=E（X）E（Y）⑵、性质：正态分布的方差和期望【X~N（μ，ζ2），则E（X）=μ，D（X）=ζ】⑶、性质：正态分布的特征函数【X~N（μ，ζ2），则θX（u）=exp（iμu－u2ζ2/2）】2、正态分布的重要定理⑴、定理：设X~N（μ1，ζ12），Y~N（μ2，ζ22），且X和Y相互独立，则X+Y~N（μ1+μ2，ζ12+ζ22）⑵、证明：利用唯一性定理，求解X+Y的分布函数3、二维正态分布【待深入内容】⑴、定义：二维随机变量（X，Y）符合二维正态分布【电子科大教材，P14】⑵、定理：二维正态分布的概率密度函数【矩阵形式，P25】四、正弦随机过程1、基本性质⑴、性质：均匀分布的概率密度函数【如果X~U（a，b），则f（x）=1/（b－a）】⑵、性质：随机变量函数的期望【E（Y）= E（g（x））=∫[－∞，＋∞]g（x）dF（x）】2、相关函数的求解⑴、基本公式：R X（s，t）=E[X（s）X（t）]⑵、求解步骤：将X（s）和X（t）分别代入上式计算【关键：从定义出发】第五节两个随机过程1、一个随机过程的概念⑴、定义：一个随机过程【所讨论的随机变量，来自于同一个随机过程】⑵、技巧：D X（t）= C X（t，t）【即方差是协方差的一种特殊情况】2、两个随机过程的数学特征⑴、互协方差函数：【C XY（s，t）=E{X（s）－E[X（s）]} { Y（t）－E[Y（t）]}】⑵、互相关函数：【R XY（s，t）=E[X（s）Y（t）]】3、随机过程的有限维分布函数族⑴、定义：有限维分布函数族【关键：属于单个随机过程的概念】F X（x1，…，xn ；t1，…，tn）=P[X（t1）≤x1，…，X（tn）≤xn]其中：∀n∈N；∀ti∈T（i= 1，2，…，n）【关键：取任意有限多个随机变量】⑵、性质：对称性（可以任意交换位置）；相容性（其中某些随机变量可取边缘分布）⑶、定理：柯尔莫哥洛夫定理如果随机函数分布族满足对称性和相容性，则存在唯一的随机过程与之对应4、两个随机过程的独立性⑴、定义：随机过程{ X（t）；t∈T}和{ Y（t）；t∈T}的n+m维联合分布F XY（x1，…，xn ；t1，…，tn；y1，…，ym ；t1’，…，tm’）⑵、定义：两个随机过程相互独立【如果∀n，m∈N；∀ti，ti’∈T，都成立】⑶、分析：只有在某些特殊情况下，才有可能分析独立性第六节条件概率分布一、条件数学期望1、单位脉冲函数δ（x）⑴、定义：单位脉冲函数δ（x）【两个条件：分布函数，并且积分为1】⑵、性质：筛选性质【∫[－∞，＋∞]δ（x－x0）f（x）dx=f（x0）】⑶、性质：概率密度函数的函数形式【f（x）=∑[1，＋∞]pkδ（x-xk）】⑷、作用：统一形式【将连续型和离散型随机变量的概率密度函数，用统一形式表达】2、条件分布和条件密度的核心定义【重要：条件分布公式的推导】⑴、定义：条件分布【F X|Y（x|y）=P（X≤x|Y=y）=∫[－∞，x]f（u，y）du/ f Y（y）】⑵、定义：条件密度【f X|Y（x|y）dy= f（x，y）/f Y（y）】【求导，并将上下限代入】★★3、条件数学期望的概念【定义是一切分析的基础】⑴、离散情形：E（X|Y=yj）=∑xi*P（X=xi|Y=yj）⑵、连续情形：E（X|Y=y）=∫[－∞，＋∞]x* f（x，y）/f Y（y）dx4、随机变量E（X|Y）的分布列⑴、核心公式：E（X|Y=yj）=∑xi*P（X=xi|Y=yj）【直接从定义出发，更加不容易出错】⑵、核心公式：计算Pi.和P.j【将联合分布率分别按行，按列求和】⑶、计算公式：E（X）=∑xi*Pi.⑷、计算公式：E[E（X|Y）]= E（X）【可以利用上述表格证明，证明见下】=∑E（X|Y=yj）P（Y=yj）=∑∑xi*P（X=xi|Y=yj））P（Y=yj）==∑xi*Pi.= E（X）⑸、典例分析：离散型的条件数学期望【参见：中科院孙应飞讲稿P9分析】二、条件数学期望的性质1、随机变量函数的条件数学期望⑴、定理：E[g（X）|Y=y]=∫[－∞，＋∞]g（x）* f（x，y）/f Y（y）dx【无需证明】⑵、性质：E（aX+bY|Z）= aE（X|Z）+bE（Y|Z）★★2、全期望公式【关键：与全概率公式的本质一致】⑴、定理：E[g（X）]= E{ E[g（X）|Y] }⑵、证明：E{ E[g（X）|Y] }= ∫[－∞，＋∞] E[g（X）|Y=y]*f Y（y）dy⑶、推论：E[X]= E[ E（X|Y）]3、两个随机变量的条件数学期望⑴、性质：E[g（X）h（Y）|Y]= h（Y）E[g（X）|Y]⑵、定理：E[g（X）h（Y）]=E{E[g（X）h（Y）|Y]}⑶、证明、E{ h（Y）E[g（X）|Y]}= ∫E[g（X）|Y=y]*h（y）*f Y（y）dx★★4、全概率公式⑴、离散：P（A）=∑P（A|Bi）P（Bi），其中Bi为Ω的一个划分⑵、连续：P（A）=∫[－∞，＋∞]P[A|Y=y]*f Y（y）dy⑶、推论：P（X≤x）=∫[－∞，＋∞]P[X≤x |Y=y]*f Y（y）dy5、小结【要把握住实质，才能灵活应用并且不出错】⑴、期望：E[g（X）]=∫g（x）* f（x）dx【取值乘以概率密度函数】⑵、条件期望：E[g（X）|Y=y]=∫g（x）* f（x，y）/f Y（y）dx【乘以联合处于边缘】第七节习题剖析1、例1：正弦波随机过程X（t）=Acos（ωt+θ），θ~U（-π，π）求t时刻X（t）的概率密度函数⑴、关键：一维概率密度函数【首先从定义出发，求分布函数，然后对其求导】⑵、关键：反三角函数【关键：首先分析正常取值，然后再分析其它如何取值】2、例2：正弦波随机过程X（t）=Acos（Ωt+θ），A，Ω，θ是相互独立的随机变量求随机过程X（t）的一维概率密度⑴、关键：首先固定A和Ω，即令Y（t）=acos（ωt+θ），求解Y（t）的概率密度⑵、关键：全概率公式：P（X（t）≤x）=∫∫P[X≤x |A=a，Ω=ω]*f（a，ω）dadω3、例3：一维随机游动：向右移动的概率=p，向左=qP（Xn=k），即经过n步以后，质点位于位置k的概率⑴、关键：假设移动到位置k时，向右移动了m步，向左移动了n-m步，则k=2m-n⑵、关键：最后求解P（Xn=k）【类似伯努利分布】4、例4：脉冲周期：脉宽为T0，脉冲幅度X（t）为随机变量，等概率取值{-2，-1,1,2}脉冲起始时间u~U（0，T0），求[X（t1），X（t2）]的二维联合概率密度⑴、关键：假设事件C：t1，t2不在相同的脉冲周期；事件C C：t1，t2在相同的脉冲周期⑵、关键：当|t2－t1|＞0时，P（C）=1；当|t2－t1|≤0时，P（C C）=1－|t2－t1|/T0；P（C）=|t2－t1|/T0⑶、关键：离散情形的连续表示：f X（t）（x）=∑（i=-2，-1,1,2）1/4*δ（x－i）⑷、关键：全概率公式：f（x1，x2）= f（x1，x2|C）P（C）+f（x1，x2| C C）P（C C）5、例5：X（t）在t0+nT0时刻具有宽度为b的脉冲，幅度A为等值取±a的随机变量，t0~U（0，T0），求X（t）的相关函数和方差⑴、关键：E[X（t）]=a*p+0*（1-2p）+（-a）*p=0⑵、关键：假设事件C：t1，t2不在相同的脉冲周期；事件C C：t1，t2在相同的脉冲周期⑶、关键：当|t2－t1|＞0时，P（C）=1；当|t2－t1|≤0时，P（C C）=（b－|t2－t1|）/T0⑷、关键：R X（t1，t2）=E[[X（t1）[X（t2）]；D X（t）= R X（t1，t2）6、例6：随机电报信号：X（t）等概率取0,1，T时间内波形变化的次数μ服从Possion分布，即P（μ=k）=（λT）k e-λT /k!，求X（t）的均值函数和自相关函数⑴、关键：E[X（t）]=0 *1/2+1*1/2=1/2⑵、关键：R X（t1，t2）=E[[X（t1）[X（t2）]【按照离散情形将其展开】= P[X（t1）=1，X（t2）=1]= P[X（t1）=1，μ为偶数]【翻转偶数次】= P[X（t1）=1]*P[μ为偶数]= P[μ为偶数]/2⑶、关键：P[μ为偶数]= ∑（k=偶数）（λT）k e-λT /k!=∑（－∞，＋∞）（λT）k e-λT /k! +∑（－∞，＋∞）（－λT）k e-λT /k!⑷、关键：C X（t1，t2）=R X（t1，t2）－μX（t1）μX（t2）第二章Markov过程（上）第一节Markov链1、Markov链⑴、定义：Markov链参数集和状态空间均为可列的随机过程{X（n）；n≥0}，如果对于∀n∈N，以及i0，i1，…，in，in+1∈S，并且P[X（0）=i0，X（1）=i1，…，X（n）=in]＞0，都有P[X（n+1）=in+1|X（0）=i0，…，X（n）=in]=P [X（n+1）=in+1|X（n）=in]，则称随机过程{X（n）；n≥0}为Markov链⑵、解释：第一个公式保证条件概率有意义⑶、解释：第二个公式表示Markov性【随机过程的未来状态只与现在有关，与过去无关】2、一步转移概率⑴、定义：一步转移概率：pij（n）= P [X（n+1）=j|X（n）=i]称为Markov链在n时刻的一步转移概率⑵、定义：齐次Markov链【如果pij（n）=pij，与时刻n无关】⑶、定义：转移矩阵P=（pij）【仅对齐次Markov链才有意义】3、性质⑴、性质：Markov链的前n+1维联合分布，可以由一步转移概率＋初始分布得到⑵、性质：∑（j∈S）pij（n）=1【各行之和等于1】第二节C-K方程1、m步转移概率⑴、定义：m步转移概率：pij（m）（n）=P [X（n+1）=j|X（n）=i]称为Markov链在n时刻的m步转移概率⑵、定义：齐次Markov链的m步转移矩阵【P（m）=（pij（m））】⑶、规定：pij（m）（0）=δij（i＝j时，δij =1；i≠j时，δij =0）2、C-K定理【本文给出了非常严格的证明】⑴、定理：pij（m+r）（n）=∑（k∈S）pik（m）（n）pkj（r）（n+m）⑵、步骤1：pij（m+r）（n）= P [X（n+m+r）=j|X（n）=i]【m步转移概率的定义】= P [X（n+m+r）=j，X（n）=i]/ P [X（n）=i]⑶、步骤2：A=A∩Ω=A∩[∪（k∈S）X（n+m）=k]= ∪（k∈S）[A∩X（n+m）=k]⇒P（A）=P{ ∪（k∈S）[A∩X（n+m）=k]}= ∑（k∈S）[A∩X（n+m）=k]【事件之间相互独立】⑷、步骤3：令A= X（n+m+r）=j∩X（n）=i，代入上式得：P（A）=∑（k∈S）P [X（n+m+r）=j∩X（n）=i∩X（n+m）=k]，⇒再代入步骤1，得到pij（m+r）（n）=∑（k∈S）P[X（n+m+r）=j，X（n）=i，X（n+m）=k] / P [X（n）=i]=∑（k∈S）P[X（n+m+r）=j，X（n+m）=k |X（n）=i]⑸、步骤4：利用性质：P（AB|C）=P（A|BC）P（B|C）⇒∑（k∈S）P[X（n+m+r）=j|X（n+m）=k] P[X（n+m）=k|X（n）=i]=∑（k∈S）pik（m）（n）pkj（r）（n+m）3、C-K定理的推论⑴、性质：对于齐次Markov链，有P（m+r）= P（m）P（r）【矩阵形式】⑵、性质：对于齐次Markov链，有P（m）= P m⑶、性质：齐次Markov链的所有有限维联合分布，可以由转移矩阵＋初始分布得到证明：A=A∩Ω=A∩[∪（j∈S）X（0）=j]= ∪（j∈S）[A∩X（0）=j]可证注意：与上面性质的区别，一个是普通的Markov链，一个是齐次Markov链第三节、Markov链的典例1、无限制的随机游动⑴、定义：{X（n）；n≥0}，S={0，±1，±2，…}⑵、分析：一步转移概率pij和转移矩阵【特点：上对角线为p，下对角线为q】⑶、分析：n步转移概率pij（n）【关键：假设向右m1步向左m2步，然后求解m1m2】2、有限制的随机游动⑴、带一个吸收壁的随机游动【吸收壁：p00=1，poj=0（j≠0）】⑵、带两个吸收壁的随机游动⑶、带一个反射壁的随机游动【反射壁：p00=p，p01=q，poj=0（j≠0,1）】⑷、带两个反射壁的随机游动3、离散排队系统⑴、定义：X（n+1）=[X（n）-1]＋＋ζn其中：X（n）：第n个周期开始时的顾客数；ζn：第n个周期到达的顾客数，P（ζn=k）=ak⑵、求解：pij={当前周期有i顾客，下一周期有j顾客的概率}p0j=p1j=aj；pij=aj+1-i（j≥i-1）⑶、小结：转移矩阵P=（pij）【第一行第二行一样，从第三行开始每行右移一个单位】4、小结：转移矩阵的求解⑴、公式：pij= P [X（n+1）=j | X（n）=i]⑵、关键：从公式推导出pij的物理意义，从而准确并且快速的求解出pij5、补充内容：母函数⑴、作用：特征函数描述连续型随机变量，母函数描述离散型随机变量⑵、定义：随机变量ζ的母函数F（s）=∑[0，＋∞] P（ζ=k）s k⑶、性质：母函数与分布律一一对应，且P（ζ=k）= F（n）（0）/k！⑷、性质：ζ=ζ1＋ζ2＋…＋ζn的母函数为F1（s）*F2（s）*…*Fn（s）6、细胞分裂模型⑴、定义：X（n+1）=ζ1＋ζ2＋…＋ζX(n)【随机个随机变量】其中：X（n）：第n代细胞的个数ζi：第i个细胞分裂的细胞数⑵、求解：pij=P[X（n+1）=j | X（n）=i]=P[ζ1＋ζ2＋…＋ζx(n)=j | X（n）=i]=P[ζ1＋ζ2＋…＋ζi=j]=d n[F（0）]j/[j！*d j s]7、Polya模型⑴、定义：盒子中有b个黑球，r个红球，从盒子中随机摸出一球，观测颜色以后放入同颜色的C球Rk=1，若第k次摸出红颜色的球，否则0⑵、证明：P（Rk=1）=r/（b+r），P（Rk=0）=b/（b+r）关键：数学归纳法＋全概率公式证明⑶、证明：Rk同分布，但不是相互独立的关键：P（R1=1，R2=1）≠P（R1=1）P（R2=1）【关键：乘法公式】⑷、证明：{Rk}不是Markov链【关键：反证法】8、通信系统模型⑴、定义：采用5种信号的概率分别为0.2，0.4，0.1，0.1，0.2ζn：前n次信号转换中，采用第二种信号的次数⑵、证明：{ζn；n≥0}为齐次Markov链⑶、求解：转移矩阵P=（pij）【关键：pij：当前有i次，下一次有j次的概率】第四节Markov链的状态分类一、到达与相通1、可到达⑴、定义：可到达i→j【对于i，j∈S，如果存在n≥1，使得pij（n）＞0】⑵、解释：从状态i可到达状态j⑶、性质：pij（n）=P{X（n）=j | X（0）=i}＞0⇒则P{ X（0）=i}＞0⑷、性质：i→j⇒存在一条从i到j的路径，该路径上的所有一步转移概率大于02、不可到达⑴、定义：i↛j【对于∀n≥1，都有pij（n）=0】【即找不到一个n≥1，使得pij（n）＞0】⑵、解释：从状态i不可到达状态j3、相通⑴、定义：如果i→j并且j→i，则i↔j【称为：状态i和状态j相通】⑵、定理：可到达和相通都具有传递性【证明：利用定义+CK公式】二、首达时间和首达概率1、首达时间⑴、定义：首达时间Tij【Tij（ω）=min{n：X（0）=i，X（n）=j，n≥1}】⑵、解释：在一次实验中，从状态i出发，首次到达状态j的时间⑶、解释：Tij是一个随机变量【不同的实验结果，其首达时间不一样】⑷、解释：首达时间可为＋∞2、首达概率⑴、定义：★★首达概率fij（n）【fij（n）=P {Tij=n | X（0）=i}】⑵、解释：从状态i出发，经过n步转移首次到达状态j的概率3、首达概率的核心公式【首达概率的本质】⑴、核心公式：fij（n）=P { X（n）=j，X（k）≠j，1≤j＜n | X（0）=i}⑵、推论：fij（1）=P { X（1）=j | X（0）=i}=pij4、迟早到达概率⑴、定义：迟早到达概率fij=∑[1≤n＜+∞] fij（n）【抽走无穷大情形】⑵、解释：从状态i出发，经过有限步转移迟早到达状态j的概率⑶、定义：P（Tij=+∞）=1－fij【从状态i出发，经过有限步转移不能到达状态j的概率】三、首达概率的基本性质1、性质：0≤fij（n）＜fij≤1★★2、转移概率与首达概率的关系⑴、定理：对于任意的i，j∈S，以及1≤n＜∞，有pij（n）=∑[1≤l≤n] fij（l）pij（n-l）⑵、证明：{ X（0）=i，X（n）=j }= {X（0）=i，X（n）=j}∩{∪[1，∞][Tij=l]}3、利用迟早到达概率判断可到达【注意：原定义是使用转移概率】⑴、定理：对于任意的i，j∈S，fij＞0⇔i→j⑵、证明：充分性和必要性的证明，都要利用性质将转移概率与首达概率联系起来⑶、约定：pii（0）=14、迟早到达与相通的关系⑴、定理：对于任意的i，j∈S，fij＞0 and fji＞0⇔i↔j⑵、证明：上述定理的推论四、状态的分类1、特别定义⑴、定义：首返概率fii（n）【从状态i出发，经过n步转移首次返回状态i的概率】⑵、定义：返回概率fii【从状态i出发，经过有限步转移迟早返回状态i的概率】2、常返态和非常返态⑴、定义：常返态【如果fii=1】【必然返回】⑵、定义：非常返态【如果fii＜1】【可能返回】3、Tij的条件数学期望⑴、定义：★★μij=E[Tij | X（0）=i]= ∑[1，∞]n fij（n）解释：从状态i出发，首次到达状态j的平均转移步数⑵、定义：平均返回时间μi=μii解释：从状态i出发，首次返回状态i的平均转移步数4、正常返态和零常返态⑴、思路：利用数学期望，对常返态进一步分类⑵、定义：正常返态【常返态＋μi＜∞】⑶、定义：零常返态【常返态＋μi=∞】5、归纳⑴、利用返回概率fii区分常返态和非常返态【常返态fii=1，非常返态fii＜1】⑵、利用平均返回时间μii区分正常返态和零常返态【正常返μi＜∞，零常返μi=∞】五、状态的判别1、核心定理：Pij（s）=δij＋Fij（s）Pjj（s）★★⑴、定义：Pij（s）=∑[0，∞] pij（n）s n【序列{pij（n）；n≥0}的母函数】⑵、定义：Fij（s）=∑[1，∞] fij（n）s n【序列{fij（n）；n≥1}的母函数】⑶、证明：利用核心定理pij（n）=∑[1≤l≤n] fij（l）pij（n-l）＋注意交换求和顺序2、利用转移概率∑[0，∞] pii（n）判断常返态和非常返态⑴、定理：i为常返态⇔∑[0，∞] pii（n）＝∞⑵、定理：i为非常返态⇔∑[0，∞] pii（n）＜∞⑶、证明：令i=j，由核心定理⇒Pii（s）=1＋Fii（s）Pii（s）⇒Pii（s）=1/（1-Fii（s））令s=1⇒∑[0，∞] pii（n）=1/（1-fii）3、非常返态的更强结论⑴、定理：如果j为非常返态，则对∀i∈S，有∑[0，∞] pij（n）＜∞⑵、证明：令s=1，由核心定理⇒Pij（1）=δij＋＋Fij（1）Pij（1）4、相通的等价性⑴、定理：如果i↔j，则i和j的状态一致【或都是正常返，或都是零常返，或都是非常返】⑵、证明：利用i↔j的定义+CK定理【仅部分证明】5、零常返的性质群【详细证明参见林元烈教材，P80】⑴、性质：如果i为常返态，则i是零常返⇔lim[n→∞]pii（n）=0⑵、性质：如果j为零常返，则对∀i∈S，有lim[n→∞]pij（n）=06、非常返态的性质群⑴、性质：任何一个非常返态，过程访问它的次数有限⑵、性质：任何一个有限状态的过程，不可能所有状态都是非常返态⑶、证明：关键：令随机变量Y（n）＝{1，如果X（n）＝i；0，如果X（n）≠i}则∑[0，∞] Y（n）表示过程处于状态i的次数⇒E{∑[0，∞] Y（n）|X（0）=i}={∑[0，∞]pii（n）＜∞六、习题剖析1、赌徒输光问题⑴、定义：甲有a元，乙有b元，每局甲获胜的概率为p，求甲输光的概率⑵、抽象：Markov链，其中S={0，1，2，…，a＋b}并且状态0和a＋b为吸收态假设ui=甲从状态i出发，首次到达状态0的概率⇒将问题转化为求ua⑶、性质：全概率公式⇒ui＝pui+1＋qui-1⇒ui+1－ui＝（q/p）i*（u1－u0）⑷、求解：∑[k，a+b-1] （ui+1－ui）=∑[k，a+b-1] （q/p）i*（u1－u0）⇒ua+b－uk=∑[k，a+b-1] （q/p）i*（u1－u0）⇒令k=0，求出（u1－u0）的值⇒代入上式，再令k=a，即可求出ua2、仪器测量⑴、定义：脉冲幅度={1，2，…，n}并且出现概率相同⑵、抽象：X（n）=前n次测量的最大幅度⑶、证明：{X（n）；n≥1}为齐次Markov链设ζi=第i次测量的幅度，显然ζi相互独立并且同分布P[X（m+k）=j |X（m）=i，X（m-1）=im-1，…，X（1）=i1]= P[max[m+1≤r≤m+k]（ζr，i）=j]= P[max[2≤r≤k+1]（ζr，i）=j]Pij（n）（m）= P[X（m+k）=j |X（m）=i]= P[max[m+1≤r≤m+k]ζr=j | P[max[1≤r≤m]ζr=i]= P[max[m+1≤r≤m+k]（ζr，i）=j]= P[max[2≤r≤k+1]（ζr，i）=j]⑷、求解：一步转移概率矩阵Pij【分j<i，j=i，j>i三种情况讨论】⑸、求解：测量到最大值的期望时间设Yn=首次测量到最大值n的时间=初态n的首次返回时间【关键技巧】⇒P（Yn=k）=1 /n*（n-1）k-1/n k-1⇒E（Yn）3、随机游动⑴、问题：{X（n）；n≥1}，其中S={0，±1，±2，…}并且各个状态相通⇒只需要分析S中的任何一个状态即可⑵、证明：判断i是常返态还是非常返态⇒分析∑[0，∞] pii（n）⇒利用母函数求解Pii（s）=∑[0，∞] pii（n）s n =∑[0，∞] [pii（2n）s2n＋pii（2n+1）s2n+1]=∑[0，∞]C[n，2n]p n q n s2n【注意求解：pii（2n）和pii（2n+1）】=（1-4pqs2）-1/2【利用泰勒展开式展开1/（1-x）1/2】⇒∑[0，∞] pii（n）＝lim（s→1）Pii（s）⇒即可分析i⑶、关键：★★母函数的求导【一阶导数得到数学期望，二阶导数得到方差】这也是求解级数的最为重要的手段典例：Fii（s）=∑[1，∞] fii（n）s n⇒F’ii（s）=∑[1，∞] nfii（n）s n-1⑷、证明：判断i是正常返还是零常返⇒分析μii=∑[1，∞]n fii（n）⇒利用母函数求解Fii（s）=∑[1，∞] fii（n）s n⇒Pii（s）=1+Fii（s）Pii（s）⇒Fii（s）=1-（1-s2）1/2⇒μii= lim（s→1）F’ii（s）⇒零常返七、闭集1、闭集的定义⑴、定义：C是闭集⇔对于∀i∈C，∀j∉C，i↛j含义：从C的任何状态出发，不可能到达C以外的状态【不会跑出去】⑵、定义：吸收态【如果闭集C只含单个状态】【闭集的特殊情况】2、不可约的定义⑴、定义：C是不可约的⇔C是闭集，并且不存在非空闭集C*⊂C关键：不可约的三个条件【非空，闭集，真子集】⑵、定义：Markov链不可约【不存在非空闭集C*⊂S】【不可约定义的特殊情况】3、闭集的基本性质⑴、性质：C是闭集⇔对于∀i∈C，∀j∉C，pij（n）＝0【反证法】⑵、性质：C是闭集⇔对于∀i∈C，∑（j∈C）pij（n）＝1证明：【关键：对于∀i∈C，∑（∀j∈C）pij（n）＋∑（∀j∉C）pij（n）＝1】⑶、性质：i为吸收态⇔pii=1【上面性质的推论】4、不可约的核心定理⑴、定理：闭集C是不可约的⇔闭集C的所有状态相通★★【林元烈教材，P86】⑵、证明：⇒反证法：则存在两个状态i和j，使得i↛j；令C={状态i可以到达的状态}，C*={状态i不能到达的状态}；由于不存在i*∈C，j*∈C*，并且i*→j*；【否则根据传递性，i→j*】所以C是闭集；又C是S的非空真子集【i∈C，j∉C】，于是S可约⇐反证法：S可约，则存在非空闭集C⊂S；对于∀i∈C，∀j∉C，有i↛j⑶、推论：Markov链是不可约的⇔Markov链的所有状态相通⑷、推论：Markov链是不可约的，则所有状态的类型一致5、常返态的核心定理⑴、定理：如果i为常返态，并且i→j，那么j也是常返态，并且fji=1★★含义：从常返态出发，只能到达常返态，不可能到达非常返态⑵、推论：如果i为常返态，并且i→j，那么i和j相通含义：从常返态i出发，只能在与i相通的常返态闭集中转圈⑶、推论：如果i为常返态，则{j：i→j}构成一个闭集【含义同上】⑷、归纳：利用图形分析【一个非常返态集D＋若干常返态相通闭集Ci】定理指出：从Ci不能到达D；而推论指出：从Ci不能到达Cj（i≠j）6、常返态与闭集⑴、定理：所有常返态构成一个闭集证明：设C={所有常返态}，C*={所有非常返态}⇒不可能存在i∈C，j∈C*，i→j【否则根据常返态核心定理，j也是常返态】⑵、推论：不可约的Markov链，或者没有常返态，或者没有非常返态证明：假设既存在常返态，又存在非常返态⇒常返态构成一个闭集，且非空真子集⇒与不可约矛盾八、状态周期1、周期⑴、定义：状态i的周期：如果正整数集{n：pii（n）＞0；n≥1}非空，则其最大公约数称为状态i的周期，记为di⑵、定义：非周期状态【或称状态i无周期】【如果di=1】⑶、定义：遍历态【非周期＋正常返】⑷、性质：不可约的，非周期的，有限状态的Markov链一定是遍历的证明：有限状态⇒至少存在一个正常返＋非周期⇒遍历态+不可约Markov链⇒所有状态都是遍历态2、状态的分类⑴、分类小结：状态={常返态＋非常返态}，常返态={正常返态+零常返态}正常返态={有周期正常返态＋非周期正常返态（遍历态）}⑵、核心定理：如果i↛j，则i和j的状态一致；或者都是非常返态，或者都是零常返态，或者都是非周期正常返态，或者都是周期相同的有周期正常返态3、周期状态判别⑴、性质：取一个状态，求解{j：i↔j}，然后从集合中取一个代表，并分析其周期性⑵、性质：如果存在正整数n，使得pii（n）＞0 ，pii（n+1）＞0，则状态i无周期⑶、性质：如果存在正整数n，使得n步转移概率矩阵P n的第j列全部不为0，则状态j无周期证明：由转移概率矩阵P m可知p jj（n）＞0⇒再分析P n+1＝P*P n可知p jj（n+1）＞0九、分解定理1、齐次Markov链分解定理★★⑴、步骤：首先将S分解为两大类{非常返态集合＋常返态集合}，再分解常返态集合然后任取一个常返态i1，求解不可约集C1={j：i↔j}，…⑵、结果：齐次Markov链的状态空间S，可唯一分解为可列个互不相交的集合：S=D∪C1∪C2∪…，其中D={非常返态集合}，Ci为常返态的相通不可约集⑶、证明：常返态+相通⇒闭集+相通⇒不可约⑷、归纳：利用图形分析【=非常返态集D＋若干常返态相通不可约集Ci】定理指出：从Ci不能到达D；而推论指出：从Ci不能到达Cj（i≠j）2、周期为d的不可约Markov链分解定理⑴、证明：一个周期为d的不可约Markov链⇒具有有周期正常返态，不具有非常返态⑵、结果：一个周期为d的不可约Markov链，其状态空间S可分解为d个互不相交的集J1，J2，…，Jd，即S=∪[r=1，d]Jr，并且对于i∈Jr，∑（j∈Jr+1）pij=13、转移矩阵的标准形式⑴、变换方法：交换行列，使得同一等级类的状态集中在一起【D放在开始】⑵、矩阵形式：参见孙应飞教材P48十、有限Markov链的性质1、非常返态和闭集⑴、性质：所有非常返态组成的集合不可能是闭集⑵、证明：反证法：如果非常返态组成的集合是闭集，则一旦到达该集合中的状态，过程就要无限次在该集合中周转，而不能跳出该集合【否则不是闭集】但是过程对每个非常返态的访问次数有限+有限Markov链⇒结论2、有限Markov链的状态类型⑴、性质：有限Markov链没有零常返⑵、证明：反证法：假设具有零常返态i，令Ci={j：i↔j}⇒Ci为状态相通的不可约集⇒∑（∀j∈Ci）pij（n）=1⇒j为零常返（与i相通）⇒对∀i∈Ci，有lim[n→∞]pij（n）=0⇒有限相加也必为0，矛盾⑶、性质：有限Markov链至少一个正常返⑷、证明：有限Markov链⇒至少一个常返态，而又不可能为零常返⇒至少一个正常返3、不可约有限Markov链的状态类型⑴、性质：不可约有限Markov链只有正常返⑵、证明：不可约Markov链⇒所有状态相通+至少一个正常返⇒所有都是正常返4、有限Markov链状态空间的分解⑴、结果：状态空间S可以分解为S=D∪C1∪C2∪…∪Ck，其中Ci为正常返相通不可约集⑵、分析：Markov链⇒整个S是一个闭集+有限⇒分解为若干个小的不可约有限Markov链+上面性质⇒结论十一、典例分析1、给出转移概率矩阵，通过性质研究其状态关系⑴、步骤1：画出状态转移图⑵、步骤2：以相通性为工具，将状态空间S的所有状态分解为若干个子集C1∪C2∪…∪Ck∪C*其中：Ci为状态相通的闭集【特征：里面的状态跑不出来】C*为非闭集【特征：C*将跑到Ci，但Ci不会跑到C*】⑶、结论：Ci一定是正常返相通不可约集，而C*为非常返态集2、给出转移概率矩阵，通过计算研究其状态关系⑴、步骤1：集合的分解步骤与前面一致，下面将通过计算来判断其状态⑵、步骤2：fii的计算：fii=∑[1≤n＜+∞] fii（n），其中：fii（n）= P {Tij=n | X（0）=i}= P { X（n）=j，X（k）≠j，1≤j＜n | X（0）=i}由此可见，首达概率是指首次到达，而在这之前从没有到达过⑶、典例：fii计算的典例【P48例2】吸收态的计算：f33（1）=1，f33（k）=0（k≥2）非常返的计算：f22（1）=1/4，f33（k）=0（k≥2）常返态的计算：f00（1）=1/2，f00（1）=1/4，f00（2）=1/8，…⑷、步骤3：μi的计算：μi=∑[1，∞]n fii（n）平均返回时间⑸、典例：μi=∑[1，∞]n（1/2）n的计算首先计算∑[1，∞]x n=1/（1-x）⇒求解其导数∑[1，∞]nx n=1/（1-x）23、周期的求解⑴、注意：每个状态都有其周期【包括非常返态，并非只有在常返态才有其周期】⑵、性质：如果存在正整数n，使得pii（n）＞0 ，pii（n+1）＞0，则状态i无周期⑶、性质：带环状态的周期为1【即非周期】【根据定义可以证明】⑷、性质：相通状态的周期相同★★【将有周期正常返态和遍历态，统一起来】4、典例⑴、性质：有限状态的相通闭集可以判断为正常返相通不可约集【没有零常返】但是无限状态，只能判断为常返态相通不可约集【可能有零常返】⑵、解释：无限状态还需要具体计算μi，来判断是零常返还是正常返⑶、典例：课本P49例4：还需要具体计算μi选取状态1来计算，然后根据相通性⇒其它状态的类型一致5、闭集分解与周期分解【典例：P49例5】⑴、性质：如果状态空间可分解为d个互不相交的子集，即S= J1∪J2∪…∪Jd，并且对于i∈Jr，∑（j∈Jr+1）pij=1【即Jr的状态，只能跑到Jr+1里面】则该Markov链是周期为d的周期链⑵、注意：这种分解不是闭集分解，而是周期分解6、Tij的分布律⑴、关键：fij（n）的计算【fij（n）=各种可能首达概率为n的和】⑵、典例：P50例6：在计算fij（n）的过程中，注意找出其首达规律⑶、注意：等比数列的求解方法7、其它问题⑴、关键：首先利用状态转移图来描述问题⇒对其进行各种分析⑵、典例：P51例78、附录：转移矩阵估计问题【高等数理统计的遗留问题】⑴、问题：如何利用现有数据来估计转移矩阵P？⑵、关键：利用极大似然法第五节Markov链的极限性态与平稳分布一、P n的极限性态1、Markov定理⑴、定理：对于有限状态的Markov链，如果存在正整数m≥1，使得对于∀i，j∈S，都有pij（m）＞0【m阶转移矩阵的所有元素都大于0】则lim[n→∞]P n＝π，其中π是随机矩阵，并且它的各行都相同⑵、解释：Markov链是遍历链【非周期正常返+相通+不可约集】⑶、解释：各行相同的随机矩阵【所有元素都介于0和1，并且各行之和等于1】⑷、证明：设mj（n）=min[i∈S]pij（n）【n步转移矩阵第j列的最小元素】设Mj（n）=max[i∈S]pij（n）【n步转移矩阵第j列的最大元素】由CK方程证明mj（n）单调上升，Mj（n）单调下降【单调有界则必有极限】⑸、证明：mj（n）≥εMj（n-1）＋（1-ε）mj（n-1）【同样分析Mj（n）】⇒0≤Mj（n）－mj（n）≤（1-2ε）（n-1）⇒两个极限存在并相等2、Markov定理的结论⑴、结论：lim[n→∞] pij（n）=πj【每一个元素的极限值，仅与它所在的列有关，与行无关】⑵、结论：分析极限矩阵π的特点【如何由单个元素πj⇒整个矩阵π】⑶、结论：Pπ=π【证明：P的各行之和为1，并且π的每列元素都相同】3、推论：P n的极限矩阵π是唯一的，而且满足【给出了求解矩阵π的方法】⑴、结论：πP=π【证明：πP= lim[n→∞]P n*P= lim[n→∞]P n+1＝π】⑵、结论：∑[j∈S]πj=1【证明：有限元素之和为1⇒若极限存在，则极限之和也为1】⑶、结论：唯一性【证明：假设矩阵V满足上述两个条件⇒V=π】4、推论：lim[n→∞]P{X（n）=j}＝lim[n→∞] pij（n）=πj⑴、含义：lim[n→∞]P{X（n）=j}与初始状态无关⑵、证明：由{X（n）=j}={X（n）=j}∩{∪[i∈S] X（0）=i }⇒求概率，再取极限即可。