应用随机过程学习总结
应用随机过程学习总结
一、预备知识：概率论
随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。
1、概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup表示上确界， inf表示下确界。
本帖隐藏的内容
2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。
3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。
二、随机过程基本概念和类型
随机过程是概率空间上的一族随机变量。因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。
1、平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数
r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差
t-s有关，r(t) = r(-t)记为宽平稳随机过程。
因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。
2、独立增量过程：若X[Tn]– X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。
兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。
3、随机过程的分类不是绝对的。例如，泊松过程既具有独立增量又有平稳增量，既是连续时间的马尔科夫链，又是一类特殊的更新过程。参数为lambda 的泊松过程减去其均值函数同时还是一个鞅。
三、泊松过程
计数过程｛N(t), t>=0｝是参数为λ的泊松过程（λ> 0），具有平稳独立增量性。而其任意时间长度t发生的次数服从均值为λ* t的泊松分布，即E[N(t)]= λ* t。
1、与泊松过程有关的若干分布：Xn表示第n次与第n-1次事件发生的时间间隔，定义Tn表示第n次事件发生的时刻，规定T0= 0。其中，
Xn服从参数为λ的指数分布，且相互独立。泊松过程在任何时候都是重新开始。Tn服从参数为n和λ的Γ分布
四、更新过程
更新过程{N(t),t>=0}中Xn仍保持独立同分布性，但分布任意，不再局限于指数分布。更新过程中事件发生一次叫做一次更新，此时Xn就是第n-1次和第n次更新相距的时间，Tn是第n次更新发生的时刻，而N(t)就是t时刻之前发生的总的更新次数。
由强大数定理可知，无穷多次更新只可能在无限长的时间内发生。因此，有限长时间内最多只能发生有限次更新。
1、更新函数：更新理论中大部分内容都是有关E[N(t)]的性质。以M(t)记为E[N(t)]，称为更新函数。此时，M(t)是关于t的函数而不是随机变量。
2、更新方程：若H(t)，F(t)为已知，且当t<0时，H(t)与F(t)均为0，同时当H(t)在任何区间上有界时，称具有如下形式的方程K(t) = H(t) + intergral(K(t-s)*dF(s))的方程称为更新方程。当H(t)为有界函数时，更新方程存在唯一的有限区间内的有界的解K(t) = H(t) + intergral(H(t-s)*dM(s))。
3、更新定理：Feller初等定理、Blackwell更新定理、关键更新定理。其中Blackwell定理指出，在远离原点的某长度为a的区间内，更新次数的期望是a/u，u = E(Xn)。同时，Smith关键更新定理与Blackwell定理等价。
五、马尔科夫链
马尔科夫链中的转移概率为条件概率，同时给定过去的状态X0，…，Xn-1和现在的状态Xn，将来的状态Xn+1的条件分布与过去的状态独立，只依赖于现在的状态。其中，Pij = P{Xn+1=j | Xn=i}为马尔科夫链的一步转移概率，它代表处于状态i的过程下一步转移到状态j的概率。
当转移概率Pij只与状态i，j有关而与n无关时，称为时齐马尔科夫链，同时当状态有限时，称为有限链。转移概率矩阵中概率非负，同时随机矩阵中每一行的元素和为1。
记Pij(n)为n步转移概率，它指系统从状态i经过n步后转移到状态j的概率，而对中间n-1步转移经过的状态无要求。对n步转移概率和转移矩阵，有C-K
方程公式。
1. 状态的分类和性质：如果状态i经过n步转移后到达j的概率大于0，称状态i可达状态j。若同时状态j可达状态i，则称i与j互通，两两互通的状态有传递性。我们将互通的各个状态归为一类，自己和自己互通，当一个马尔科夫链中只有一类时称为不可约类，否则则是可约类。
如果状态i可以经过n步回到i状态，则将所有n的最大公约数记为状态i的周期，即d(i)，如果d>1，则称i是周期的，如果d=1则为非周期，空集时为无穷大。同属于一类的两状态周期相同。
记状态i出发经n步后首次到达j的概率为Fij(n)，则所有可能n的概率Fij(n)加起来的和记为Fij。若Fij=1，i为常返状态，Fij< 1，i为非常返状态或瞬时状态。对于常返状态i，记Ui为从i第一次回到i的期望步长，若Ui有限，称i为正常返状态，若趋于无穷大，则为零常返状态。若正常返状态i同时还是非周期的，则称之为遍历状态。若遍历状态且Fii(1)=1，则称为吸收状态，此时Ui=1。
对于同属于一类的状态i，j，他们同为常返状态或非常返状态，并且当他们是常返状态时，又同为正常返状态或零常返状态。状态i至j的n步转移概率与首达概率间存在一定关系。同时若i与j互通且i为常返状态，则Fji = 1。
2. 极限定理及平稳分布：马尔科夫链的极限情况即状态i经过无穷多步转移后到达i的概率是多少。有结论，若状态i是周期为d的常返状态，则Pii(nd) = d/Ui，即经过无穷多步后回到i的概率为常数，上述定理对Pij也有效。同时，不可约的有限马尔科夫链是正常返的。
若对于马尔科夫链Pj = P(Xn = j) = sum(Pi*Pij)，则概率分布Pj为平稳分布。因为此时，对于任意Xn均有相同的分布。同时，对于遍历的马尔科夫链，极限分布就是平稳分布并且还是唯一的平稳分布。极限分布即为很长时间后，无论最开始状态如何，最终达到某一状态的概率。若对于遍历的马尔科夫链，该概率是稳定的趋于常数。
3. 连续时间马尔科夫链、Kolmogorov微分方程
六、鞅
鞅的定义是从条件期望出发，如果每次赌博的输赢机会是均等的，并且赌博策略依赖于前面的赌博结果，赌博是“公平的”。因此，任何赌博者都不可能通过改变赌博策略将公平的赌博变成有利于的赌博。如果将“鞅”描述的是“公平”的赌博，下鞅和上鞅分别描述了“有利”赌博与“不利”赌博。
随机过程｛Sn, n>=0｝称为Fn=sigma{X0,X1,…,Xn}适应的，如果对任意n>=0，Sn是Fn可测的，即Sn可以表示为X0,X1,X2,…,Xn的函数
1. 鞅的停时定理：任意随机函数T是关于{Xn，n>=0}的停时，即{T=n}应由n时刻及其之前的信息完全确定，而不需要也无法借助将来的情况，同时T必须是一个停时。同时，{T<=n}和{T>=n}也由n时刻及其之前的信息完全确定。若T和S是两个停时，则 T+S，min{T,S}和max{T,S}也是停时。
则在一直Fn完全信息的前提下，有界停时的期望赌本与初始赌本相同。特别的，当完全信息未知时，有界停时的期望赌本与初始赌本的期望相同。
2. 鞅的一致可积性：如果对任意ε>0，存在δ>0，使得对任意A，当P(A)<δ时，有E(|Xn|Ia) <ε对任意n成立。一致可积条件一般较难验证，因此存在两个一致可积的充分条件。
3. 鞅的收敛定理：在很一般的情况下，鞅｛Mn｝会收敛到一个随机变量。即对于｛Mn, n>=0｝是关于｛Xn, n>=0｝的鞅，并且存在常数C有限，使得E(|Mn|) 4. 连续鞅：停时定理，收敛定理。 七、布朗运动 若B(0)=0，{B(t),t>=0}有平稳独立增量，对每个t>0，B(t)服从正态分布N(0, t)称之为标准布朗运动。布朗运动的二次变差[B,B](t) = t。 布朗运动是满足以下三点性质的随即过程，即对于B(t)-B(s) ~ N(0,t-s)， B(t)-B(s)服从均值为0，方差为t-s的正态分布。当s=0时，B(t)-B(0)~N(0,t)。并且，对任意0& lt;=s 1. 高斯过程：有限维分布是多元正态分布的随机过程。布朗运动是一种特殊的高斯过程，即B(t)的任何有限维分布都是正态的。 2. ｛B(t)｝是鞅，｛B(t)^2 - t｝是鞅：即如果连续鞅｛X(t)｝使得｛X(t)^2 - t｝也是鞅，则｛X(t)｝是布朗运动。 3. 布朗运动｛B(t)｝具有马尔科夫性，容易得到B(t+s)在给定条件Ft=sigma(B(0),B(1),…,B(t))下的分布与在给定条件 B(t)下的分布是一致的。同时由布朗运动具有时齐性，即分布不随时间的平移而变化可知，布朗运动的所有有限维分布都是时齐的。 4. 布朗运动的最大值变量及反正弦率：即求始于y点的布朗运动在区间(a,b)中至少有一个零点的概率为布朗运动的反正弦率。 5. 几何布朗运动X(t) = exp｛B(t)｝为几何布朗运动。在金融市场中，人们经常假定股票价格是按照几何布朗运动而发生变化。 八、随机积分 1. 布朗运动的积分，Ito积分过程，Ito公式，随机微分方程 2. Black-Scholes模型