第11章 - 平稳过程
第十二章-平稳随机过程

若T为离散集, 称平稳过程{X(t), t T }为 平稳序列.
广义平稳过程
严平稳过程
严平稳过程 二阶矩存在 广义平稳过程
严平稳过程 正态过程 广义平稳过程
8
例1 设{Xk , k = 1,2,…}是互不相关的随机变量 序列, E[Xk ] = 0, E[Xk ²] = σ², 则有
解 由假设, Θ的概率密度为
f
(
)
1
/
T, 0,
0 T,
其 它.
于是, X(t)的均值函数为
T
E[ X (t)] E[s(t )]
0
s(
t
)
1 T
d
1
t T
s( )d
Tt
10
利用s(φ)的周期性, 可知
E[X (t)] 1 T s( )d 常数. T0
而自相关函数
RX (t, t ) E[s(t )s(t )]
• 当X(t)和Y(t)是联合平稳随机过程时, W(t) = X(t) +Y(t)是平稳随机过程.
18
事实上, E[W(t)]= E[X(t)] + E[Y(t)] = 常数.
E[W (t)W (t )] E{[X (t) Y (t)][X (t ) Y (t )]} E[ X (t)X (t ) X (t)Y (t ) Y (t)X (t ) Y (t)Y (t )] E[ X (t)X (t )] E[ X (t)Y (t )] E[Y (t)X (t )] E[Y (t)Y (t )] RX ( ) RXY ( ) RYX ( ) RY ( ) RW ( )
t1, t2,, tnT, t1+h, t2 +h,,tn+h T, 若(X(t1), X(t2),, X(tn))与
伍德里奇《计量经济学导论》(第5版)笔记和课后习题详解-第11章 OLS用于时间序列数据的其他问题【

第11章OLS 用于时间序列数据的其他问题11.1复习笔记一、平稳和弱相关时间序列1.平稳和非平稳时间序列平稳时间序列过程,就是概率分布在如下意义上跨时期稳定的时间序列过程:如果从这个序列中任取一个随机变量集,并把这个序列向前移动h 个时期,那么其联合概率分布仍然保持不变。
(1)平稳随机过程对于随机过程{ 1 2 }t x t =:,,…,如果对于每一个时间指标集121m t t t ≤<<⋅⋅⋅<和任意整数h≥1,()12m t t t x x x ⋅⋅⋅,,,的联合分布都与()12 m t h t h t h x x x ++⋅⋅⋅+,,,的联合分布相同,那么这个随机过程就是平稳的。
这种平稳经常称为严平稳,它是从概率分布的角度去定义的。
其含义之一是(取m=1和t 1=1):对所有t=2,3,…,x 1与x t 都有相同的分布。
序列{ 1 2 }t x t =:,,…是同分布的。
不平稳的随机过程称为非平稳过程。
因为平稳性是潜在随机过程而非其某单个实现的性质,所以很难判断所搜集到的数据是否由一个平稳过程生成。
但是,要指出某些序列不是平稳的却很容易。
(2)协方差平稳过程(宽平稳,弱平稳)对于一个具有有限二阶矩()2t E x ⎡⎤∞⎣⎦<的随机过程{ 1 2 }t x t =:,,…,若:(i)E(x t )为常数;(ii)Var(x t )为常数;(iii)对任何t,h≥1,Cov(x t ,x t+h )仅取决于h,而不取决于t,那它就是协方差平稳的。
协方差平稳只考虑随机过程的前两阶矩:这个过程的均值和方差不随着时间而变化,而且,x t 和x t+h 的协方差只取决于这两项之间的距离h,与起始时期t 的位置无关。
由此立即可知x t 与x t+h 之间的相关性也只取决于h。
如果一个平稳过程具有有限二阶矩,那么它一定是协方差平稳的,但反过来未必正确。
由于严平稳的条件比较苛刻,在实际中从概率分布的角度去验证是无法实现的,所以在实际运用中所指的平稳都是指宽平稳,即协方差平稳。
随机过程-平稳过程

FX () S() , d X
随机过程——西安电子科技大学数学系 冯海林
对平稳时间序列有相类似的结果.
设X={Xn, n=0, ±1, ±2,…}是平稳时间序列,则其 相关函数可以表示为 1 jm R(m) X e dFX (), m 0, 1, () 2
1 t T s( )s( )d T t
只与 有关系.
所以X是平稳过程.
随机过程——西安电子科技大学数学系 冯海林
例2 对复随机过程 Z t=Xt +jYt 若mZ(t)是复常数, RZ(t,t+τ )=RZ(τ ),则称 Z={Zt, -∞<t<+ ∞}为复平稳过程. 设Ak和ω k分别是实随机变量和实常数(k=1,2…,n),
随机过程西安电子科技大学数学系冯海林平稳过程的谱分解平稳过程的谱分解随机过程西安电子科技大学数学系冯海林平稳过程的谱分解定理551是均方连续的平稳过程则其相关函数可以表示为上非负有界单调不减右连续且f随机过程西安电子科技大学数学系冯海林所以f是某个随机变量w的特征函数即存在分布函数g随机过程西安电子科技大学数学系冯海林随机过程西安电子科技大学数学系冯海林称函数f为平稳过程x相关函数的谱展开式或谱分解式
k 1
E[Ak ]=0时,上式与t无关.
随机过程——西安电子科技大学数学系 冯海林
R(t , t ) E[Zt Z t ] Z E[ Ak e jk t Ak e jk ( t ) ]
k 1 k 1 n n
= E[ Ak Al ]e j (l k )t e jl
令
Zt Ak e
k 1
n
jk t
平稳随机过程及其遍历性

6
f X (x1, x2 , t1, t2 ) f X (x1, x2 , )
随机过程X(t)的自相关函数,自协方差函数都是 平稳的。
都与时间无关
RX (t1, t2 ) x1x2 f X (x1, x2;t2 t1)dx1dx2
x1x2
➢ 二阶平稳(n=2) 严平稳随机过程的二维概率密度只与 t1, t2的 时间间隔有关,而与时间起点无关。 n 2, t t1, t2 t1时,二维概率密度:
fX (x1, x2 ,t1,t2 ) f X (x1, x2,t1 t,t2 t)
fX (x1, x2 , 0,t2 t1) f X (x1, x2, )
平稳随机过程及其遍历性
随机过程可分为平稳与非平稳两大类, 严格地说, 所 有信号都就是非平稳得, 但就是, 平稳信号得分析要容 易得多, 而且在电子系统中, 如果产生一个随机过程得 主要物理条件在时间得进程中不改变, 或变化极小, 可 以忽略, 则此信号可以认为就是平稳得、 如接收机得 噪声电压信号, 刚开机时由于元器件上温度得变化, 使 得噪声电压在开始时有一段暂态过程, 经过一段时间 后, 温度变化趋于稳定, 这时得噪声电压信号可以认为 就是平稳得。
或
X (很t) 小m,X 即使X (两t 者 )的 m相X 关程度较强,则 也不会
太大,所以K并X 不( )能准确表示关联程度的大小。为了消除
实际应用中,通过上式来判定过程得平稳性就是很不容易得,因此 在实际中往往不需要所有时间都平稳,只要观测得有限时间平稳 就行了。
3
f X (x1,, xn ,t1 t,,tn t) f X (x1,, xn ,t1,,tn )
(2) 特性 ➢ 一阶平稳(n=1) 严平稳随机过程得一维概率密度函数与时间无关 n 1, t t1 时,对于一维概率密度有: fX (x1, t1 t) f X (x1, t1) f X (x1, 0) f X (x1)
大连海事大学 平稳随机过程

平稳随机过程
• 严平稳随机过程
– 性质1: X(t)的均值,均方值和方差也都是 常数,不再是时间的函数
E ( X (t )) x1 p X ( x1 )dx1 m X
E[ X (t )] x12 p X ( x1 )dx1
2 2 2 D[ X (t )] (x1 mX)p X ( x1 )dx1 X
证: RX ( ) E[ X (t ) X (t )]
E[ X (t ) X (t )] RX ( )
平稳随机过程
• 平稳过程的自相关函数性质
– 3.自相关函数在 0具有最大值 – 物理意义:同一时刻随机过程自身的相关性最强 – 注意:不排除 0 时,也有可能出现同样的最大 值,如周期平稳过程 RX (0) RX ( )
1
所以,X(t)是宽平稳的 • (2)讨论X(t)是否是严平稳的 令 t t1 过程的状态为
平稳随机过程
x sin 2t1a1 sin( 2t1a1 )
这表明,过程的一维变量x与a是双值关系,于 是求得过程的一维概率密度为
da1 da2 1 p X ( x, t ) p(a1 ) p( a 2 ) dx dx t 1 x 2
E[ X (t ) X (t )] R X ( )
平稳随机过程
• 例:设随机过程为
X (t ) a cos(0t ) N (t ) 式中,a, 0为常数,Φ 为 (0,2 ) 上均匀分布的随机
变量,N(t)为一般平稳过程,对于所有t而言, Φ 与N(t)皆统计独立,求得其相关函数为
a2 R X ( ) E[ X (t ) X (t )] cos 0 RN ( ) 2
平稳过程

二维分布函数
F 2 ( x1 , x 2 ; t1 , t 2 ) F 2 ( x1 , x 2 ; t1 , t 2 )
F 2 ( x1 , x 2 ; 0 , ) F 2 ( x1 , x 2 ; )
上式表明:严平稳过程的一维分布函数 于参数 t ,
F1 ( x 1 ) 不依赖
2
2
X X
2 2
2 X
(常数);
E [ X ( t ) X ( t )]
x 1 x 2 f 2 ( x 1 , x 2 ; t , t ) dx 1 dx 2
x 1 x 2 f 2 ( x 1 , x 2 ; ) dx 1 dx 2 R X ( )
I 给出,任意时刻 1
t 的电报
内信号变化的次数,已知 { N ( t ), t 过程,则 { X ( t ), t 0} 是一个平稳过程. 泊松过程的定义
P{ N (t ) N (t ) k }
0 , k 0 ,1, 2 ,
( | |) k!
2
n 维正态分布 ( X 1 , X 2 , , X n ), 概率密度
f ( x 1 , x 2 , , x n ) 1 ( 2 )
n 2 1
exp{
2
1 2
(x ) C
'
1
( x )}
(det C )
其中
x1 x2 x x n
(仅依赖于 ,而不依赖于 t );
E {[ X ( t ) EX ( t )][ X ( t ) EX ( t )]} E [ X ( t ) X ( t )] E [ X ( t )] E [ X ( t )]
第11章 OLS用于时间序列数据的其他问题

11.3 回归分析中使用的高度持续性时间序列 通常将弱相关过程称为零阶单整I(0),经 过一阶差分后成为弱相关过程的,称为一 阶单整I(1),即有一个单位根。 判断时间序列是否为I(1):判断一个时间 序列是否有单位根在18章里有正式的单位 根检验。一个直观的方法是计算样本的自 ˆ ,如果数值比较大,如0.9以 相关系数 上,存在单位根可能性很大,往往需要差 分变换。
t
2
t1 t2 tm
t1 h
t2 h
tm h
11.1平稳和弱相关时间序列
由于平稳性是对DGP而言,对某个时间序列数 据是否由一个平稳过程生成是比较难以判断, 但非平稳的判断有时比较容易,如存在时间 趋势的数据一定是不平稳的,因为其均值随 时间变化。 协方差平稳过程(covariance stationary process):对于具有有限二阶矩的随机过程 E xt 为常数(2) xt : t 1, 2, ,如果(1) var xt 为常数(3) t , h 1, cov xt , xt h 仅取决于h,而不取决于t。
11.3 回归分析中使用的高度持续性时间序列 许多时间序列并不满足弱相关性,我们无法 借助于大数定律和中心极限定理,直接对 高度持续性时间序列进行回归分析,可能 产生谬误回归。 高度持续性时间序列 随机游走过程(random walk): yt yt 1 et ,et : t 1, 2, 是均值为0和方差 为常数的独立同分布序列。 反复迭代可得: yt et e1 y0
11.1平稳和弱相依时间序列
平稳性和弱相关为什么对回归分析如此重要? 对时间序列数据而言,它取代了随机抽样 假定使大数定律和中心极限定理成立,由 此我们能够一般性地证明OLS的合理性。 常用的平稳弱相关的时间序列模型: MA(1):一阶移动平均过程: xt et 1et 1 是均值为0,方差为常数的 e : t 0,1, 2, 独立同分布序列。
4平稳随机过程

P{X (t) } p{X (t) } 1 2
而正负号在区间(t,t+ρ)内变化的次数N(t,t+ρ) 是随机的,且假设N(t,t+ρ)服从泊松分布,亦 即事件
AK {N (t, t ) k} 的概率为
P( Ak )
(o)k
k!
e ,
k
0,1,2,,
第12页,共33页。
x(t) I
n
E X (ti )X (t j ) ai a j
i , j1
E[ n
X
(t
i
)
a
i
]2
0
i1
第17页,共33页。
4.平稳相关与互相关函数
(1)定义: 设{X(t)},{Y(t)},tT为两个平稳过程,如果它
们的互相关函数RXY(t,t+)只是 的函数,即 RXY(t,t+)=E[X(t)Y(t+)]= RXY(),则称{X(t)},{Y(t)}是平
证:(1)由Cauchy-Schwarze不等式
{E[X(t)]}2E[X2(t)]<+,
所以E[X(t)]存在。 在严平稳过程的定义中,令h=-s,由定义X(s)与X(0)同分
布,所以E[X(t)]= E[X(0)]为常数。一般记为X.
第4页,共33页。
(2) 由Cauchy-Schwarze不等式
平稳随机过程
引言
第1页,共33页。
一、严平稳随机过程
1.定义:设{X(t),tT}是随机过程,如果对于任意的常数h和任
意正整数n,及任意的n维随机向量(X(t1),X(t2),…,X(tn))和 (X(t1+h),X(t2+h),…,X(tn+h))具有相同的分布,则称随机过程 {X(t),tT}具有平稳性,并同时称此过程为严平稳过程。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
下面来考虑平稳过程的一、二维概
率密度及数字特征。 利用定义式,令 h t1 有
f1 x1 ; t1 f1 x1 ;t 1 h f1 x1 ;0 f1 x1 f 2 x1 , x 2 ; t1 ,t 2 f 2 x1 , x2 ;t 1 h,t 2 h
E{[ N ( t h) N ( t )][ N ( t h) N ( t )]}
为简单起见,不失一般性,可设 0
当 h 时;见图(a)
t
th
t t h
(a)
由于区间 ( t , t h) 与区间 ( t , t h)
但正态过程例外,因为它的概率密度 函数可由均值和协方差矩阵完全确定。所 以,如果均值,自相关函数不随时间的推 移而变化,则概率密度函数也不随时间的 推移而变化。
例:设 { X n , n 0, 1, 2,} 是实的互不相 关随机变量序列, 且 E[ X n ] 0,D[ X n ] 2 , 试讨论随机序列的平稳性。 解: 因为 E[ X n ] 0, 而
RX ( n, n ) E[ X n X n ]
2 E ( X n ), E ( X n ) E ( X n ),
0 0
D( X n ) [ E ( X n )] , 0 , 0 0
2
, 0 0 , 0
第十一章
•
• • • • •
平稳过程
序言
第一节 第二节 第三节 第四节 第五节 平稳过程的概念 平稳过程相关函数性质 各态历经性 随机过程的功率谱密度 随机过程通过线性系统分析
序
言
平稳过程是很重要、应用很广的一类过 程,工程领域中所遇到的过程很多可以认为 是平稳的。例如:实际场合中的各种噪声和 干扰,都可以认为是平稳的。平稳过程是随 机过程重点内容之一。 本章在相关理论范围内主要讨论平稳过 程的数字特征;各态历经性;相关函数的性 质和功率谱密度。
X ( t ) N ( t h) N ( t )
只需证明 X ( t ) 是平稳过程。 事实上 E[ X ( t )] E[ N ( t h) N ( t )]
( t h) t h
是常数;
而
RX ( t , t ) E[ X ( t ) X ( t )]
而自相关函数
RX ( t , t ) E[ X ( t ) X ( t )]
E[ S ( t ) S ( t )]
0
T
1 S ( t ) S ( t ) d T
1 T t t S ( )S ( )d T
X ( t ) 的均值函数 E[ X ( t )] E[ S ( t )] T 1 0 S ( t ) d T 1 T t t S ( )d T 利用S ( ) 的周期性, 可得 1 T E[ X ( t )] 0 S ( )d 常数; T
{ N ( t ) , t 0} 为泊松过程。
试讨论平稳Leabharlann 。X(t)+I
t
-I
解: X ( t ) 的均值函数
E[ X ( t )] I P{ X ( t ) I } ( I ) P{ X ( t ) I } I I 0 是常数 ; 2 2 若 X ( t ) 在 [t, t ) 内变化偶数次,
x1 X
2
f1 x1 dx1
2 X
RX ( t , t ) E[ X ( t ) X ( t )]
x1 x2 f 2 x1 , x2 ; dx1dx2 RX ( )
C X ( t , t ) RX t , t X ( t ) X ( t ) RX C X
满足下列条件,则称作为随机电报信号。 ㈠ 相继取值+I或-I , 且
1 P{ X ( t ) I } P{ X ( t ) I } 2 ㈡ 在任意区间 [t, t ) 内信号变化的次数
N ( t , t ) 服从泊松分布
( )k P{ N ( t , t ) k } e , k 0,1,2, k! 也即在区间 [0, t ) ,电报信号变化次数
严平稳的含义:过程的统计特性与所 选取的时间起点无关。换句话说,整个过 程的统计特征不随时间的推移而变化。 若随机过程为连续型的,定义也等价 于其密度函数满足:
fn x1 , x2 , xn ; t1 , t2 ,, tn
fn x1 ,, xn; t1 h, t2 h,, tn h
2 X
由一、二维概率密度的特性可知:
• 严平稳过程的均值函数,均方值函数和方差函 数(如果存在)均为常数 • 严平稳过程的自相关函数及协方差函数只依赖 于参数间距 而与起点无关
二、宽平稳随机过程 要确定一个随机过程的概率分布函数 族,并且判定严平稳条件式对一切n成立, 这在实际上是很困难的,而了解它的某些 数字特征却是可能的,因而工程上根据实 际需要往往只在相关理论范围内考虑平稳 过程问题。所谓相关理论是指:只限于研 究随机过程一、二阶矩的理论。
~ U (0,2 )
, ,
其密度函数为: 1 f ( ) 2 0
(0,2 )
其它
E[ X ( t )] 0
2
RX ( t , t )
1 a cos( 0 t ) d 0 2 是常数 ;
E[a cos( 0 t ) a cos( 0 t 0 )] 2 2 1 0 a cos( 0 t ) cos( 0 t 0 ) d 2 2 a cos( 0 ) 仅依赖于 。 2
2
其中, 为整数,故随机序列的均值
为常数, 相关函数仅与 有关。因此,它
是平稳随机序列。
例:设随机过程 X ( t ) a cos( 0 t ) 式中, a, 0 为常数, 是在 (0,2 ) 上 服从均匀分布的随机变量, 证明 X ( t )是 平稳过程。 证: 由于
不相重叠,根据 N ( t )是独立增量,
X ( t ) 的自相关函数为:
RX ( t , t ) E[ N ( t h) N ( t )] E[ N ( t h) N ( t )]
因此, X ( t ) 是平稳过程。
例:设 S ( t ) 是一周期为T 的函数, 是 在 (0 , T )上服从均匀分布的随机变量。 称 X ( t ) S ( t ) 为随机相位周期过程。 试讨论它的平稳性。 解: 的密度函数为:
1 , ( 0, T ) f ( ) T 其它 0 ,
若对任意整数,有
E X n X
是常数;
E X n X n RX
仅依赖τ,而与 n 无关;
则称 X ( n)为平稳序列。
顺便指出:今后凡是提到“平稳过程”除特别 指明外,通常都是指宽平稳过程。
由于宽平稳过程的定义只涉及到一、 二维概率密度有关的数字特征,所以一个 严平稳过程只要均方值有界,就是宽平稳 的。但反之则不一定。
由此可导出严平稳过程的数字特征:
X (t ) E X t
x1 f1 x1 dx1 X
(t ) E X
2 X
2 X
2
2 2 t x1 f1 x1 dx1 X
( t ) D X ( t )
I 2 P{ X ( t ) X ( t ) I 2 } ( I ) P{ X ( t ) X ( t ) I }
2 2
I
2
n 0
P { N ( t , t ) 2 n}
2 n 0
( I )
P{ N ( t , t ) 2n 1}
则 X ( t ) 和 X ( t ) 必同号, 且乘积为I 2; 若变号奇数次, 则乘积为 I 2 。
即:
I 2 , N ( t , t ) 偶数 X (t ) X (t ) 2 I , N ( t , t ) 奇数
而自相关函数:
RX ( t , t ) E[ X ( t ) X ( t )]
2n 2 n 1
I e
2
( )k 2 2 k! I e n 0
自相关函数仅与 有关。 所以 { X ( t ) , t 0} 是平稳过程。
X ( t ) 的相关函数图如下:
RX ( )
I
2
0
例: 证明泊松过程是平稳增量过程。 证:设 { N ( t ) , t 0} 为泊松过程, 强度为 ,对任意实数 h , 令:
利用 S ( ) S ( ) 的周期性, 可得
1 T RX ( t , t ) 0 S ( )S ( )d T RX ( )
自相关函数仅与 有关。 因此, X ( t ) 是平稳过程。
例:随机电报信号 若随机过程
{ X ( t ) , t ( , )}
定义: 若随机过程 X t , t T 满足
E X t X
是常数;
E X t X t RX
仅依赖τ ,而与t无关;
E[ X 2 ( t )]
二阶矩存在。
则称 X t 为宽平稳过程。 (或称广义平稳过程。)
特别,若 { X ( n), n 0,1,2,}