第2章 时间序列的预处理
《时间序列分析及应用：R语言》读书笔记
《时间序列分析及应用：R语言》读书笔记姓名：石晓雨学号：1613152019（一）、时间序列研究目的主要有两个：认识产生观测序列的随机机制，即建立数据生成模型；基于序列的历史数据，也许还要考虑其他相关序列或者因素，对序列未来的可能取值给出预测或者预报。
通常我们不能假定观测值独立取自同一总体，时间序列分析的要点是研究具有相关性质的模型。
（二）、下面是书上的几个例子1、洛杉矶年降水量问题：用前一年的降水量预测下一年的降水量。
第一幅图是降水量随时间的变化图；第二幅图是当年降水量与去年降水量散点图。
win.graph(width=4.875, height=2.5,pointsize=8) #这里可以独立弹出窗口data(larain) #TSA包中的数据集，洛杉矶年降水量plot(larain,ylab='Inches',xlab='Year',type = 'o') #type规定了在每个点处标记一下win.graph(width = 3,height = 3,pointsize = 8)plot(y = larain,x = zlag(larain),ylab = 'Inches',xlab = 'Previous Year Inches')#zlag 函数(TSA包)用来计算一个向量的延迟，默认为1,首项为NA从第二幅图看出，前一年的降水量与下一年并没有什么特殊关系。
2、化工过程win.graph(width = 4.875,height = 2.5,pointsize = 8)data(color)plot(color,ylab = 'Color Property',xlab = 'Batch',type = 'o')win.graph(width = 3,height = 3,pointsize = 8)plot(y = color,x = zlag(color),ylab = 'Color Property',xlab = 'Previous Batch Color Property')len <- length(color)cor(color[2:len],zlag(color)[2:len])#相关系数>0.5549第一幅图是颜色属性随着批次的变化情况。
时间序列的预处理培训
时间序列的预处理培训时间序列预处理是时间序列分析的重要步骤之一。
预处理的目的是消除时间序列中的噪声，提取有用的信息，并使时间序列具备可分析性。
本文将介绍时间序列预处理的基本步骤和常用方法。
时间序列预处理的基本步骤如下：1. 数据收集：首先需要收集时间序列数据。
数据可以是连续的，例如每天、每小时或每分钟的数据，也可以是离散的，例如每周、每月或每年的数据。
2. 数据清洗：在进行预处理之前，需要对数据进行清洗。
这包括处理缺失值、异常值和噪声。
缺失值可以通过插值或删除处理。
异常值可以通过统计分析和可视化方法进行识别和处理。
噪声可以通过平滑或滤波等技术进行消除。
3. 数据转换：某些情况下，时间序列数据可能不符合预测模型的基本假设，需要进行数据转换。
常见的数据转换方法包括对数变换、差分、平移等。
4. 平稳性检验：平稳性是时间序列分析的重要前提。
平稳性意味着时间序列的统计特性不随时间变化而改变。
平稳性检验可以通过观察时间序列的均值、方差和自相关函数来进行。
5. 数据平滑：时间序列数据通常包含随机波动和季节性变动。
为了减少这些变动对预测模型的影响，可以采用平滑方法来消除季节性和长期趋势。
常见的平滑方法包括移动平均法和指数平滑法。
6. 季节性调整：如果时间序列数据存在季节性变动，需要进行季节性调整。
季节性调整可以通过季节性分解或季节性指标来实现。
7. 数据标准化：在进行比较和分析时，不同时间序列数据的量纲和幅度可能不同。
为了消除这种差异，可以对数据进行标准化处理，将其转换为相对数或百分比。
以上是时间序列预处理的基本步骤。
根据具体情况，还可以结合其他预处理方法，如去除趋势、去除周期等。
预处理的目标是获取可靠、准确的数据，为时间序列分析提供可靠的基础。
时间序列预处理是时间序列分析的重要步骤之一，它对于时间序列数据的准确性和可靠性具有重要的影响。
本文将继续探讨时间序列预处理中的一些相关内容。
1. 缺失值处理：时间序列数据中常常会存在缺失值，这可能是由于采集错误、设备故障等原因所致。
时间序列的预处理教材
时间序列的预处理教材时间序列的预处理是在进行时间序列分析之前的必要步骤。
它包括数据收集、数据清洗、数据转换和缺失值处理等过程，以确保时间序列数据的准确性和一致性。
本文将逐步介绍时间序列预处理的重要步骤。
1. 数据收集：在时间序列预处理的第一步，需要确定数据来源和收集数据。
数据可以从各种渠道获取，如公共数据库、传感器设备或实时数据流等。
确保数据的质量和完整性非常重要，因此应该选择可靠的数据源。
2. 数据清洗：数据清洗是时间序列预处理的关键步骤，旨在处理异常值、噪声和重复数据等问题。
首先，检查数据集中是否存在缺失值、异常值或错误值。
可以使用统计方法、可视化工具或专门的算法来检测这些问题。
一旦发现异常值，可以删除、替换或修正它们。
3. 数据转换：在某些情况下，时间序列可能会显示出非常不规则的波动，这会对后续的分析造成困扰。
数据转换可以通过应用平滑技术（如移动平均法或指数平滑法）或差分操作来减少数据波动。
这些转换操作可以使数据变得更加稳定，更容易分析。
4. 缺失值处理：在时间序列中，经常会遇到缺失值的情况。
这些缺失值可能会对分析结果产生不良影响，因此需要采取适当的处理方法来填补这些缺失值。
常见的方法包括用平均值、中值或插值等方法来填补缺失值。
但在填补缺失值之前，需要对缺失数据进行详细的分析，了解缺失的原因和模式。
5. 数据标准化：标准化是时间序列预处理的另一个重要步骤。
通过标准化，可以将不同尺度的数据转换为具有相似分布的数据。
这样可以确保不同时间序列的比较是可靠的。
一种常见的标准化方法是Z得分标准化，通过减去均值并除以标准差，将数据转换为标准正态分布。
总之，时间序列预处理是进行时间序列分析的必要步骤。
通过数据清洗、转换和标准化等处理，可以确保时间序列数据的准确性和稳定性。
在进行时间序列预处理之后，可以继续进行各种分析方法，如趋势分析、周期性分析和季节性分析等。
6. 噪声去除：在时间序列预处理中，噪声是造成数据不准确和干扰分析结果的主要因素之一。
《时间序列分析》课程教学大纲
《时间序列分析》课程教学大纲课程编号：33330775课程名称：时间序列分析课程基本情况：1．学分：3 学时：51学时（课内学时：45 课内实验：6）2．课程性质：专业必修课3．适用专业：统计学适用对象：本科4.先修课程：概率论、数理统计、随机过程5．首选教材：王燕：《应用时间序列分析》，中国人民大学出版社，2008出版。
备选教材：王振龙等编著：《时间序列分析》，中国统计出版社，2000年。
6．考核形式：闭卷考试7．教学环境：多媒体教室及实验室一、教学目的与要求本课程是数理统计学的一个重要分支，先期需完成的课程有概率论、随机过程。
通过本课程的学习，使学生掌握时间序列数据的分析方法，包括时间序列简介、平稳时间序列分析、时间序列分解、非平稳序列的随机分析、多元时间序列分析。
利用Eviews软件进行本课程的实验教学。
二、教学内容及学时分配课程内容及学时分配表三、教学内容安排第一章时间序列分析简介【教学目的】1、了解时间序列的定义及常用分析方法；2、掌握时间序列的几个基本概念：随机过程、平稳随机过程、非平稳随机过程、自相关、记忆性。
【教学重点】时间序列的相关概念。
【教学难点】随机过程、系统自相关性。
【教学方法】课堂讲授【教学内容】第一节时间序列的定义第二节时间序列分析方法第三节时间序列分析软件EVIEWS简介第二章时间序列的预处理【教学目的】1、掌握平稳性检验的原理和方法；2、掌握纯随机性检验的原理和方法。
【教学重点】平稳时间序列的定义及统计性质。
【教学难点】时间序列的相关统计量。
【教学方法】课堂讲授【教学内容】第一节平稳性检验一、特征统计量二、平稳时间序列的定义三、平稳时间序列的统计性质四、平稳时间序列的意义五、平稳时间序列的检验第二节纯随机性检验一、纯随机序列的定义二、白噪声序列的定义三、纯随机性检验第三章平稳时间序列序列分析【教学目的】1、理解ARMA模型的定义及性质。
2、掌握平稳序列建模方法。
3、掌握平稳时间序列的预测【教学重点】平稳时间序列建模【教学难点】模型识别，参数估计，序列预测【教学方法】课堂讲授与上机实验【教学内容】第一节方法性工具一、差分运算二、延迟算子三、线性差分方程第二节 ARMA模型的性质一、AR模型二、MA模型三、ARMA模型第三节平稳序列建模一、建模步骤二、样本自相关系数与偏相关系数三、模型识别四、参数估计五、模型检验六、模型优化第四节序列预测一、线性预测函数二、预测方差最小原则三、线性最小方差预测的性质四、修正预测第四章非平稳序列的确定性分析【教学目的】1、理解时间序列的分解原理。
第二章时间序列的预处理
),,(),,(21,,21,,2121m t t t m t t t x x x F x x x F m m τττ+++=第二章 时间序列的预处理 2.1 平稳性检验 2.1.1 特征统计量 一、概率分布对时间序列},{T t X t ∈，,,,,21T t t t N m m ∈∀∈∀ 联合概率分布记为),,(21,,21m t t t x x x F m，由这些有限维分布函数构成的全体记为：},,,),,2,1(),,,({2121,,21T t t t m m x x x F m m t t t m ∈∀∈∀成为序列}{t X 的概率分布族二、特征统计量对时间序列},{T t X t ∈，取T s t ∈∀, 1、均值t t EX =μ为}{t X 在t 时刻的均值函数，},{T t t ∈μ反映},{T t X t ∈每时每刻的平均水平 2、方差2)(t t t X E DX μ-=3、自协方差函数（autocovariance function)和自相关函数(autocorrelatioi function) 定义 ),(s t γ为}{t X 的协方差函数：))((),(s s t t X X E s t μμγ--= 定义),(s t ρ为}{t X 的自相关系数，ACF. st DXDX s t s t ⋅=),(),(γρ2.1.2 平稳时间序列的定义 一、严平稳只有当序列所有的统计性质都不会随着时间的推移而发生变化时，该序列才能被认为是严平稳的。
定义 2.1 设}{t X 为一时间序列，对任意正整数m ，任取T t t t m ∈ ,,21，对任意整数τ 有则称时间序列}{t X 为严平稳时间序列。
二、宽平稳定义 2.2 如果}{t X 满足如下三个条件： （1）任取∞∈ 2,tEX T t 有；（2）任取μμ,,=∈tEXT t 有为常数；（3）任取),(),(T,t -s k T,k s,t,t s k k s t -+=∈+∈γγ有且; 则称}{t X 为宽平稳时间序列。
时间序列的重要特征和预处理
.24 .20 .16 .12 .08 .04 .00 -.04 -.08 -.12 50 55 60 65 70 75 80 85 90 95 00
中国总人口一阶差分序列
yt yt 1 0.1423 atຫໍສະໝຸດ (0.008)表2
案例2.中国GDP时间序列模型（中国gdp.wf1）
时序图：纵轴表示时序变量的观测值yt，横轴表示相应的时间t， 通过时序图能直观的反映出时间序列的基本样式。 散点图：又称相关图，表示的是yt与另一变量xt的坐标图，由于本 课程要考察的重点是时间序列分析，所以， xt通常用yt-1代替。
一、趋势
许多经济时间序列的一个最主要的特征就 是存在趋势，这种趋势可能是向上的也可 能是向下的，也许比较陡，也许比较平缓， 或者是指数增长或者是近似线性。 趋势序列包括确定性趋势序列和随机趋势 序列。
案例3. （文件名:北京月度销售.wf1）北京市1978.1-1989.12社 会商品零售额月度数据（yt,单位：亿元人民币），时序图如下 页所示。 由图可见，yt呈指数趋势。Lnyt呈线性趋势。
Y
900 800 700
LOG(Y)
6.8
6.4
6.0
600 500 400
5.6
5.2
300 200 100 78 79 80 81 82 83 84 85 86 87 88 89
4.8
4.4 78 79 80 81 82 83 84 85 86 87 88 89
北京市1978.1-1989.12社会商品零售额月度数据
DLOG(Y)
.3
取对数后的数据
.2
.1
.0
-.1
-.2
时间的序列预处理
时间序列预处理一、平稳性检验1、概率分布（1）意义：随机变量族的统计特性完全由它们的联合分布函数或联合密度函数决定（2）时间序列概率分布族的定义：Tt t t m m x x x F m m t t t m ,,,),,,2,1()},,,({2121,,,212、特征统计量均值：)(x xdF EX t t t 方差：)()()(22x dF x X E DX t t t t t自协方差：))((),(s s t t X X E s t 自相关系数：st DX DX s t s t ),(),(3、平稳时间序列的定义（1）严平稳严平稳是一种条件比较苛刻的平稳性定义，它认为只有当序列所有的统计性质都不会随着时间的推移而发生变化时，该序列才能被认为平稳。
（2）宽平稳宽平稳是使用序列的特征统计量来定义的一种平稳性。
它认为序列的统计性质主要由它的低阶矩决定，所以只要保证序列低阶矩平稳（二阶），就能保证序列的主要性质近似稳定。
4、平稳时间序列的统计定义满足如下条件的序列称为严平稳序列:正整数m ,T t t t m ,,,21,正整数,有:),,,(),,,(21,21,2121m t t t m t t t x x x F x x x F m m 满足如下条件的序列称为宽平稳序列: (1)T t EX t ,2;(2)T t EX t 为常数，,;(3)T t s kk s t t s k k s t 且，,,),(),(; 严平稳与宽平稳的关系:(1)一般关系严平稳条件比宽平稳条件苛刻，通常情况下，严平稳（低阶矩存在）能推出宽平稳成立，而宽平稳序列不能反推严平稳成立。
(2)特例不存在低阶矩的严平稳序列不满足宽平稳条件，例如服从柯西分布的严平稳序列就不是宽平稳序列;当序列服从多元正态分布时，宽平稳可以推出严平稳。
5、平稳时间序列的统计性质(1)常数均值。
(2)自协方差函数和自相关函数只依赖于时间的平移长度而与时间的起止点无关。
概率论与数理统计课程进度表
11
第5章
5.1差分运算5.2 ARIMA模型
12
第5章（续）
5.3残差自回归模型5.4异方差的性质
13
第5章（续）
5.5方差齐性变换5.6条件异方差模型
课后练习
14
第6章
6.1平稳多元序列建模6.2虚假回归
6.3单位根检验
15
第6章（续）
6.4协整6.5误差修正模型
4
第3章（续）
3.2 ARMA模型的性质2
5
第3章（续）
3.2 ARMA模型的性质3
6
第3章（续）
3.3平稳序列建模1
7
第3章（续）
3.3平稳序列建模2 3.4序列预测1
8
第3章（续）
3.4序列预测2
课后练习
9
第4章非平稳序列的确定性分析
4.1时间序列的分解4.2确定性因素分解
4.3趋势分析
10
第4章（续）
16
总复习
17
期末考试
应用时间序列课程计划进度表
学时分配：2课时/周×17＝34课时
周数
讲解内容
备注
1
第1章时间序列分析简介
1.1引言1.2时间序列的定义
1.3时间序列分析方法1.4时间序列分析软件
包括课程概述和SAS软件介绍
2
第2章时间序列的预处理
2.1平稳性检验2.2纯随机性检验
3
第2章平稳时间序列分析3.来自方法性工具3.2 ARMA模型的性质1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( z z )(z ( z z)
t t
t k 2
z)
1 ( z z )( zt 1 z ) r1 n t (2) 1 0.53 1 r0 ( zt z ) 2 n r 2 2 0.24 r0 r3 3 0.218 r0
纯随机性检验
检验原理 假设条件 检验统计量 判别原则
Barlett定理
如果一个时间序列是纯随机的，得到一 个观察期数为n 的观察序列，那么该序列 的延迟非零期的样本自相关系数将近似 服从均值为零，方差为序列观察期数倒 数的正态分布
1 ˆ k ~ N (0, ) n , k 0
平稳性的重大意义
样本特征描述
（1）样本均值
1 n z zt c n t 1
r (t, s) E[( zt ut )( zs us )]
（2）样本自协方差函数
1 nk rk ( zt z )( zt k z )或 n t 1 1 nk rk ( zt z)( zt k z) n k t 1 1 2 r0 ( zt z ) n t 1
1) EX t2 , t T 2) EX t , 为常数，t T 3) s t (t , s ) (t k , s k )，t , s, k 且t k , s k T
严平稳与宽平稳的关系
一般关系
严平稳条件比宽平稳条件苛刻，通常情况下，严平 稳（低阶矩存在）能推出宽平稳成立，而宽平稳序 列不能反推严平稳成立 不存在低阶矩的严平稳序列不满足宽平稳条件，例 如服从柯西分布的严平稳序列就不是宽平稳序列 当序列服从多元正态分布时，宽平稳可以推出严平 稳
宽平稳
平稳时间序列的统计定义
满足如下条件的序列称为严平稳序列
正整数m, t1 , t2 ,, tm T， 正整数， 有
Ft1 ,t2tm ( x1, x2 ,, xm ) Ft1 ,t2 tm ( x1, x2 ,, xm )
满足如下条件的序列称为宽平稳序列
1. Poisson 白噪声 2. 布朗运动和正态白噪声
标准正态白噪声序列时序图
白噪声序列的性质
纯随机性
(k) 0，k 0
各序列值之间没有任何相关关系，即为 “没有记 忆”的序列
方差齐性
DX t (0) 2
根据马尔可夫定理，只有方差齐性假定成立时，用 最小二乘法得到的未知参数估计值才是准确的、有 效的
自相关图检验
平稳序列通常具有短期相关性。该性质用自 相关系数来描述就是随着延迟期数的增加， 平稳序列的自相关系数会很快地衰减向零
例题
例2.1
检验1964年——1999年中国纱年产量序列的平稳 性 检验1962年1月——1975年12月平均每头奶牛月 产奶量序列的平稳性 检验1949年——1998年北京市每年最高气温序列的 平稳性
k 1 m
LB统计量
LB n(n 2) (
k 1 m
ˆ k2 nk
) ~ 2 (m)
判别原则
拒绝原假设
当检验统计量大于 12 (m)分位点，或该统计 量的P值小于 时，则可以以 1 的置信水 平拒绝原假设，认为该序列为非白噪声序列
12 (m)分位点，或该统计 当检验统计量小于 量的P值大于 时，则认为在 1 的置信水
第二章
时间序列的预处理
本章结构
平稳性检验 纯随机性检验
2.1平稳性检验
平稳时间序列的定义 平稳时间序列的统计性质 平稳时间序列的意义 平稳性的检验
平稳时间序列的定义
严平稳
严平稳是一种条件比较苛刻的平稳性定义，它认为 只有当序列所有的统计性质都不会随着时间的推移 而发生变化时，该序列才能被认为平稳。 宽平稳是使用序列的特征统计量来定义的一种平稳 性。它认为序列的统计性质主要由它的低阶矩决定， 所以只要保证序列低阶矩平稳（二阶），就能保证 序列的主要性质近似稳定。特例 Nhomakorabea
平稳时间序列的统计性质
常数均值 ，常数方差 自协方差函数和自相关函数只依赖于时 间的平移长度而与时间的起止点无关
延迟k自协方差函数
(k ) (t , t k ),k为整数
延迟k自相关系数
k (k ) (0)
自相关系数的性质
有界性 (k ) (k ) 对称性 非负定性
例2.2
例2.3
例2.1时序图
例2.1自相关图
例2.2时序图
例2.2 自相关图
例2.3时序图
例2.3自相关图
2.2 纯随机性检验
纯随机序列的定义 纯随机性的性质 纯随机性检验
纯随机序列的定义
纯随机序列也称为白噪声序列，它满足如下两 条性质
(1) EX t , t T 2 , t s (2) (t , s ) , t , s T 0, t s
1
(16 13)(12 13) (12 13)(15 13) (10 13)(14 13) (16 13) 2 (12 13) 2 (14 13) 2
平稳性的检验（图检验方法）
时序图检验
根据平稳时间序列均值、方差为常数的性质， 平稳序列的时序图应该显示出该序列始终在 一个常数值附近随机波动，而且波动的范围 有界、无明显趋势及周期特征
1 0 0 n 1 k j k , j 1 n 1 n 2
n 1 n2 0
平稳时间序列的意义
时间序列数据结构的特殊性
可列多个随机变量，而每个变量只有一个样 本观察值 极大地减少了随机变量的个数，并增加了待 估变量的样本容量 极大地简化了时序分析的难度，同时也提高 了对特征统计量的估计精度
例2.5
对1950年——1998年北京市城乡居民定 期储蓄所占比例序列的平稳性与纯随机 性进行检验
例2.5时序图
例2.5自相关图（相关）
例2.5白噪声检验结果
LB统计量检验 延迟阶数 6 12 LB检验统计 量的值 75.46 82.57 P值 <0.0001 <0.0001
假设条件
原假设：延迟期数小于或等于m期的序列 值之间相互独立
H 0：1 2 m 0, m 1
备择假设：延迟期数小于或等于 m 期的 序列值之间有相关性
H1：至少存在某个 k 0, m 1 k m ，
检验统计量
Q统计量
ˆ Q n k2 ~ 2 (m)
接受原假设
平下无法拒绝原假设，即不能显著拒绝序列 为纯随机序列的假定
例2.4：
标准正态白噪声序列纯随机性检验
样本自相关图
检验结果
延迟 延迟6期
QLB 统计量检验
QLB 统计量值
P值
0.8838
2.36
延迟12期
5.35
0.9454
由于P值显著大于显著性水平 ，所以该序列不能拒 绝纯随机的原假设。
n
（3）样本自相关函数
rk k r0
( z z )(z ( z z)
t t
t k 2
z)
例1、设动态数据16，12，15，10，9，17，11， 16，10，14，求样本均值、样本自相关函数 （SACF）（各求前三项）
rk k r0
1 (1) z zt 13 10