自相关过程控制简介—残差序列
自相关过程质量控制图研究方法综述
自相关过程质量控制图研究方法综述摘要：传统的统计过程控制方法一般是以监测数据服从独立同分布的假设为前提，不适用于存在的大量具有自相关特性的数据过程。
梳理了自相关过程质量控制图的研究框架和方法分类，指出了各种方法基本思路、适用范围、优缺点，并展望了未来的研究方向。
abstract： conventional control charts are based on the assumptions that the data generated by the process are normally and independently distributed， which do not work well for the autocorrelated processes. in this paper， the research framework and methodology for monitoring autocorrelation process quality control are classified. based on the analysis of basic ideas， scope， advantages and disadvantages for each kind of control charts， future research works are pointed out.关键词：自相关过程；质量控制图；残差控制图；非模型方法key words： autocorrelated processes；control chart；residual-based chart；model-free approach中图分类号：f204 文献标识码：a 文章编号：1006-4311（2013）18-0040-020 引言经典质量控制图都是基于质量过程服从独立、同（正态）分布的假定（iid），不适用于存在的大量具有自相关特性的数据过程。
残差序列存在负自相关-概述说明以及解释
残差序列存在负自相关-概述说明以及解释1.引言1.1 概述在时间序列分析中，自相关是一个常用的概念，它描述了时间序列中的观测值与其自身滞后观测值之间的相关性。
自相关可以是正的，也可以是负的。
本文旨在探讨残差序列存在负自相关的情况。
残差序列是通过将实际观测值与根据模型预测的值之间的差异计算而得到的。
在许多时间序列分析中，我们假设残差序列是无相关性的，即不具有自相关性。
然而，实际上，残差序列可能会显示出正的或负的自相关性。
负自相关意味着当一个观测值较大时，其滞后观测值往往较小；反之亦然。
这种负相关关系可能源于许多因素，比如某些趋势或周期性变化的存在。
负自相关性的存在对于我们理解时间序列的动态行为和未来趋势具有重要的意义。
在本文的剩余部分，我们将首先介绍负自相关的概念，讨论其与时间序列分析的关系。
接着，我们将探讨残差序列存在负自相关的原因，探究可能导致这种现象的因素。
最后，我们将总结本文的主要发现，并展望负自相关性对时间序列分析的影响和应用前景。
通过深入研究负自相关的现象，我们可以更好地理解和解释时间序列的特征，并为未来的预测和决策提供更准确的依据。
这对于经济学、金融学、社会科学等领域的研究和应用具有重要的意义。
1.2文章结构1.2 文章结构本文将按照以下结构进行描述和分析残差序列存在负自相关的原因。
首先，通过引言部分对本文的整体内容进行概述，让读者了解文章主题和目的。
接着，正文部分将从负自相关的概念入手，介绍了负自相关的定义和特点，为后续的分析提供基础。
然后，本文将详细探讨导致残差序列存在负自相关的原因，并提供解释和解答。
最后，在结论部分，对本文的主要内容进行总结，并展望负自相关的影响和应用。
通过这样的结构安排，读者将能够清晰地了解到残差序列存在负自相关的相关概念、原因分析以及未来可能的应用方向，从而更好地理解和应用负自相关的知识。
1.3 目的本文的主要目的是探讨和提供关于残差序列存在负自相关的相关信息和理论支持。
自相关过程的质量控制方法_残差控制图
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
2005
年第
6
期
Science
and
科技管理研究 Technology Management
Research
2005
No16
文章编号 : 1000 - 7695 (2005) 06 - 0139 - 02
自相关过程的质量控制方法 ———残差控制图
王斌会 , 张志雷
有效使用控制图能够在生产过程中科学地保证预防原 则的实现 , 减少质量的异常波动 , 从而提高产品品质 、增 强市场竞争力 。但是 , 人们在生产实践中逐渐认识到在使 用常规控制图对过程进行控制时 , 存在着一些不足之处 , 并陆续提出一些改进方法 。本文仅研究当过程存在自相关 现象从而违背常规控制图独立性假定时 , 对质量特性值控 制的残差图理论 , 希望以此对实际质量管理者提供有益的 参考 。
σ2Y = Var ( Yt)
σε2
= 1-
<2
假设在受控状态下质量特性观测值呈现自相关的系统
机理可用式 (3) 表达 , 则过程残差 et 为 : et ≡Yt - ^Yt| t - 1 , t - 2 , …
其中 ^Yt| t - 1 , t - 2 , …是 Yt 的估计值 , 令 Yt 的最小均方误 差线性估计值为 E ( Yt | Yt - 1 , Yt - 2 , …) 。在 t 时刻的估计值 是: ^Yt| t - 1 , t - 2 , … = E ( Yt| Yt - 1 , Yt - 2 , …) =μ^ + ^< ( Yt - 1 - μ^ )
自相关(序列相关性)
i
β X
1
β
=
1
∑ x y ∑ x
=
β
1
+
∑k u
i
i
所以，E (
Var( β ) = + 2σ ∑ x x ρ σ 2 ∑x (∑ xt )
1
2 2 t s 1 2 u u t s<t 2
)=β β
1
其中，
k
i
=
x ∑x
i
2 i
1
t s
即 Var（
β）
1
>
1
∑x
2 t
σu2
（一） OLS估计值方差增大 估计值方差增大
k ≠s k ≠s
检验， 检验失效 （二） t检验， F检验失效 检验
（三）预测精度降低
第二节 自相关的检验
一、图示法
通过et的变化来推断ut的变化规律 1.估计模型，求出 2.作 断
et
et 与 t
或
et 与et-1等的相关图，进行判
瓦特森（ 二、杜宾--瓦特森（Durbin--Waston）检验 杜宾 瓦特森 ） 简称， 简称， D--W检验 检验
2.自相关产生的原因 自相关产生的原因 （1）随机项 ui 本身的自相关——“真自相关” 例如，一些随机因素：自然灾害、经济政策、战争 等的影响往往会持续若干时期，造成随机项自相关 （2）模型设定不当，包括遗漏重要解释变量或错误确 定模型的数学形式——“拟自相关” （ 3）数据处理不当造成的自相关 例如，对数据进行差分等变换，就可能产生自相关。
，直到其收敛为止。一般，迭代两步就可以
了，所以，又叫科克兰内--奥克特两步法。 杜宾两步法可以推广到高阶自相关的情况。 利用 d=2（1-
第六章 自相关(序列相关)
可以证明： 1－ 2 － 1 C＝ 0 2 1－ 0
2
0 0 1 0 0 － 0 0 0 － 1 0
1－ 2 Cy 以 1－ C左乘原模型，并定义y 1－ 2 CX， 1－ 2 C X
则变换后的扰动项 满足球型扰动项的假设， 故高斯－马尔可夫定理成立（因为这种变换是 GLS的一个特例）
1－ 2 － 1－ 2 Cy＝ 0 y 0
0 0 y1 1 0 0 y2 － 0 0 yn 0 － 1 0
第六章 自相关（序列相关）
一、自相关的后果 违反球型扰动项假定的另一情形是自相关。若存在 i j使得E i j X 0，即扰动项的协方差阵Var X 的非主对角线元素不全为0，则称存在“自相关” （autocorrelation）或“序列相关”（serial correlation）
其中， Var u t ，而1＝ ，
2 u 2
1 2 故一阶自相关系数 ＝ 2 ＝ 0
由课件第三章p21， 2＝ ， ， n-1＝ ，故
2 2 n-1 2
1 2 Var X ＝ n-1
1
1－ 2 y1＝ 1－ 2 1＋ 1－ 2 2 x12＋＋ 1－ 2 k x1k＋1 y 2－ y1＝1－ 1＋ 2 x 22－ x12 ＋＋ k x 2k－ x1k ＋ 2 y n－ y n-1＝1－ 1＋ 2 x n 2－ x n-1， ＋＋ k x nk－ x n-1，k 2 ＋ 2
因此辅助回归的解释变量e t-1， ，e t-p必与扰动项相 关，导致不一致的估计。这就是所谓的随机解释变 量问题，后面会介绍。若引入解释变量x t1， ，x tk 将使BG检验更加稳健 由于使用了滞后残差值e t-p，损失了p个样本值，故
第06章 自相关(讲稿)
第6章自相关1. 自相关定义1）非自相关由第2节知回归模型的假定条件之一是，Cov(u i,u j )=E(u i u j) =0, (i, j∈T, i ≠ j),(1.1)即误差项u t的取值在时间上是相互无关的。
称误差项u t非自相关。
2）自相关如果Cov (u i ,u j ) ≠ 0, (i ≠ j)则称误差项u t存在自相关。
自相关又称序列相关。
原指一随机变量在时间上与其滞后项之间的相关。
这里主要是指回归模型中随机误差项u t 与其滞后项的相关关系。
自相关也是相关关系的一种。
2．自相关类型1）自相关按滞后阶数可分为两类。
(1)一阶自回归形式当误差项u t只与其滞后一期值有关时，即u t = f (u t - 1),称u t具有一阶自回归形式。
(2) 高阶自回归形式当误差项u t的本期值不仅与其前一期值有关，而且与其前若干期的值都有关系时，即u t = f (u t – 1, u t – 2 , … ), 则称u t 具有高阶自回归形式。
2）按函数形式分为线性自相关和非线性自相关 （1）线性自相关 f 为线性函数形式 （2）非线性自相关 f 为非线性函数形式 3．一阶线性自相关通常假定误差项的自相关是线性的。
因计量经济模型中自相关的最常见形式是一阶自回归形式，所以下面重点讨论误差项的线性一阶自回归形式，即 u t =1a u t -1 + v t (1.2)其中1a 是自回归系数，v t 是随机误差项。
v t 满足通常假设E(v t ) = 0, t = 1, 2 …, T, Var(v t ) = σv 2, t = 1, 2 …, T,Cov(v i , v j ) = 0, i ≠ j, i, j = 1, 2 …, T, Cov(u t-1, v t ) = 0, t = 1, 2 …, T,依据普通最小二乘法公式，模型（1.2）中 1 的估计公式是，1ˆa= ∑∑=-=-Tt t Tt t tuuu 22121 (1ˆβ=∑∑---2)())((x x x x y y t t t ) (1.3)其中T 是样本容量。
自相关——精选推荐
第六章 自相关一、什么是自相关及其来源 二、自相关的后果三、自相关的检验 四、自相关的修正五、应用实例6.1自相关的概念及其来源例如：研究中国工业总产值指数（Y ）和国有企业工业总产值指数（X ）的关系，利用1977年至1997年的历史资料，运用OLS 方法得到如下模型。
2ˆ0.0568 1.0628(37.8666)(0.3502)(0.0015)(3.0348)0.32650.37679.2099t t Y X t R DW F =+====给定显著性水平a=0.05，自由度为19，查t 分布表得0.025(19) 2.093t =。
以模型的计算结果t=3.0348，且0.025(19)t t >，表明t X 对t Y 的影响比较显著，但可决系数并不理想。
这种情况下，随机扰动项之间有可能存在序列自相关。
一、自相关的概念自相关（auto correlation ）又称序列相关（serial correlation ），是指总体回归模型的随机误差项i u 之间存在的相关关系。
更一般的，自相关是指某一随机变量在时间上与其滞后项之间的相关。
经典回归模型中，曾假定随机误差项无自相关，即i u 在不同观测点之间是不相关的。
(,)(,)0()i j i j Cov u u E u u i j ==≠如果该假设不成立，就称i u 与j u 存在自相关，即不同观测点上的误差项彼此相关。
二、自相关产生的原因 1）经济系统的惯性。
自相关现象大多出现在时间序列数据中，其本期值往往受滞后值影响，突出特征就是惯性和低灵敏度。
例如：居民总消费函数模型01(1,2,,)t t tC Y u t n ββ=++=总消费受收入（t Y ）的影响，事实上消费也受消费习惯的影响。
把消费习惯并列随机扰动项中，就可能出现序列相关性。
2）经济行为的滞后性例如，基础设施的建设需要一定的建设周期，那么产出效益的发挥有一定滞后时间。
求残差的函数-概述说明以及解释
求残差的函数-范文模板及概述示例1:标题：探索残差函数：一个重要的数学工具简介：在数学和统计学中，残差函数是一种重要的工具，用于评估模型的精确程度和解释模型的误差。
本文将介绍残差函数的基本概念、应用领域和常见的求残差方法。
一、什么是残差函数？残差函数是用来衡量预测值与真实值之间差异的函数。
在统计回归分析中，残差函数衡量了观测值与回归线之间的垂直距离。
残差函数的值可以为正，负或零，表示预测结果与实际观测值之间的偏差程度。
二、残差函数的应用领域1. 统计回归分析：残差函数在统计回归分析中广泛应用。
它可以用来评估回归模型的拟合程度，检测异常点和模型假设的违背情况。
常见的残差函数有普通最小二乘残差、加权最小二乘残差等。
2. 时间序列分析：时间序列分析中的残差函数用于检测和纠正模型预测中的误差。
通过比较观测值与模型预测值之间的残差，可以对模型进行修正和改进，提高预测准确性。
3. 图像处理：在图像处理中，残差函数被用来评估图像处理算法的效果。
通过比较图像处理前后像素之间的残差，可以评估算法的改善程度，并做出适当的调整。
三、求残差的方法1. 普通最小二乘法（OLS）：在统计回归分析中，普通最小二乘法是一种常见的求解残差的方法。
它以最小化残差平方和为目标，通过求解回归系数得到最佳拟合线，然后计算观测值与拟合线之间的残差。
2. 神经网络模型：神经网络模型是一种强大的求残差的工具。
通过反向传播算法，神经网络可以不断调整权重和阈值，使得模型的输出与真实值之间的残差逐渐减小。
3. 傅里叶变换：在时间序列分析中，傅里叶变换可以将时域的残差函数转换为频域上的能量分布。
通过分析频域上的残差信息，可以发现时间序列的周期性和趋势变化。
结论：残差函数作为一个重要的数学工具，在统计学、机器学习和其他学科中有着广泛的应用。
通过求解残差，我们可以评估模型的准确性，检测异常点，甚至改进和优化模型。
对于从事模型拟合、预测和图像处理的人们来说，掌握和理解残差函数的求解方法是非常重要的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
,t q
(1 1) Y
,t q
• 因此若 1 ,q0时刻没有检出偏移，以后残差显示
的偏移减少，检出会更加困难，残差的单值-移
动极差控制图会不太灵敏。可以考虑用EWMA控
制图或CUSUM控制图。 时相反。
1 0
残差的单值控制图，偏移0.5标准 差
残差的EWMA控制图偏移0.5标准差
单值控制图，偏移1个标准差
不合格产品。 • 可以采用修正控制限的方法 • 更常见的方法是使用残差控制图对过程进行监控
时间序列建模
• 使用残差控制图监控自相关过程的方法最早由 Alwan和Roberts[Time series modeling for statistical process control]提出，他们证明了对自相关序列建立恰当 的时间序列模型，那么由真实值减去预测值所得 的残差序列是独立的，然后可以对残差序列应用 传统控制图。
p 0
E
(
t
)
0，Var
(
t
)
2
,
E
(
t
s
)
0,
s
t
Exst 0,s t
• 一个matlab仿真例子, xt 0.6xt1 ，t t N(0,1)
• 初始值 x1=0，仿真250个数据，第201个时刻
引入偏移。偏移量可以指定为标准差的倍数。
先忽略自相关，对前200个数据绘制单值-移动
总体标准计。对单值-移动极差控制图，则有
E(MR / d2(2)) 1Y
自相关的影响机制
• 回到上面的例子， xt 0.6xt1 t t N(0,1)
• x 1/(1 0.62) 1，.25而采用移动极差法估计的总体
标准差理论值为
E(MR / d2(2)) 1 0.6 *1.25 0.79
• 从而造成了控制限收紧，导致出现了大量的出界 点，虚发警报错误较多；若是自相关系数小于零， 则控制限会放宽，容易造成漏发警报错误。
解决方法一
• 从自相关图可以看到，当滞后期大于3时，序列 间的自相关会变得较小，直观的想法是增大取样 间隔。
方法一的缺陷
• 丢弃大量可用数据信息 • 过程发生偏移时不能及时的检测出，会产生大量
matlab自带的函数garchfit拟合一个一阶自回归模
型，拟合的模型为
xt 0.03，5 用0.真586实6x值t1减
去该拟合模型得到的预测值即可得到残差序列，
我们首先检验残差序列的自相关情况
验证残差的自相关
验证残差的正态性
残差的I-MR控制图
残差控制图的检出效果
• 设估计的AR(p)模型 Yˆt 1(Yt1 )2(Yt2 ) ... p(Ytp ) • 残差序列为 Rt (Yt ) 1(Yt1 ) 2(Yt2 ) ... p(Ytp ) • 设序列 Y在t q时刻发生偏移 ，即Y
自相关过程控制简介
内容
• 自相关对控制图表现的影响 • 一元残差控制图的实施方法和效果分析 • 一元残差控制图的ARL • 多元自相关问题简介 • 其他研究
传统控制图的基本假设
• 自1920s Shewhart博士发明控制图以来，统计过 程控制理论得到了迅速的发展和应用
• 传统控制图，包括休哈特控制图、EWMA控制图、 CUSUM控制图和它们的多元形式有一个关键的 假定：样本序列独立且服从正态分布
自相关问题
• 然而生产实际中，有时并不能满足以上的假定， 对于不符合正态性假定的情形，可以进行正态性 转换，亦有学者采用如支持向量机分类的方法进 行处理。
• 而在化工、冶金等生产领域，同时也由于数据自 动采集技术的进步，数据常常出现自相关。
自相关对控制图表现的影响
xt 0 1xt1 2 xt2 p xt p t
,t q E(Yt ) Y , t q
E(Rt )
0
,t q
Y (11 2 ... i )Y (11 2 ... p )Y
,t q ,t q i,1 i p ,t q p
残差控制图的检出效果
• 特别的，对于一阶自回归模型，即p=1时，
0
,t q
E(Rt ) Y
EWMA控制图，偏移1个标准差
单值控制图，偏移2个标准差
EWMA控制图，偏移2个标准差
时间序列建模
• 比较常见的是建立自回归模型AR(p)，也可以建 立移动平均MA(q)模型和自回归整合移动平均模 型ARIMA(p,q)。模型的阶数确定可以通过专门的 定阶准则AIC、BIC或者是通过自相关函数和偏自 相关函数确定。实际问题中还需考虑时间序列的 平稳性
例子
• 仍然考虑上面的例子，对前200个数据采用
极差控制图
自相关对控制图表现的影响
自相关的影响机制
• 考虑一阶自回归AR(1)模型， Yt Yt1 t
• 其中 t N (0, 2，) 序列 Y的t 方差：
Y 2
Var(Yt )
2 12
• 常用的均值-极差控制图使用极差来估计总体
标准差，查找有关资料可得，E(R / d2(2)) 1Y • 可见当自相关系数 为0时，极差法所得的是