EOF分析及其应用

合集下载

EOF分析及其应用

EOF分析及其应用

图a
整理课件
参考文献
魏凤英,《现代气候统计诊断与预测技术》,气象出版社,北京,2007; EOF在大气科学研究中的新进展;丁裕国;《气象科技》199303期 ; 近年来中国统计气象学的新进展;周家斌 黄嘉佑 ;《气象学报》 1997
年03期 ; 我国盛夏500 hPa 风场的EOF 分析及其与大尺度气候异常的关系。顾 泽,
EOF分析及其应用
整理课件
一、引 言 经验正交函数(EOF)方法:最早由统计学家
pearson(1902)提出,由Lorenz(1956)引入 气象问题分析中。该方法以场的时间序列为分析对 象,由于对计算条件要求甚高,直到20世纪60年代 后期才在实际工作中得到广泛应用。 近30年来,出现了适合于各种分析目的的EOF分析 方法,如扩展EOF(EEOF)方法,旋转EOF (REOF)方法,风场EOF(EOFW)方法,复变量 EOF(CEOF)方法。
整理课件
EOF分解的优点
1,没有固定的函数; 2,能在有限区域对不规则分布的站点进行分解; 3,展开收敛快,很容易将变量场的信息集中在几个模
态上; 4,分离出的空间结构具有一定的物理意义;
EOF方法不但用于观测资料的分析,还用于 GCM资料的分析和数值模式的设计。现在, EOF方法已作为一种基本的分析手段频繁地出 现在大气科学研究的文献中。
分析表明,南亚夏季风的爆发主要体现在降 水的突然增加和季风雨带的快速推进上,雨 带的时空分布有突变的特点。
第1 模态——降水量的突然增加。 第2 模态——从南向北的快速推进过程。 第3模态——东西分布型态,及在季风爆发
后印度半岛降水快速增加的过程。 第4模态—二、EOF分析方法原理
将某气候变量场的观测资料以矩阵形

EOF分析及其应用

EOF分析及其应用
环境监测和保护:利用EOF分 析对环境变化进行监测和预警
EOF分析可以与其他统计方法结合 使用,提高分析的准确性和可靠性。
EOF分析可以与机器学习方法结合, 利用机器学习算法对复杂数据进行 分析和预测。
添加标题
添加标题
添加标题
添加标题
EOF分析可以与数值模型进行比较, 验证模型的预测能力和改进方向。
,a click to unlimited possibilities
汇报人:
01
02
03
04
05
06
EOF分析是一种统计方法,用于研究数据的空间结构和变化规律 它通过分析数据场的空间相关性和时间变化趋势,来揭示其内在的物理过程和机制 EOF分析基于最小二乘法原理,通过求解特征向量和特征值来得到主成分 主成分(EOFs)是数据场中的重要模式,能够解释数据场的主要变异性
EOF分析在可持续 发展领域的应用: 随着可持续发展目 标的推进,EOF分 析将更多地应用于 解决环境、社会和 经济问题,为可持 续发展提供决策支 持。
EOF分析的跨学科 应用:与其他学科 领域的交叉融合将 进一步拓展EOF分 析的应用范围,例 如生态学、水文学、 农业等。
汇报人:
强化实际应用:结 合具体案例,深入 挖掘EOF分析的应 用价值
实例名称:北半球夏季气候变化 数据来源:全球气象观测站 EOF分析结果:第一模态解释了60%的气候变化,与ENSO事件相关 应用:预测未来气候变化趋势
数据来源:海洋观测站、卫星遥感等 EOF分析方法:对海洋数据进行降维处理,提取主要特征 结果展示:各EOF对应的空间分布、时间变化和物理意义 应用价值:了解海洋环流、气候变化等
起源:20世纪40年代,气象学家为了研究气候变化开始使用EOF分析 发展:随着计算机技术的进步,EOF分析逐渐被广泛应用于各个领域 应用:EOF分析在气象、海洋、生态等领域发挥了重要作用,帮助科学家更好地理解数据和现象 未来:随着大数据和人工智能的发展,EOF分析将有更广阔的应用前景

EOF分析及其应用

EOF分析及其应用

EOF分析及其应用
一、EOF分析是什么
EOF分析(Empirical Orthogonal Function Analysis)是一种常用
的时间-空间统计分析方法,它是由把空间上的一维观测或多维观测数据
矩阵投影到一个更特别的模型空间中,然后对该模型空间中的变换数据进
行分析从而推算出有关的特征参数的一种分析方法。

二、EOF分析的原理
EOF分析由英国天文学家Harold E. Jeffreys (1891-1989)于
1931年提出。

它利用最小二乘估计法,把空间上一维或多维观测的数据
矩阵投影在一个特定的模型空间中,然后对该模型空间中变换的数据进行
分析,从而推算出有关的特征参数。

EOF分析的核心理论是“变换空间”,即给定一个多维空间Vn,找出一个低维变换空间Vm具有一定的特殊性质(如基Vm上的每一列向量的模具有最小值,它们张成一个最小的模型空
间上),使得数据在其中具有最好的表示,且在该变换空间中可以表示出
空间统计分布的特性。

三、EOF分析的应用
(1)短时间强对流预报
短时间强对流预报是一种有效的大气环境监测技术,它依据大气各层
能量释放特征进行短时间的天气预报。

EOF方法运用了空间观测数据,可
以对大气能量释放做出准确的模拟分析,从而预测出未来几小时内这一区
域内的强对流天气预报。

(2)大气环流异常研究。

常用数据分析方法介绍

常用数据分析方法介绍

样本长度、时间尺度个数、起始时间 尺度、时间尺度间距
参数说明
• (4)小波分析程序输出结
年份
时间尺度
果文件为WA文件夹下的
“Fileout.txt”,给出了年份
小波系数
、时间尺度以及小波系数
值;
20
18
16
时 14 间 尺 12 度 10 /8 a6
4
2 1961 1964 1967 1970 1973 1976 1979 1982 1985 1988 1991 1994 1997 2000 2003 2006 2009
天长
界首 临泉
太和 阜阳
阜南
涡阳
宿县
灵壁 泗县
蒙城 利辛
固镇
五河
颍上
怀远蚌埠 凤阳
凤台 淮南 寿县 长丰
定远
明光
霍邱
来安 滁州
天长
全椒
金寨
六安 霍山
岳西
合肥 肥东
肥西 舒城
含山 和县马鞍山
巢湖
当涂
庐江 桐城
无为
芜湖
铜陵
繁昌
芜湖县
南陵
宣城
郎溪 广德
潜山 太湖 怀宁
宿松
望江
枞阳 贵池
青阳
安庆
九华
泾县
东至
Fortran计算程序中需要修改的参数主要有:N(样本长度)、 NYEAR(起始年份)
样本长度、起始年份
• (4)MK检验程序输出结果文 件为MK文件夹下的 “Fileout.txt”,其中第一列为 年份;第二、三列分别为UF 和UB统计量值;第四、五列 为显著性水平。
年份
UF
UB
显著性水平

EOF在大气科学中的应用,eof介绍

EOF在大气科学中的应用,eof介绍

最近做了一些数据分析,用到EOF分解,但是并没有发现网上有中文的相关资源,个人认为这个东西的理解对搞物理海洋和大气科学的人还是非常重要的,这里谈点自己的理解,也请大家多批评指正。

EOF Decomposition即正交经验函数分解,英文也常用PCA(Pri ncipal Components Analysis)即主成分分析。

撒一把芝麻在地上,让你用个尽可能小的椭圆把它们圈起来。

这个椭圆的长轴,就是这堆芝麻的第一主成分,所谓first leading EOF,也叫Mode-1,短轴呢,就是第二主成分了。

如果这群芝麻撒得特听话,基本排成一条线,你的椭圆就会特别扁,这时候长轴就特别能描述这群芝麻的特点。

理想化一下,芝麻们就排成一直线,椭圆就理想成Ax+B了。

长轴和短轴差别越大,即长轴的“方差贡献”越大,描述地越好。

这是最简单的对EOF的理解。

说起将EOF用在大气海洋,不可不提的一个人就是John Kutzbach,U niv.Wisconsin-Madison的senior scientist。

以前的EOF是一个纯数学概念,和海洋大气并不搭界,而Kutzbach第一个把EOF引入海洋大气界,开始彻底改变人们对数据分析和物理现象的认识。

Kutzbach 是个很有传奇色彩的人物,有很多开创性的工作。

比如虽然大家公认Wallace是Arctic Oscillation的提出者,其实Kutzbach很早就发现了AO的存在。

再比如Earth's Climate System概念的提出及学科系统的完善,他也是功不可没。

Ruddiman著Earth's Climate:Past and Future的时候,第一句话就是献给Kutzbach,极高地评价他headedthe effort to make the study of Earth's climate a science.还有很多鲜为人知的故事,在此不表。

EOF应用:从数据预处理到详细分析

EOF应用:从数据预处理到详细分析
EOF 分析
By lqouc
1. 什么是 EOF,它的作用是什么。 1.1 什么是 EOF 关于 EOF 要先从主成分分析说起,主成分分析是多元统计分析中重 要的一部分,是一种从多个变量化为少数变量的统计方法,利用多个 变量之间相互关系构造一些新的变量, 这些新的变量不仅能综合反映 原来多个变量的信息,而且彼此之间是相互独立的,同时是按方差贡 献大小排列的,这种统计处理方法称为主成分分析。主成分分析在气 象应用中称为经验正交函数(EOF)分解。 1.2EOF 的用途 对于一个气象要素, 我们通常有 m 个空间点或者台站, 有 n 次观测, 这样组成的矩阵中的任意元素就表示了某一空间某一时刻的函数, 我 们希望能将这样的时空函数分解成空间函数与时间函数两部分的线 性组合。根据主成分的性质,主成分是按其方差贡献大小排列的,而 且是相互独立的, 那么可以用前几个时间函数与对应的空间函数的线 性组合,对原始场做出估计和解释,这就是经验正交函数分解的主要 目的。 2. EOF 的数据预处理 EOF 只是个统计学的方法, 本身不带有任何物理意义, 更不会揣摩作 者的意图,所以在数据导入之前需要对数据进行分析和预处理。以免 得到错误的或者不理想的结果。 在此处所说的预处理不是指一般 EOF
小时间序列的自由度。3.带通滤波也是常用的方法(本人没用过) , 其优点是可以选定一定的频率范围,缺点是边界处处理不是很清晰。 4.谐波滤波,以傅里叶函数为基函数对时间序列进行逼近,其优点是 可以较准确的得到选取的频段信号,缺点是选的基函数有局限性,而 且结果和时间序列的长度有关。5.线性去趋势可以去除时间序列的线 性趋势信号,但是需要这一线性趋势通过显著性检验。 2.3 如何合理选定分析对象 上面谈到的是滤波的方法, 但是如果我们的数据是一些大家不熟悉的 数据,我们并不知道它都主要包含何种尺度的信号,也不知道各个主 要尺度信号的强弱,那就需要先对时间序列进行分析。对于时间序列 的分析,我们可以采用 1.谐波滤波,看各个频率的数值大小。2.功率 谱分析,得到显著周期。3.小波分析,同样可以得到时间序列的多尺 度变化特征。 在此,我推荐的方法是结合空间利用方差分析,因为以上的分析我们 都是忽略了空间的影响, 一种要素的时间变化特征是会随着空间变化 的。例如,对中国地区做某一要素的 EOF 分析,得到的结果不能通 过检验(检验的方法,后面再说) ,这个时候我们就需要考虑是否一 些地区的目标信号不强,而另外一些地区目标信号很强,这样的话就 只需要分析目标信号很强的地区,即只对特定区域进行 EOF 分析。 结合空间的方差分析, 首先需要对要素每一个空间点的时间序列进行 滤波,得到各个不同频率的信号(从季节内到线性趋势) 。对每个平 率的信号求方差,得到了各个频率的方差的空间分布。在分析的过程

EOF分析

EOF分析

练习:利用[E,V]=eig(C)计算矩阵X 的特征向量和主成分%
X=[2 6 1 5 2; 9 4 0 5 4]; X(1,:)=X(1,:)-mean(X(1,:)); X(2,:)=X(2,:)-mean(X(2,:)); 得到X的距平值:X= -1.20 2.80 -2.20 1.80 -1.20 4.60 -0.40 -4.40 0.60 -0.40 %%% co-variance matrix C=X*X’/5; 协方差阵C= 3.76 0.92 0.92 8.24 [EOF,E]=eig(C); % V: eigenvectors; E: eigenvalues PC=EOF’*X; %% reverse the order E=fliplr(flipud(E)) lambda=diag(E); % retain eigenvalues only EOF=fliplr(EOF) PC=flipud(PC) 得到EOF= 0.19 0.98
原理与算法
• 选定要分析的数据,进行数据预处理,通常处理成距平的形式。得到一个数 据矩阵Xm×n • 计算X 与其转置矩阵X T 的交叉积,得到方阵 Cm×m = 1 X × XT n
如 果 X 是 已 经 处 理 成 了 距 平 的 话 , 则 C 称 为 协 方 差 阵 ; 如 果X 已 经 标 准 化(即C 中每行数据的平均值为0,标准差为1),则C 称为相关系数阵 • 计算方阵C 的特征根(λ1,...,m )和特征向量Vm×m ,二者满足 Cm×m × Vm×m = Vm×m × ∧m×m 其中∧是m × m维对角阵,即 λ1 0 ... 0
-0.98 0.19
得到特征根E= 8.42 0 0 3.58 得到主成分PC= 4.28 0.15 2.07 -2.82

EOF应用:从数据预处理到详细分析

EOF应用:从数据预处理到详细分析

响因子, 进行简单相关、 复相关和偏相关分析, 确定可能的影响因子。 确定了影响因子之后可以尝试用多元回归分析, 探讨这些因子与研究 要素之间的可预报性。 除了以上提到的分析,还可以根据自己的目的增加分析的内容。 5. 不同类型的 EOF 5.1EOF 本身的变化 对于 EOF 的介绍很多的参考书籍都将其用于时空分离,也就是用在 了空间和时间构成的三维场。但是实际上,我们回归最前面的 EOF 的出处, 可以看出最原本的主成分分析并没有限定要素是时空的函数。 这种方法只是通过引入新变量来达到数组降维的效果。 所以我们可以 在应用中进行多种尝试,只要能在物理上找到合理的解释就没问题。 因为,这终究只是一种数学工具。 举个例子,我们将一个 30 年长度月分辨率的时间序列,写成一个 30*12 的数组,第一维 30 年,第二维是 12 个月,这样以 30 年为我 们通常认为的时间,12 个月为‘空间’ ,进行 EOF 分析,得到的结果 可以揭示不同模态下 12 个月分别在这 30 年中的变化。 除此之外还有很多种用法,在此不再赘述,仅作抛砖引玉。 5.2 多变量 EOF(MV-EOF) EOF 分析时, 不仅会研究某一要素的时空特征, 有时也会研究某现象 的时空特征,而这些现象往往不能用单一的要素来表征,这时候就需 要用到了多变量的 EOF。 例如,研究海洋大陆的季风系统时空变化特征,很可能要考虑到
小时间序列的自由度。3.带通滤波也是常用的方法(本人没用过) , 其优点是可以选定一定的频率范围,缺点是边界处处理不是很清晰。 4.谐波滤波,以傅里叶函数为基函数对时间序列进行逼近,其优点是 可以较准确的得到选取的频段信号,缺点是选的基函数有局限性,而 且结果和时间序列的长度有关。5.线性去趋势可以去除时间序列的线 性趋势信号,但是需要这一线性趋势通过显著性检验。 2.3 如何合理选定分析对象 上面谈到的是滤波的方法, 但是如果我们的数据是一些大家不熟悉的 数据,我们并不知道它都主要包含何种尺度的信号,也不知道各个主 要尺度信号的强弱,那就需要先对时间序列进行分析。对于时间序列 的分析,我们可以采用 1.谐波滤波,看各个频率的数值大小。2.功率 谱分析,得到显著周期。3.小波分析,同样可以得到时间序列的多尺 度变化特征。 在此,我推荐的方法是结合空间利用方差分析,因为以上的分析我们 都是忽略了空间的影响, 一种要素的时间变化特征是会随着空间变化 的。例如,对中国地区做某一要素的 EOF 分析,得到的结果不能通 过检验(检验的方法,后面再说) ,这个时候我们就需要考虑是否一 些地区的目标信号不强,而另外一些地区目标信号很强,这样的话就 只需要分析目标信号很强的地区,即只对特定区域进行 EOF 分析。 结合空间的方差分析, 首先需要对要素每一个空间点的时间序列进行 滤波,得到各个不同频率的信号(从季节内到线性趋势) 。对每个平 率的信号求方差,得到了各个频率的方差的空间分布。在分析的过程
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

都是他提出的。
Lorenz,Edward Norton
混沌理论之父、MIT教授 One of the great modern science
stories is the so-called "Butterfly Effect". It suggests that the weather is so sensitive to tiny changes, that something as microscopic as a butterfly flapping its wings in Brazil could set off a tornado in Texas
近30年来,出现了适合于各种分析目的的EOF分析 方法,如扩展EOF(EEOF)方法,旋转EOF (REOF)方法,风场EOF(EOFW)方法,复变量 EOF(CEOF)方法。
EOF分解的优点
1,没有固定的函数; 2,能在有限区域对不规则分布的站点进行分解; 3,展开收敛快,很容易将变量场的信息集中在几个模
1951 - 2004 年我国7 - 8 月月平均温度(a) 和月总降水量(b) 的第一 特征向量图
图b
图a
参考文献
魏凤英,《现代气候统计诊断与预测技术》,气象出版社,北京,2007; EOF在大气科学研究中的新进展;丁裕国;《气象科技》199303期 ; 近年来中国统计气象学的新进展;周家斌 黄嘉佑 ;《气象学报》 1997
i 1,2, , m t 1,2, , n k 1,2, , p
含义:场中第i个格点上的第t次观测值,可以 看作是p个空间函数 vik和时间函数 的zki 线性组合 。
其中,
v11 v12 v1m
z11 z12 z1n
V

v21
上式表明,第t个场可以表示为m个空间 典型场,按照不同的权重线性叠加而成。V 的每一列表示一个空间典型场,由于这个场 由实际资料确定,故又叫经验正交函数。
上述分解要求满足下列两个条件:
v
T i
v
j

p
vkivkj
k 1
0 1
i j i j
性质Βιβλιοθήκη ZiZT j

n
zit z jt
4)将特征值作非升序排列(通常使用 沉浮法),并对特征向量序数作相应变动;
5)根据 h ,h=1~H和X总方差,求出全 部 h 、Ph , h=1~H;
6)由X及主要 Vh 求其时间系数 Zh 、
h=1~H,主要的数量由分析目的及分析对象
定;
7)输出主要计算结果。
七 经验正交函数的物理意义
特征向量以及时间系数的分析。
周振荡型态。
第1 模态——降水量的突然增加
降水量的第2 模态 -从南向北的快速推进过程
降水量的第3 模态
东西分布型态,及在季风爆发后印度半岛降水快速增加 的过程
降水量的第4 模态 印度次大陆东海岸降水的准双周振荡型态
我国盛夏500 hPa 风场的EOF 分析及 其与大尺度气候异常的关系
将东亚500 hPa 风场,温度场,降水量场进 行经验正交分解,得到它们的主要模态的 时空变化特征。结果表明东亚风场EOF 的主要模态与我国温度,降水量的EOF 的 主要模态对应,其第一EOF 模态与盛夏温 度,降水量的关系密切。
x1t v11
v12
v1m

x2t



v21

z1t

v22


z
2t


v2m


z
mt


xmt vm1
vm2
vmm
或者 xt v1 z1t v2 z2t vm zmt
年03期 ; 我国盛夏500 hPa 风场的EOF 分析及其与大尺度气候异常的关系。顾 泽,
封国林,顾骏强,施 能; 南亚夏季风爆发前后降水量时空变化特征。朱 敏,张 铭;
Thank you!!!
Karl Pearson
Karl Pearson(1857~1936) 统 计学之父。

X


x21
xm1
x22 xm2

x2n
xmn
m是空间点(观测站或网格点), n是时间序列长度(观测次数)。
气象场的自然正交展开,是将X分解为时间函
数Z和空间函数V两部分,即
X VZ
或者
p
xit vik zkt vi1 z1t vi2 z 2t vip z pt k 1
南亚夏季风爆发前后降水量时空变化特征
分析表明,南亚夏季风的爆发主要体现在降 水的突然增加和季风雨带的快速推进上,雨 带的时空分布有突变的特点。
第1 模态——降水量的突然增加。 第2 模态——从南向北的快速推进过程。 第3模态——东西分布型态,及在季风爆发
后印度半岛降水快速增加的过程。 第4模态——印度次大陆东海岸降水的准双
EOF分析及其应用
组员:
吕爱民 杨柳妮 丁莉
中国气象科学研究院
一、引 言
经验正交函数(EOF)方法:最早由统计学家 pearson(1902)提出,由Lorenz(1956)引入 气象问题分析中。该方法以场的时间序列为分析对 象,由于对计算条件要求甚高,直到20世纪60年代 后期才在实际工作中得到广泛应用。
Butterfly Effect
vki xkt
k 1
Z就是时间系数矩阵,zit 第i个格点上的 第t 个时间系数。
四、误差估计和计算
X Xˆ mVp .p Zn
Xˆ 是拟合场.
可以证明误差
mn
m
p
Q
(xit xˆit )2 i i
i1 t 1
i 1
i 1
五、重要参数 第i个特征向量对X场的贡献率
1951 - 2004 年500 hPa 7 - 8 月平均风场EOF 分解的第一特征向量 图(a)和标准化的时间权重系数(b) (图中斜直线是回归线)
盛夏500 hPa 第一时间权重系数与我国同期平均温度(a) 和月总降水量(b) 的相关系数图
图中,淡灰(灰,黑色) 是0. 05 (0. 01 ,0. 001) 信度的相对区
m
i i
i
i 1
前p个特征向量对X场的贡献率
p
i i i1 i
m
i
i 1
六、计算步骤
1)根据分析目的,对原始资料矩阵X作距 平或者标准化处理;
2)由X求协方差矩阵 A XXT ; 3)求实对称矩阵A的全部特征值 h、特征
向量Vh,h=1~H(通常使用Jacobi法);
t 1
0 i
i j i j
i, j 1,2, ,m
三、分解方法
XX T VZZTV T
A XX T
A为实对称矩阵,根据实对称矩阵分解原理, 一定有
V T AV 或者 A VV T
V的列就是A的特征向量, 是A的
特征值组成的对角矩阵。
Z VTX
m
zit
vm1
v22 vm2

v2m
vmm
Z


z 21
zm1
z 22 zm2

z2n
zmn
v j (v1j ,v2 j , ,vmj )T
是第j个典型场,只是空间的函数。
第t个空间场可表示为
八、时空转换问题
当 m n 时,先求出 X T X 的特征值,
然后求 XX T 的特征向量,这种方法叫时
空转换。
令 X T X 的特征值为 i,其特征向量
为 u i , XX T 的特征值也为 i ,其
特征向量为 vi
vi Xui i
V v1, v2 , , vm
Z VTX
态上; 4,分离出的空间结构具有一定的物理意义;
EOF方法不但用于观测资料的分析,还用于 GCM资料的分析和数值模式的设计。现在, EOF方法已作为一种基本的分析手段频繁地出 现在大气科学研究的文献中。
二、EOF分析方法原理
将某气候变量场的观测资料以矩阵形
式给出
x11 x12 x1n
K. Pearson 1879年毕业于剑桥
大学数学系;1884年进入伦敦大
学学院 。

K. Pearson 最重要的学术成就
,是为现代统计学打下基础。K.
Pearson 在1893-1912年间写出18篇
〈在演化论上的数学贡献〉的文
章,而这门「算术」,也就是今
日的统计。许多熟悉的统计名词
如标准差,成分分析,卡方检定
vv第一特征向量(第一空间典型场)是与n 张X图平均最相似的,或者说具有与所要展开的 资料矩阵的n个样本最相似的特征。比如:若原 始资料矩阵是7月份50年实测将水场(非距平 场),则第一特征向量就可以解释为这50年的 平均场,其相应的时间系数基本对应我国大尺 度旱涝年。但当降水场由距平组成,第一特征 向量就解释为与50年夏季距平场最相似的特征 场,它指出了我国夏季经常出现的大尺度涝区 和旱区。
相关文档
最新文档