多元数据的正态性检验

合集下载

多元正态分布的性质

多元正态分布的性质

多元正态分布的性质正态分布是统计分析中最重要的概率分布之一,它能够帮助我们更好地理解数据的特性,也可以帮助我们做出更好的决策。

多元正态分布可以用来描述一组随机变量之间的关系,在许多计量方法和定量分析中,它被广泛应用。

本文尝试回答以下三个问题:一是什么是多元正态分布?二是多元正态分布的性质是什么?三是多元正态分布如何使用?首先,什么是多元正态分布?多元正态分布是指一个有两个或多个变量的正态分布,可以用来描述一组随机变量之间的关系,可以用来解释一个变量的分布特征。

与单变量正态分布不同的是,多元正态分布的特征取决于对角矩阵中的参数,即协方差矩阵或协方差矩阵。

与单变量正态分布不同,多元正态分布是以向量形式定义的,但可以使用同样的统计分析理论来描述多变量正态分布的性质,例如期望和方差。

其次,多元正态分布的性质是什么?多元正态分布存在着许多性质,根据多元数学理论可以列举出以下性质:1.元正态分布的期望向量表示为 m = (m_1,m_2,...,m_n),这里的m_i表示每个随机变量的期望值;2.元正态分布的协方差矩阵S表示为:S=[s_ij],sij表示第i 个和第j个随机变量之间的协方差;3.元正态分布的方差向量表示为:var=(var_1,var_2,...,var_n),其中var_i表示第i个随机变量的方差;4.元正态分布的对称性,即对于n个随机变量X_1,X_2,...,X_n 及其期望向量m和协方差矩阵S,当存在变换矩阵A,使得AX=y有解,则有:E(X) = mvar(X) = S5.元正态分布的共轭性,即如果X_1,X_2,...,X_n是一组多元正态分布随机变量,则任意一组X_1X_2...,X_n也是多元正态分布随机变量,且具有相同的期望向量m和协方差矩阵S。

最后,多元正态分布怎么使用?多元正态分布的使用是建立在统计分析的基础之上的。

在使用多元正态分布时,可以根据观测数据来估计期望向量m和协方差矩阵S。

厦门大学《应用多元统计分析》习题第03章 多元正态分布均值向量和协差阵的检验

厦门大学《应用多元统计分析》习题第03章 多元正态分布均值向量和协差阵的检验

时各小时的低频心电频谱值(LF)、高频心电频谱值(HF),资料见下表。试
分析这两个指标的各次重复测定均值向量是否有显著差异(α = 0.05 )。
3
1 LF HF 4.66 2.89 4.54 4.65 5.91 4.53 4.95 3.31 5.51 3.78 4.22 2.61 4.61 3.10 5.08 4.38
(α = 0.05 )。
3.10 试对你感兴趣的某一实际现象进行总体均值向
4

μ0 ; (α
=
0.05) 。
3.5 测量 30 名初生到 3 周岁婴幼儿的身高( x1 )和体重( x2 )数据如
下表所示,其中男女各 15 名。假定这两组都服从正态总体且协方差阵相等,
试在显著性水平α = 0.05 下检验男女婴幼儿的这两项指标是否有差异。
编号 1

x1
x2
54
3

x1
x2
54
2 LF HF 4.29 3.03 4.69 4.77 5.28 4.41 5.05 3.28 4.94 3.56 4.54 3.28 4.26 3.11 5.56 5.36
3 LF HF 4.77 3.57 4.58 3.04 5.37 4.79 4.65 2.86 4.68 3.97 4.61 4.40 5.27 3.88 5.55 5.00
思考与练习
3.1 试述多元统计分析中的各种均值向量和协差阵检验的基本思想和步 骤。
3.2 试述多元统计中 Hotelling T 2 分布和 Wilks Λ 分布分别与一元统计中
t 分布和 F 分布的关系。
3.3 试述 Wilks 统计量在多元方差分析中的重要意义。 3.4 大学生的素质高低要受各方面因素的影响,其中包括家庭环境与家庭

R语言学习系列25-K-S分布检验与正态性检验

R语言学习系列25-K-S分布检验与正态性检验

23。

K—S分布检验与正态性检验(一)假设检验1. 什么是假设检验?实际中,我们只能得到抽取的样本(部分)的统计结果,要进一步推断总体(全部)的特征,但是这种推断必然有可能犯错,犯错的概率为多少时应该接受这种推断呢?为此,统计学家就开发了一些统计方法进行统计检定,通过把所得到的统计检定值,与统计学家树立了一些随机变量的概率分布进行对比,我们可以知道在百分之多少的机遇下会得到目前的结果。

倘若经比较后发现,涌现这结果的机率很少,即是说,是在时机很少、很罕有的情况下才出现;那我们便可以有信念地说,这不是巧合,该推断结果是具有统计学上的意义的。

否则,就是推断结果不具有统计学意义。

2. 假设检验的基本思想——小概率反证法思想小概率思想是指小概率事件(P<α, α=0.05或0.01)在一次试验中基本上不会发生。

反证法思想是先提出原假设(H0),再用适当的统计方法确定假设成立的可能性(P值)大小,如可能性小(P≤α),则认为原假设不成立,若可能性大,则还不能认为备择假设(H1)成立。

3. 原假设与备择假设原假设与备择假设是完备且相互独立的事件组,一般,原假设(H0)——研究者想收集证据予以反对的假设;备择假设(H1)—-研究者想收集证据予以支持的假设;假设检验的P值,就是在H0为真时,观察到的差异来源于抽样误差的可能性大小。

假设检验判断方法有:临界值法、P值检验法.四、假设检验分类及步骤(以t检验为例)1. 双侧检验I. 原假设H0:μ=μ0, 备择假设H1:μ≠μ0;Ⅱ。

根据样本数据计算出统计量t的观察值t0;Ⅲ. P值= P{|t| ≥|t0|} = t0的双侧尾部的面积;Ⅳ. 若P值≤α(在双尾部分),则在显著水平α下拒绝H0;若P值〉α,则在显著水平α下接受H0;注意:α为临界值,看P值在不在阴影部分(拒绝域),空白部分为接受域。

2. 左侧检验I。

原假设H0:μ≥μ0, 备择假设H1:μ<μ0;Ⅱ。

多元正态分布假设检验

多元正态分布假设检验

多元正态分布假设检验1. 引言说到多元正态分布,很多人可能会觉得它像是一块难啃的骨头,复杂得让人眼花缭乱。

但其实,别怕,今天咱们就像喝茶一样,慢慢聊聊这个话题,让它变得亲切点。

多元正态分布,听起来像个高大上的数学术语,其实就代表着一种数据分布的模式。

简单来说,就是当你有多个变量的时候,这些变量的数据可以同时呈现出一种规律。

就好比,你的身高、体重和年龄,都是可以一起影响你的健康状况的。

2. 假设检验的基础2.1 什么是假设检验?假设检验,就像是你在做一个决定之前,先给自己列个清单。

你想知道某个观点是否成立,首先要提出一个“零假设”,然后再通过数据来检验它。

比如,你可能想知道一款新产品的效果是不是比旧款好,那你就先假设新产品和旧款效果一样,接着用数据来验证。

真是妙啊!2.2 多元正态分布在假设检验中的作用那么,这跟多元正态分布有什么关系呢?其实,当我们在进行假设检验时,常常会假设数据是服从某种分布的。

而多元正态分布就像是给你提供了一种“理想”的数据状态,让你可以更轻松地进行各种统计分析。

换句话说,使用多元正态分布,你可以放心大胆地进行推断,就像开车时把安全带系好一样,心里有底。

3. 如何进行多元正态分布假设检验3.1 数据的准备要进行多元正态分布假设检验,首先得准备好你的数据。

这就像做饭前,你得把食材准备齐全。

数据要足够多,还要确保没有缺失值。

就算有缺失,也可以通过一些方法来填补,但记得要小心,这可不能随便糊弄。

3.2 检验的方法接下来,咱们就进入了检验的环节。

常用的方法有ShapiroWilk检验和Bartlett检验等,这些听起来像是外星人名字的检验其实很简单。

ShapiroWilk检验主要是检查数据是否服从正态分布,而Bartlett检验则是用于检查不同组之间的方差是否相等。

通过这些检验,你就能找到数据是否符合多元正态分布的线索。

4. 结论与反思多元正态分布假设检验,乍一看似乎是个高深莫测的领域,但其实掌握了基本概念后,还是挺容易上手的。

R语言版应用多元统计分析多元正态总体的假设检验

R语言版应用多元统计分析多元正态总体的假设检验

应用多元统计分析第3章 多元正态总体的假设检验- 1-•在一元正态总体 中,关于参数 的假设检验涉及到一个总体和多个总体情况,推广到多元正态总体 ,关于参数 的假设检验问题也涉及一个总体和多个总体情况。

本章我们只讨论关于均值向量 的假设检验问题。

•在多元统计中,用于检验 的抽样分布有维希特(Wishart)分布、霍特林(Hotelling)分布和威尔克斯(Wilks)分布,它们都是由来自多元正态总体 的样本构成的统计量。

在第2章中,我们已经讨论了维希特分布的定义和性质,本章我们讨论后两个统计量的分布。

霍特林 分布在一元统计中,若 ,且 相互独立,则或等价地下面把 的分布推广到多元正态总体。

定义3.1 设 , ,其中 ,且 与 相互独立。

则称统计量 为 统计量,其分布称为自由度为n的霍特林 分布,记为分布的性质性质1 设 是来自正态总体 的随机样本, 和A 分别是样本均值向量和样本离差阵,则性质2 分布与F分布的关系为:若 则分布的性质性质3 设 是来自正态总体 的随机样本, 和A 分别是样本均值向量和样本离差阵,记则性质4 分布只与n,p有关,而与 无关。

威尔克斯 分布定义3.2 设 ,称协方差阵 的行列式 为的广义方差。

若 是来自总体 的随机样本,A为样本离差阵,则称或 为样本广义方差。

定义3.3设 ,这里 ,且 与 独立,则称广义方差比为 统计量,其分布称为威尔克斯 分布,记为 。

当p=1时, 分布正是一元统计中参数为 的贝塔分布,即。

分布的性质性质1当 时,若 ,则当 时,若 ,则当p=1时,当p=2时,若 ,则当 时有下列极限分布其中 。

下面是 分布的两个有用性质。

性质6 若 ,则存在 , 且 之间相互独立,使得性质7 若 则单总体均值向量的假设检验设总体为 , 为来自该总体的随机样本。

欲检验下列假设:其中 为已知常数向量。

1. 当 已知时均值向量的假设检验此时于是有若检验统计量取为则当原假设 成立时, 。

有关多元正态分布的均值和方差检验

有关多元正态分布的均值和方差检验

多元统计分析实验报告基于spss多元正态分布均值和方差的检验院(系):专业班级:学号姓名:指导老师:成绩:完成时间:目录基于多元正态分布均值和方差的检验 (1)一、引言 (2)二、实验目的 (2)(一)掌握正态分布均值及方差检验方法 (2)(二)熟悉运用EXCEL、SPSS软件 (2)(三)培养动手操作能力 (2)(四)学会理论知识与实践相结合 (2)三、实验环境 (2)四、实验内容 (2)五、实验过程及分析 (3)(一)实验步骤 (3)1.输入数据32.正态性检验33.均值与方差的检验44.不同分类经济发展水平的比较4(二)结果分析 (4)六、实验体会 (8)基于多元正态分布均值和方差的检验摘要多元正态分布是一种多元概率分布,在多元统计学中占有相当重要的位置。

本文采用多元统计的分析方法利用SPSS实现了均值向量和协方差阵的检验,得到各指标权重系数,从而解决验证各指标是否具有显著性差异的问题。

关键词:多元正态分布,假设检验,显著差异,SPSS一、引言在基础统计学中,随机变量的正态分布在理论和实际应用中都有着重要的地位。

同样,在多元统计学中,多元正态分布也占有相当重要的位置。

原因是许多实际问题研究中的随机变量确实遵守或近似遵从多元正态分布;对于多元正态分布,已有一整套统计推断方法,并且可以得到许多完整的结果。

二、实验目的(一)掌握正态分布均值及方差检验方法(二)熟悉运用EXCEL、SPSS软件(三)培养动手操作能力(四)学会理论知识与实践相结合三、实验环境MS Excel 2016 、SPSS 21.0四、实验内容现选取内蒙古、广西、贵州、云南、西藏、宁夏、新疆、甘肃和青海等9个内陆边远省区。

选取人均GDP、第三产业比重、人均消费支出、人口自然增长率及文盲半文盲人口占15岁以上人口的比例等5项能够较好地说明各地区社会经济发展水平的指标,验证边远地区及少数民族聚居区的社会经济发展水平与全国平均水平有无显著差异。

多元正态分布检验 r语言

多元正态分布检验 r语言

多元正态分布检验 r语言多元正态分布是统计学中重要的概率分布之一,常用于分析多个随机变量之间的相关关系。

在R语言中,我们可以使用多种方法进行多元正态分布检验。

一、基本概念多元正态分布是指在多维空间中,各个维度的随机变量服从正态分布,并且各个维度之间存在线性相关性。

多元正态分布的概率密度函数由均值向量和协方差矩阵决定。

二、多元正态分布检验的目的多元正态分布检验的目的是判断给定的多维数据是否符合多元正态分布的假设。

如果数据符合多元正态分布,则可以使用多元正态分布的统计方法进行进一步的分析和推断。

三、多元正态分布检验的方法在R语言中,我们可以使用多种方法进行多元正态分布检验。

下面介绍两种常用的方法:Shapiro-Wilk检验和Anderson-Darling检验。

1. Shapiro-Wilk检验Shapiro-Wilk检验是一种常用的用于检验数据是否来自正态分布的方法。

在R语言中,我们可以使用shapiro.test函数进行Shapiro-Wilk检验。

该函数的用法如下:```Rshapiro.test(data)```其中,data为待检验的多维数据。

2. Anderson-Darling检验Anderson-Darling检验是另一种常用的用于检验数据是否来自正态分布的方法。

在R语言中,我们可以使用ad.test函数进行Anderson-Darling检验。

该函数的用法如下:```Rad.test(data)```其中,data为待检验的多维数据。

四、示例分析为了更好地理解多元正态分布检验的方法,下面我们使用一个示例数据进行分析。

假设我们有一组数据,包含两个变量x和y,共有100个观测值。

我们希望检验这组数据是否符合多元正态分布的假设。

我们需要将数据存储为一个矩阵或数据框,然后使用shapiro.test 函数进行Shapiro-Wilk检验。

代码如下:```Rdata <- matrix(c(x, y), ncol = 2)result <- shapiro.test(data)```其中,x和y分别为变量x和y的取值。

多元正态总体均值向量和协差阵的假设检验.

多元正态总体均值向量和协差阵的假设检验.

第三章 多元正态总体均值向量和协差阵的假设检验什么是假设检验及基本思想、计算步骤,在初等数理统计中都已做过介绍。

多元分析也涉及这方面内容,在后面介绍的常用各种统计方法,有时要对总体的均值向量和协差阵做检验,比如,对两个总体做判别分析时,事先就需要对两个总体的均值向量做检验,看看是否在统计上有显著差异,否则做判别分析就毫无意义。

本章类似一元统计分析中的各种均值和方差的检验相应给出多元统计分析中的各种均值向量和协差阵的检验。

不论做上述任何检验,其基本步骤均可归纳为四步:第一步,提出待检验的假设0H 和1H 。

第二步,给出检验的统计量及它服从的分布。

第三步,给定检验水平a ,查统计量的分布表,确定临界值a λ,从而得到否定域。

第四步根据样本观测值计算出统计量的值,看是否落入否定域中,以便对待判假设检验做出决策(拒绝或接受)。

由于各种检验的计算步骤类似,关键在于对不同的检验给出不同的统计量,而有关统计量的给出大多用似然比方法得到。

本章只侧重于解释选取统计量的合理性,而不给出推导过程,最后给出几个实例。

同时为了说明统计量的分布,自然地给出HotellingT 2分布和Wilks 分布的定义,它们分别是一元统计中t 分布和F 分布的推广。

§3.1 均值向量的检验为了对多元正态总体均值向量作检验,首先需要给出HotellingT 2分布的定义。

1 HotellingT 2分布定义 设),(~),,(~∑∑n W S N X p p μ且X 与S 相互独立,p n ≥,则称统计量X S X n T 12-'=的分布为非中心HotellingT 2分布,记为),,(~22μn p T T 。

当0=μ时,称2T 服从(中心)HotellingT 2分布,记为),(2n p T ,由于这一统计量的分布首先由Harold Hotelling 提出来的,故称为HotellingT 2分布,值得指出的是,我国著名统计学家许宝马录先生在1938年用不同方法也导出T 2分布的密度函数,因表达式很复杂,故略去。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

多元数据的正态性检验摘 要:本文对多元正态性检验的两种主要方法——2χ统计量的Q-Q 图检验法和主成分检验法进行了讨论,介绍其基本原理、具体实施步骤,通过实例分析进行应用研究,并比较它们的优劣,发现主成分检验法的实用性和应用价值更强. 关键词:多元正态性 2χ统计量 Q-Q 图检验法 主成分检验法The Normality Test for Multivariate DataAbstract: In this paper, we discuss two main methods of multiple normal tests, Q-Q chart test and principal component test, introduce the basic principle and the specific implementation steps, research through studying the case, and compare their advantages and disadvantages. We found that the principal component test is better than Q-Q chart test in practicality and applied value. Key words: Multivariate normality; Chi-square statistic; Q-Q char test; Principal component test引言正态分布在学习中是一种很重要的分布,在自然界中占据着很重要的位置,它能描述许多随机现象,从而充当一个真实的总体模型.尽管在学习中我们总是碰到很多问题的总体服从正态分布,然而,在一个实际问题中,总体一定是正态分布吗?一般的讲,所作统计推断的结论是否正确,取决于实际总体与正态总体接近的程度如何.因此,建立一些方法来检验多元观测数据与多元正态数据的差异是否显著是十分必要的.如今,一元数据的正态检验的理论已相当成熟,但对于多元数据的正态性检验问题还处在摸索前进的阶段,没有形成行之有效、有足够说服力的检验方法.本文将在第一节中介绍文中用到的一元正态性检验的两种基本方法:图方法和矩法;第二节中介绍2χ统计量的Q-Q 图检验法基本原理和检验步骤;第三节中介绍主成分正态检验法的基本原理和检验步骤;第四节中通过两个实例做应用分析;第五节中对这两种方法在应用中的优劣做比较分析.1 一元正态性检验的方法鉴于一元数据正态性检验的多样性,本文不一一介绍,只介绍本文中用到的2χ检验法和偏峰检验法.1.1 图方法设12,,...,n x x x 是来自总体的X 随机样本,检验),(~:20δμN X H .如果没有关于样本的附加信息可以利用,首选推荐的是利用正态概率纸画图.它让人们立即看到观测的分布是否接近正态分布.对于一张正态概率纸,它的横轴的刻度是均匀的,纵轴按标准正态分布的P 分位数均匀刻度,标上相应的P 值.正态概率纸上的坐标轴系统使正态分布的分布函数呈一条直线.利用正态概率纸检验一组观测值是否服从正态分布,可以按如下步骤进行: 把n 个观测值按非降次序排列成12n x x x ≤≤≤.然后把数对(3/8,1/4k k x n -+)(1,2,,k n =)点在正态概率纸上.如果所画的n 个点明显地不成一条直线,则拒绝原假设.如果这些点散布在一条直线附近,则可以粗略地说,样本来自正态分布.这时,可以凭直觉配一条直线,使它离各点的偏差尽可能地小,其中在纵轴刻度为50%附近各点离直线的偏差要优先照顾,使其尽可能地小,并且使直线两边的点数大致相等.如果发现得到的点系统地偏离一条直线,在拒绝原假设后,可以考虑备择假设的类型.特别,如果几个较大的值明显地倾向于由其它值确定的直线的下方,作log y x =或y 等变换可能使图形更符合一条直线.这种方法也就是人们常说的P-P 图法或Q-Q 图法. 1.2 矩法矩法,也称动差法、偏峰检验法,它是利用中心距的概念引入的两个量,正态分布的这两个量有着很好的特征,因此,常用这两个量进行正态性检验.总体X 的偏度是刻画X 分布的对称程度的量,记为31322()[()]E X EX G E X EX -=- , (1.2.1)10G =,X 的分布对称;10G >,称为正偏;10G <,称为负偏.总体X 的峰度是衡量X 的概率分布密度陡峭程度的量,记为4222()[()]E X EX G E X EX -=- , (1.2.2)正态分布的偏度为0,峰度为3.一个分布如果1G 远离0或2G 远离3,则可认为它与正态分布相差很大,为了检验样本12,,...,n x x x 是否来自正态总体,先计算偏度和峰度的估计量3113321()(())nii n i i xx g x x ==-=-∑∑,412321()(())nii n i i xx g x x ==-=-∑∑ .当总体服从正态分布且样本容量n 很大时,统计量1g 和2g 近似正态分布,且有1()0E g ≈,224()Var g n≈,如果以下不等式1g -≤23g --≤只要有一个不成立,就认为总体不服从正态分布[4].2 2χ统计量的Q-Q 图检验法2.1 2χ统计量的Q-Q 图检验法的原理为了充分解释2χ统计量的Q-Q 图检验法的基本原理,先引入分位数和经验分布函数的概念以及一个重要结论.定义2.1 对10<<p ,称满足不等式p x X P ≥≤)(,p x X P -≥≥1)(的x 值为随机变量X 的P 阶分位数.如果X 是连续型的,那么P 阶分位数就是满足方程p x F =)(的x 的值.如果X 是离散型的,那么,P 阶分位数存在唯一性的问题.因此采用以下定义更准确:设X 的分布函数为)(x F ,对10<<p ,定义x 的P 阶分位数为}{p x F x xp≥=)(:inf .所以)(1p F x p -=就是分布函数的反函数,且只存在唯一的P 阶分位数,即()x F 的左侧分位数.分位数是随机变量的重要数字特征,在描述数据的分布时非常有用.定义2.2 设()n x x x ,,21是总体X 的一组样本观察值,将它们按大小顺序排列为)()2()1(n x x x ≤≤≤ ,x 为任意实数,称函数(1)()()(1)()0,(),1,k n n k k n x x F x x x x x x +⎧<⎪=≤≤⎨⎪≥⎩, 为经验分布函数.经验分布函数的图像是一条阶梯曲线,若观察值不重复则阶梯的每一个跃度都是1n ,若重复,则按1n的倍数跳跃上升.对任意的实数x ,()n F x 的值等于样本的观察值12,,,n x x x 中不超过x 的频率,由频率与概率的关系,()n F x 可以作为总体X 的分布函数()F x 的一个近似值,随n 的增大,近似程度越好.结论2.1 设),(~∑μp N X ,0>∑,则),(~21δχp X X -∑',其中1'δμμ-=∑.证明:因为0∑>,由正定矩阵的分解可得'CC ∑=(C 为非退化方阵),令1Y C X -=,即X CY =,则),(~1p P I C N Y μ-,因'CC ∑=,所以()1,p p YN C I μ-,且有),(~211δχp Y Y CY C Y X X '=∑''=∑'--,其中()()111''C C δμμμμ---==∑.下面介绍2χ统计量的Q-Q 图检验法的原理,设()1(,...;)(1,,)p X X X a n ααα'==为来自p 元总体X 的随机样本,检验),(~:0∑μP N X H ,1:H X 不服从(,)p N μ∑.由上面的结论1可知在0H 成立时,)(~)()(21p X X χμμ-∑'--,所以将X 到总体中心μ的马氏距离2(,)D X μ=1()()X X μμ-'-∑-记为2D ,则有)(~22p Dχ.以下构造的检验方法是检验量2D 是否有)(~22P D χ成立.先由样品()a X 计算2(1,,)a D a n =,并对2a D 排序:222(1)(2)()...n D D D ≤≤;取统计量2D 的经验分布函数为2()0.5()n t t t F D p n-==,记2()(|)t H D p 表示2()p χ的分布函数在2()t D 的值,则在0H 下有2()(|)t t p H D p ≈;由经验分布得到样本的t p 分位数21()()t n t D F p -=,同时设2χ分布的tp 分位数为2t χ,若假设0H 成立,应有:22()t t D χ≈.然后绘制点22()(,)t t D χ的散点图,这些点应散布在一条过原点且斜率为1的直线上,如果存在明显的偏离,则可以拒绝原假设.这种检验法其实就是2χ分布的Q-Q 图检验法.如果不利用分位数,直接用概率散点2()(,(|))t t p H D p 绘图,就是2χ分布的P-P 图检验法.2.2 2χ统计量的Q-Q 图检验法一般步骤为了方便应用,将上述思路的具体实施步骤归纳如下:(1)由n 个p 维样品()()1,,a X a n =计算样本均值X 和样本协方差阵S :()()()()11'1na aa S X XX X n ==---∑; (2.2.1)(2)计算样品点()t X (1,2,,t n =)到X 的马氏距离:()()()()()21'1,,t t t D X X S X X t n -=--= ;(3)对马氏距离2t D 按从小到大的次序排序:()()()22212n D D D ≤≤≤;(4)计算()0.51,2,,t t p t n n-==以及2t χ,其中2t χ满足:()2t t H p p χ=(或计算()()2t H D p 的值);(5)以马氏距离为横坐标,2χ分位数为纵坐标作平面坐标系,用n 个点()()22,t t D χ绘制散布图,即得到2χ分布的Q-Q 图;或者用另n 个点()()()2,t t p H D p 绘制散布图,即得2χ分布的P-P 图;(6)考察这n 个点是否散布在一条通过原点,斜率为1的直线上,若是,接受数据来自p 元正态总体的假设;否则拒绝正态性假设.3 主成分检验法3.1 主成分检验法的基本原理目前,关于主成分的研究很多,但大多数集中在进行综合评价及回归分析,用来做检验的则几乎没有.主成分检验法是建立在主成分变量基础上的统计方法,基本思想是降维:将多元数据集转化为多个一元互相独立的数据集,通过检验一元数据集的正态性来判断原多元数据集的正态性.为充分解释这一思想,先引入主成分的定义.定义 3.1.1设X =12(,,,)'p X X X 是p 维随机向量,均值()E X μ=,协方差阵()D X =∑,称i i Z a X '=为X 的第i 主成分(1,2..i p =),如果:(1)1(1,2.,)i i a a i p '==;(2)当1i >时,0(1,2.,1)i j a a j i '∑==-; (3)1,0(1,2.,1)()max()i j i a a j i Var Z Var X ααα''=∑==-'=.若已知∑的特征值为 120p λλλ≥≥≥>,12,,,p a a a 为相应的单位正交特征向量,则X 的第i 主成分i i Z a X '=(1,2..i p =)具体的证明过程参见文献[1].如果可以证明:1Z ,…,p Z 是相互独立的,这时p 元数据的正态性检验可化为P 个相互独立的主成分的一元数据的正态性检验,这种检验方法称为主成分检验法.下面说明主成分的不相关性.设()D X =∑,如果∑是对角矩阵,即p 维向量的分量互不相关,这时可以直接把p 元正态性检验问题转化为p 个一元正态性检验问题.但一般∑不是对角矩阵,即分量间是相关的,利用主成分分析法,求得X 的p 个主成分1Z ,…,p Z .下证1Z ,…,p Z 是不相关的.令12(,,,)p Z Z Z Z =,由于1Z ,…,p Z 依次为X 的第i 主成分的充要条件是12()(,,,)p D Z diag λλλ=.即有(,)i j ii j Cov z z i jλ≠⎧=⎨=⎩,又1λ≥2λ≥……≥p λ>0 ,即说明任意两个不相同的主成分之间是不相关的,故12,,,p Z Z Z 不相关.文献[2]中给出了主成分数据处理的基本方法,并分析了方法的不足,提出了改进的方法.直接将标准化的数据代入*Tp n p n Z A X ⨯⨯=,则得到主成分得分.其中,系数矩阵p n A ⨯为对应特征向量组成的矩阵,*T p n X ⨯为标准化的数据集.从中我们看到,计算主成分得分实际上是将标准化后的原始数据投影到旋转后的坐标中. 结论3.1.1 若~(,)X N μ∑,则~(,)Z N A A A μ'∑;反之,若Z 服从多元正态分布,则X 也服从多元正态分布.证明:由主成分的定义知,Z A X '=,其中,12(,,,)p A a a a =且为正交矩阵.由于~(,)X N μ∑,则()()()E Z E AX AE X A μ===, ()()()D Z D A X A D X A A A '''===∑,从而,由多元正态分布的线性性质,~(,)Z N A A A μ'∑,反过来,由Z 服从正态分布,同理可知X 服从正态分布.结论3.1.2 若12,,,p Z Z Z 独立同正态分布,则Z 服从多元正态分布. 证明:此命题的结论可以直接从多元正态分布的定义得出.由主成分的理论特征知,主成分变量是新的互不相关的变量,因此,只要说明主成分变量12,,,p Z Z Z 分别服从一元正态分布,就可以说明Z 服从多元正态分布,从而由结论3.1.1知X 也服从多元正态分布. 3.2 主成分正态检验的一般步骤具体检验步骤如下:(1)由n 个p 维样品()()1,,a X a n =计算样本均值X 和样本协方差阵S ,计算公式同(2.2.1)式;(2)利用坐标变换计算每个样本点的主成分得分,得到新的主成分得分集12,,,p Z Z Z ;(3)对每个i Z (1,2,,i p =),求出其对应的偏度和峰度值;(4)考察偏度是否趋近0,峰度是否趋近3.若是,则接受X 来自于正态总体;若两个条件有一个不满足,则拒绝正态性假设.4 应用研究为了说明这两种方法具有很好的实用价值,并进行比较,本文给出两个实例研究.4.1 实例1对20 名健康成年女性的出汗(X1 ) ,钠的含量(X2) 和钾的含量(X3) 的数据进行正态性检验.本例数据与文献[4]中第45页例1的数据一样,文献[4]中是对样本数据进行均值向量的假设检验,检验方法是基于样本数据来自于3元正态分布的假设,但文献[4]并没有对样本数据进行正态性检验,现本文分别用2χ统计量的Q-Q图检验法和主成分检验法进行多元正态性检验.(1) 2χ统计量的Q-Q图检验法根据2.2节给出的一般步骤,结合数据集,首先利用SAS中主成分程序(程序同见附录3)计算出协方差阵S:X1 X2 X3X1 1.0000 0.4173 -.5597X2 0.4173 1.0000 -.2095X3 -.5597 -.2095 1.0000表4-1 协方差阵然后利用Matlab编程计算马氏距离(程序见附录1),并按升序排列;同时利用SAS软件计算出对应的2χ分位数(程序见附录2),结果见下表:序号马氏距离p分位数序号马氏距离p分位数1 0.003 0.2158 11 0.1096 2.50162 0.0061 0.472 12 0.123 2.79093 0.0064 0.6924 13 0.1446 3.10984 0.0179 0.9018 14 0.2238 3.46755 0.0296 1.1086 15 0.2241 3.87756 0.0355 1.3174 16 0.3571 4.36137 0.061 1.5316 17 0.455 4.95668 0.0885 1.754 18 0.4902 5.73949 0.0887 1.9875 19 0.8439 6.904610 0.0915 2.2354 20 1.1447 9.3484表4-2 马氏距离和p分位数最后以马氏距离为横坐标,以卡方分位数为纵坐标作散点图,见图4-1:χ统计量的Q-Q图图4-1 2从图中可以看出,这些点基本在一条直线的上下波动,偏离不是很大.因此,从直观上判断可以接受原多元数据集来自于多元正态分布的假设.(2) 主成分检验法obs Z1 Z2 Z3 obs Z1 Z2 Z31 -2.35056 -1.60948 -0.63809 11 -0.62827 0.3278 0.167342 1.28027 -1.57151 0.68293 12 -1.40979 0.37468 0.697083 0.29161 -1.15274 -0.44169 13 -0.54558 0.43448 -0.125834 -0.99597 -0.99533 -0.16326 14 1.68529 0.48243 -0.56935 5 0.24255 -0.76054 -0.42432 15 -0.1638 0.59492 -0.986336 0.34761 -0.48032 0.3077 16 0.68709 0.59525 0.94349 7 2.73671 -0.45672 0.58714 17 0.18684 0.85608 0.55041 8 1.30752 -0.44759 0.41891 18 1.38678 0.98895 -1.18331 9 -0.05272 0.03561 -0.68763 19 -0.90402 1.14607 -0.18851 10-2.800040.157190.6998620-0.301541.480770.35344表4-3 主成分得分集然后对主成分得分集进行分析,用SAS 中的UNIVARIATE 命令和SAS 中的分析家中的Q-Q 图分别对Z1、Z2、Z3做正态性检验.我们先看偏峰检验的结果表4-4:变量 偏度 峰度 均值 标准差 方差 Z1 -0.1509976 0.77631092 0.123713 1.259021 1.58513 Z2 -0.3508053 -0.6267268 0.084709 0.83305 0.69397 Z3-0.421413-0.89060520.0335830.623830.38916表4-4 偏峰度检验结果从表4-4中可以看出偏度是在0附近波动,但是峰度的波动很大,绝对值在0.7附近,结合2.2节中的结论可知,可以拒绝原数据集是来自3元正态分布的假设.我们再看图方法检验的结果,见图4-2:图4-2 QQ 图(依次为1Z 、2Z 、3Z )从图中左上角给出的拟合方差以及均值可以看出,直线的拟合度非常好,由此可以判断1Z 、2Z 、3Z 都服从一元正态分布,从而可以接受原数据集来自于3元正态分布的假设.从上面的分析我们看到一元正态检验的2 检验法和Q-Q 检验法得到了两种截然相反的结果,那哪个结果更可信呢?出现这样的情况也是正常的,最重要的原因是中心矩的结果很容易受到频数分布的影响.不同的分布可能计算出同样的中心矩,这样就造成检验误差增大.4.2 实例2本例选取我国2006年各地区城市设施水平数据作正态性检验,包含6个指标,1X :城市用水普及率;2X :城市燃气普及率;3X :每万人拥有公共交通车辆;4X :人均城市道路面积;5X :人均公园绿地面积;6X :每万人拥有公共厕所.用1~31依次表示北京、天津、河北、山西、内蒙古、辽宁、吉林,黑龙江,上海,江苏,浙江,安徽,福建,江西,山东,河南,湖北,湖南,广东,广西,海南,重庆,四川,贵州,云南,西藏,陕西,甘肃,青海,宁夏,新疆全国31个省、直辖市、自治区的名称.(1) 2χ统计量的Q-Q图检验法参照3.1.1中的步骤说明,可以得出相关的结果如下:X1 X2 X3 X4 X5 X6 X1 1 0.8212 0.3768 -0.1479 0.1356 -0.1812 X2 0.8212 1 0.5332 0.075 0.2839 -0.0797 X3 0.3768 0.5332 1 0.0923 0.2322 0.2216 X4 -0.1479 0.075 0.0923 1 0.5665 0.0193 X5 0.1356 0.2839 0.2322 0.5665 1 0.0371 X6 -0.1812 -0.0797 0.2216 0.0193 0.0371 1表4-5 相关阵obs 卡方分位数马氏距离obs 卡方分位数马氏距离1 1.043733 0.0421 17 5.614729 0.19162 1.613527 0.0569 18 5.891093 0.23813 2.003244 0.0579 19 6.181212 0.25574 2.328934 0.0659 20 6.48602 0.27525 2.62003 0.0713 21 6.810794 0.35716 2.889358 0.0725 22 7.157803 0.38767 3.146093 0.0767 23 7.534835 0.52228 3.393355 0.0774 24 7.948509 0.65179 3.635972 0.0783 25 8.408144 0.76210 3.875649 0.0849 26 8.932674 0.774411 4.113647 0.0889 27 9.544323 0.78612 4.353161 0.0919 28 10.29153 1.525313 4.59426 0.0939 29 11.26231 1.701614 4.83994 0.0943 30 12.68048 1.82515 5.09018 0.1127 31 15.59516 2.039316 5.348121 0.1665表4-6 马氏距离和2χ分位数最终得到2χ统计量的Q-Q图如下:图4-32χ统计量的Q-Q图从图4-3中可以看出,大部分数据呈抛物线分布,因此,拒绝原数据集来自于6元正态分布的假设.(2) 主成分检验法从表4-7中可以看出,1Z比较符合正态分布的特征,但从后面的方差以及标准差(根据Q-Q图拟合直线与点之间的关系得到的,方差和标准差越小说明Q-Q 图越接近于一条直线,也就说明该变量越服从正态分布)来看36X X拟合度比较好.无论怎样,从偏峰度和Q-Q图都可得出,原多元数据集不服从正态性检验.这个结果说明我国各省、直辖市、自治区在上面描述的六个指标中不存在都强或都弱的情况,都是此强彼弱,这很好的映证了目前我国各省、直辖市、自治区实际情况.5 两种方法的比较从上面的原理介绍和应用分析可以看出,多元数据正态性检验的2χ统计量的Q-Q图检验法和主成分检验法存在各自的优缺点.相对来说,主成分正态性检验法涉及到主成分的计算,较为麻烦,但容易在软件上实现,具有较强的实用性和应用价值.这也可以从主成分也能对一元变量进行检验可以看出来,但是需要注意的是一元检验的是新的主成分变量,并不是原始数据集的某一指标的一元检验.2χ统计量的Q-Q图检验法具有结论简单明了的直观效果,但是它没有现成的命令可以套用,对于专业知识不够的人是难以得出结果的.从理论上讲,主成分检验法是优于2χ统计量的Q-Q图检验法,这是因为相对来说一元数据的正态性检验理论已经相当成熟,在得出主成分变量后,就可以直接用相应的软件命令来实现,简单,但分析起来就相对麻烦些.结束语本文只是比较了多元数据正态性检验的两种常用方法的异同,对于其他分布的检验问题,由主成分的较好的特征,是否可以将主成分检验法推广到其他类型分布的检验上呢?本文受能力和时间限制没有研究.另外,主成分提出至今,通过大量的实践验证,发展形成了比较系统的体系.目前比较常见的有核主成分见文献[5]、灰(也称模糊)主成分见文献[6]、伪主成分见文献[7]、非线性主成分见文献[8]等分析方法,这些方法的提出弥补了主成分一般方法的不足.对于这些改进方法见文献[9],是否也可将之应用到本文中的主成分检验法中,使主成分检验法的结论更为准确,也没有研究.本文的创新之处在于通过了两个实例来衡量两种检验方法的优劣,这样做的好处是避免了以偏概全,而且很好的利用软件将2χ统计量的Q-Q图检验法的结果得出来了,并总结了两种检验方法的长处和短处.美中不足的是对于2χ统计量的Q-Q图检验法没有编写出一个完整的程序直接得出Q-Q图.限于作者的学术水平,文中难免有错误和不足,欢迎批评指正.致谢本论文选题及写作都是在徐伟老师的亲切关怀和细心指导下完成的.他的严肃的科学态度,严谨的治学精神,精益求精的工作作风,深深地感染和激励着我,使我不仅接受了全新的思想观念,树立了宏伟的学术目标,领会了基本的思考方式,掌握了通用的研究方法,而且还明白了许多为人处事的道理,在此,我对徐老师表示深深的感谢.与此同时,我还要感谢教过我的所有的老师,没有他们谆谆的教导就不会有我今天论文的完成,谢谢了老师,您们辛苦了.参考文献[1]高惠璇. 应用多元统计分析[M].北京:北京大学出版社,2005[2]A.H.Al-Ibrahim, Noriah M.Al-Kandari. Stability of principal components[J],Computational Statistics 23(8),2008.9[3]贾明辉,华志强.主成分分析数据处理方法探讨[J].内蒙古民族大学学报自然科学版,23(4),2008.7[4]Fabian Sinz, Sebastian Gerwinn, Matthias Bethge. Characterization of the p-generalized normal distribution。

相关文档
最新文档