拟合优度检验及其应用

拟合优度检验及其应用

辅修专业：经济学 12级法学1班 201210141419 刘金锋摘要：数理统计的两个主要形式就是参数估计和假设检验，在这里，我

们只介绍后者——假设检验，其中又只对假设检验中的拟合优度检验假设作介绍。假设检验根据样本分布族的数学形式已知与否，可分为参数假设检验和非参数假设检验，作为非参数假设检验之一的拟合优度检验，又是检验理论分布假设的重要方法。为了帮助我们更好了解拟合优度检验，本文将首先给我们介绍拟合优度检验的数学定义。其次，重点介绍时下讨论最多的两种

拟合优度方法——2

Pearsonχ检验和Kolmogorov Smirnov

-检验，并穿插具体实例解答来给我们直观的印象，帮助理解。最后，考虑到检验过程会很复杂，本文在最后一节讲述了这两种检验的软件实现，结合实例，编写运行程序。关键词：假设检验；非参数假设检验；拟合优度；2

Pearsonχ检验；

-检验

Kolmogorov Smirno

内容安排

1.拟合优度检验的提出

2.几种常用拟合优度检验介绍

2.1.2

Pearsonχ检验

2.1.1.理论分布完全已知情况

1.随机变量X是离散型

2.理论分布为确定分布

2.1.2.理论分布带有未知参数

2.2．Kolmogorov Smirnov

-检验

2.3.2

Pearsonχ检验与Kolmogorov Smirnov

-检验的比较

3.拟合优度检验实例分析

4.拟合优度检验的软件实现

4.1．2

Pearsonχ检验的软件实现

4.2.Kolmogorov Smirnov

-检验的软件实现

5.参考文献

1.拟合优度检验的提出[1]

假设检验问题就是通过从有关总体中抽取一定容量的样本，利用样本去检验总体分布是否具有某种特性。假设检验问题大致分为两大类：

（1）参数型假设检验：即总体的分布形式已知（如正态、指数、二项分布等），总体分布依赖于未知参数（或参数向量）θ，要检验的是有关未知参数的假设。例如，总体X ～N (α，2б), α未知，检验

0010::H a a H a a =?≠ 或 0010::H a a H a a ≤?>.

（2）非参数型假设检验：如果总体分布形式未知，此时就需要有一种与总体分布族的具体数学形式无关的统计方法，称为非参数方法。例如，检验一批数据是否来自某个已知的总体，就属于这类问题。

正如摘要所说，我们在本节只讨论非参数型假设检验问题，常用的非参数假设检验方法有：符号检验、符号秩和检验、秩和检验及Fisher 臵换检验和拟合优度检验。本文又只对拟合优度检验做深入介绍。

拟合优度检验问题的提法如下：设有一个一维或多维随机变量X ，令

1,,n X X …为总体X 中抽取的简单样本，F 是一已知的分布函数。要利用样本1,,n X X …检验假设

0:..H r v X 的分布为F ，

（1.1.1） 其中F 常称为理论分布。

导出这种假设检验的想法大致如下：设法提出一个反映实际数据1,,n X X …与理论分布F 偏差的量1(,,;)n D D X X F =…。如果D 较大，如D C ≥，则认为理论分布F 与数据1,,n X X …不符，因而否定0H 。然而这种“非此即彼”的提法常显得有点牵强。因为一般来说，理论和实际没有截然的符合或不符合。更恰当的提法是实际数据与理论分布符合的程度如何？因此通常对0H 的检验不是以“是”或“否”来回答，而是提供一个介于0和1之间的数字作为回答，即用此数作为符合程度的度量刻画。就具体样本算出D 之值，记为0d 。称下列的条件概率：

000()()p d P D d H =≥|

为在选定的偏离指标D 之下，样本与理论分布的拟合优度。0()p d 越接近1，表示样本与理论分布拟合的越好，因而原假设越可信。反之，它越接近0，则原假设0H 越不可信。如果它低到指定的水平α之下，则就要否定0H 了。

因此，在给定检验水平0<α<1后，根据拟合优度可以给出检验问题的一个检验如下：

当0()p d <α时否定0H ，当0()p d ≥α时接受0H 这种类型的检验称为拟合优度检验。

2.几种常用拟合优度检验介绍

2.1.2Pearson χ检验[1]

2.1.1.理论分布完全已知情况

1.随机变量X 是离散型

设1,,n X X …为从总体X 中抽取的简单样本，理论分布为

121

2

F:r r a a a p p p ?? ???

其中12,,

,r p p p 已知，且1

1r

i i p ==∑，那么根据拟合优度检验的提法，我们所需检

验的问题就是

0:(),1,2,

,i i H P X a p i r ===

设样本1,,n X X …中等于i a 的个数记为,1,2,

,i v i r =。则i v 称为i a 的观察频数，显

然有1

r

i i v n ==∑，相应的i np 就称为i a 的理论频数（因为n i v /为1,,n X X …中取值为i

a 的频率，频率的极限是i p ，故当n 充分大时有n i v /≈i p ，因此极限情形的理论频

数为i np ）。由此可见，我们可以用2

1()r

i i i i v C p n =-∑作为样本与理论分布偏差的一种

度量。在这里，.K Pearson 告诉我们，若取/i i C n p =，则在0H 成立条件下，

2

11

()(,

,;)r

i i n n n i i v np K K X X F np =-==∑ 的极限分布（当n →∞时）为21r -χ。因此有了如下定理：

定理 2.1.1 设n K =2

1

()r

i i i i v np np =-∑，则在0H 成立条件下，当样本容量

n →∞时有

2

1n r K F -χ

即n K 的分布收敛于自由度为1r -的2χ分布。

按照这一定理，我们可以提出如下检验方法：当n 充分大时，统计量n K 的分布就是21r -χ。于是所需的检验就是

当21()n r K ->χ?时否定0H ，否则就接受0H

正如第一节中所说，对检验问题只给出一个“是”或“否”的结论，有显牵强，

常给出一个拟合优度，方法如下：

记0k 是用一组具体的样本算出的0k 值，计算概率

200010()()()n r p k P K k H P k -=≥|≈χ≥。其中2

1r -χ是自由度为

1r -的2χ变量。0()p k 就称为拟合优度，它是度量样本与理论分布偏离程度的量。若0()p k 较大，表明在0H 成立的前提条件下，出现统计量n K 大于等于0k 是有很大可能的，故可以认为样本数据与理论分布拟合较好。反之，若0()p k 较小，表明在0H 成立的前提条件下，产生0k 或大于0k 的偏差的可能性是很小的，这是个小概率时间，而我们一般认为在一次抽样中，小概率事件不应该发生，故可以认为样本与理论分布不

一致，拟合不好。

2.理论分布为确定分布

这一情形包括两种情形：理论分布为离散型随机变量但取可列个值，以及理论分布为连续分布。

设1,

,n X X 是从总体X 中抽取的简单样本，要检验

0:..H r v X 的分布为F

其中F 是一已知分布，思路是这样的：将实数轴(,)-∞+∞分成r 个子区间。那么

1,,n X X 的取值就只能在这r 个区间中取得。

故又可计算落入不同区间的观察频数i v 。则1

r

i i v n ==∑，而

i

v n

就是频率。这又类似于随机变量是离散型且取有限个不同值的情形，具体做法如下： 第一步，取1r -个常数11,

,r a a -（11,,r a a -的选取必须不能依赖于样本，即

必须事先定好），满足，将实轴(,)-∞+∞分成r （r 选取多大才合适呢，取决于n 大小，一种经验法则认为11,

,r a a -的选择应使理论频数i np 和观察频数(1,2,

,)i v i r =都不

小于

5）个子区间。

1121

21(,),

[

,),,[,),,

j j j r r I a I a a I a a I a -

-=-∞===+∞。

第二步，计算r 个事件在0

H 成立下的概率

1()()(),1,2,,j F j j j p P X I F a F a j r -=∈=-=，显然0()0,()1r F a F a =

=，则我们需要检验的问题转化为0:(),1,2,

,j j H P X I p j r ∈==。

第三步，求出1,,n X X 落入j I ，1,2,,j r =各个区间的观察频数i v 。计算检

验统计量

2

1()r

i i n i i

v np K np =-=∑ 之后的做法与离散型随机变量相同。

2.1.2. 2Pearson χ检验：理论分布带有未知参数的情况

此时要检验的假设是：..r v X 的分布属于一个确定的分布族{}(;)F x θ，令

1,,n X X 为从总体X 中抽取的简单样本，要检验假设

0:H 存在θ，使X 的分布为(;)F x θ

当然，这一假设的检验方法可以由前面一段所讨论的理论分布完全已知情形推广得到。在这里唯一不同的就是所表示出来的理论频数()i np θ是关于θ的未知量，故不能作为检验统计量。因此，要按某种方法将θ用样本1,

,n X X 估计出来，如

1(,,)n X X θθ∧

∧

=是θ的估计值，用θ∧

代替()i np θ中的θ，则可得检验统计量

2

1

(())()()

r

i i n

n

i i v np K K np θθθ∧

∧

*

*∧

=-==∑

Pearson 认为，在0H 成立条件下，则当n →∞时，n K *

的分布依然收敛于21r -χ。但Fisher 后来指出n K *的极限分布的自由度不是Pearson 所认为的1r -，而应是

1r s --（其中s 是未知参数个数，这里就是1s =）。

2.2.经验分布的Kolmogorov Smirnov -检验[2]

如2.1节所述，不管总体分布是什么类型，2Pearson χ检验都可以用，不过对于理论分布是连续型分布时，本小节介绍的Kolmogorov Smirnov -检验效果将更好些，这是因为2Pearson χ检验需要按某种方式分组，因此统计量之值依赖于把(,)-∞+∞分成r 个子区间的具体划分方法，包括r 的选择和区间的位臵。

设..r v X 的分布函数()F x 未知，1,

,n X X 为从F 中抽取的简单随机样本，

0()F x 为给定的某个分布函数，来研究下列检验问题：

00:()()H F x F x =

首先，从样本出发求出()F x 的经验分布函数如下：

1

()(1)0,(),

1,

n k k n

x X k F x X x X n x X +≤???

=<≤??≥?? 1,2,,1

k n =- 其中(1)(2)()n X X X ≤≤

≤是样本1,,n X X 的次序统计量，令检验统计量为

0()()n n x D Sup F x F x -∞<<+∞

=-

n D 常称为()n F x 与0()F x 之间的柯氏距离。我们易知如果0H 成立，则

(l i m 0)1n n P D →∞

=

=。换而言之，如果0H 成立，n 又较大，n D 倾向于小值。如果值

n D 较大，则倾向于否定0H 。其拟合优度的计算公式如下：有了具体样本之后，计算出n D 的具体值0D ，则概率

000()()n p D P D D H =≥|

就是在柯氏距离下，样本1,,n X X 与理论分布0()F x 的拟合优度。

2.3. 2Pearson χ检验与Kolmogorov Smirnov -检验的比较[1]

大体上可以这样说：在总体为一维且理论分布为完全已知的连续分布时，

Kolmogorov Smirnov -检验优于2χ检验。这是因为：1.2Pearson χ统计量之值依

赖于把(,)-∞+∞分成r 个区间的具体方法，包括r 的选择和区间的位臵，柯氏距离0()()n Sup F x F x -则没有这个依赖性。2.一般来说Kolmogorov Smirnov -方法鉴别力强，也就是说，在0F 不是总体X 的分布时，用Kolmogorov Smirnov -方法较容易发现。

另一方面，2Pearson χ检验也有它的优点：1.当总体是多维时，处理方法与一维一样，极限分布的形式也与维数无关；2.尤其重要的是：对于理论分布包含未知参数时，2χ检验容易处理，而Kolmogorov Smirnov -方法处理起来很难。

3.拟合优度检验实例分析

有一组随机数数据①

，但现在不清楚服从哪种分布，现在要求利用拟合优度检验判断这组数据是否服从Poisson 分布（0.05?=），数据如下表： 2 6 10 8 9 3 7 7 3 3 9 6 8 2 3 6 5 6 2 4 4 5 2 2 2 7 5 1 6 6 5 5 4 5 5 7 6 3 6 7 6 4 2 8 5 6 1 7 7 5 2 3 8 3 3 3 10 4 13 4 4 6 7 6 2 4 2 5 4 4 4 2 3 3 6 4 7 3 4 4 1 3 5 3 4 6 4 4 4 10 11 3 5 2 7 5 2 6 10 5

设这组数据是..r v X ，根据题目要求，我们所需要检验的假设为：

0:~H X Poisson 分布()P λ

（1）将上表数据整理得出各个数据出现的频数，列出下表： i a 1 2 3 4 5 6 7 8 9 10

11 13 i v

3 13 15 18

14 15 10 4 2 4

1

1

（2）计算出X ，用X 作为∧

λ的估计

① 通过R 软件的随机数功能生成，但不清楚是不是服从Poisson 分布了

132********

5100

X ∧

?+?+?+4?+5?14+6?15+7?10+8?4+9?2+10?4+11?1+13?λ==

=

则，当参数5∧

λ=λ=，我们可以分别计算出所有观察数i a 对应的概率i p ，利用公式n

i p e

n -λ

λ=!

1

5

150.03368973p e -==1!

2

5

250.08422434p e -==2!

3

5

350.1403739p e -==3!

4

5

450.1754674p e -==4!

5

5

550.1754674p e -==5!

6

5

650.1462228p e -==6!

7

5

750.1044449p e -==7!

8

5

850.06527804p e -==8!

9

5

950.03626558p e -==9!

10

5

1050.01813279p e -==10!

11

5

1150.008242177p e -==11!

13

5

1350.001320862p e -==13!

（3）至此，我们可以计算出检验统计量

2

1

(())()()

r

i i n

n

i i v np K K np ∧

∧

**∧

=-λ=λ=λ∑

13.43746=

根据Fisher 的观点：2

10

~n K *χ 查2χ分布表①

得210(0.05)18.307χ=13.43746>即

2

00010()()(13.43746)0.10.05n p k P K k H P ***=≥|≈χ≥>>

所以接受0H ，即认为这组随机数服从Poisson 分布。

4.拟合优度检验的软件实现②

4.1．2Pearson χ检验的软件实现 同样以上一节的数据为例

1 2 3 4 5 6 7 8 9 10 11 12 13 3 13 15 18 14 15

10

4

2

4

1

1

现在我们运用流行的统计软件—R 软件来实现2Pearson χ检验。 (1)输入数据

X<-1:13;Y<-c(3,13,15,18,14,15,10,4,2,4,1,0,1) (2)计算理论分布

q<-ppois(X,mean(rep(X,Y)));n<-length(Y) p<-c()

p[1]<-q[1];p[n]<-1-q[n-1] for (i in 2:(n-1))

p[i]<-q[i]-q[i-1] (3)作检验

Chisq.test(Y,p=p)

①参见文献[3] 孙山泽.非参数统计讲义.北京大学出版社，2000.203页 ②具体涉及到的函数及程序使用，参见文献[2] 薛毅 陈立萍.统计建模与R 软件.清华大学出版社，2007.226页

4.2.Kolmogorov Smirnov

-检验的软件实现

考虑到Kolmogorov Smirnov

-检验分单样本和双样本检验两种，这里，我们仅仅介绍单样本检验的软件实现

试用Kolmogorov Smirnov

-检验方法检验此设备无故障工作时间的分布是否服从λ=1/1500的指数分布？

输入数据，调用ks.test()函数

X<-c(420,500,920,1380,1510,1650,1760,2100,2300,2350)

ks.test(X,"pexp",1/1500)

分布服从λ=1/1500的指数分布。

限于篇幅的原因，只就2

Pearsonχ检验和单样本的Kolmogorov Smirnov

-检验的软件实现作了简单举例说明，更多拟合优度检验方法的软件实现请参考文献[2]。至此，本文内容基本结束。

5.参考文献：

[1] 韦来生.数理统计.科学出版社，2008.

[2] 薛毅陈立萍.统计建模与R软件.清华大学出版社，2007.

[3] 孙山泽.非参数统计讲义.北京大学出版社2000