第九讲 分布拟合检验
合集下载
分布拟合检验

3、计算样本观测值 4、判断 p1 PH 0 ( D D0 ), p2 PH 0 ( A2 A02 ), p3 PH 0 (W 2 W02 )
当p , 拒绝H 0;p ,不能拒绝H 0
Hale Waihona Puke 正态性W检验方法专用正态性检验的方法 1、假设
H0:F(x)是正态分布函数,H1:F(x)不是正态分布函数 2、构造统计量 对称位置次序统计量的差
2、构造检验统计量
其中, mi和npi 频数 p1 F0 (a1 )
2 ( m np ) i 2 = i npi i 1 分别为第i组的样本频数和理论 l
pi F0 (ai ) F0 (ai 1 ), i 2, 3,, ... l 1 pl 1 F0 (al 1 )
数据分组为l个区间1提出假设01122构造检验统计量其中分别为第i组的样本频数和理论频数当原假设为真时该检验统计量的极限分布是k为理论分布中待估计参数的个数
数据的分布拟合检 验与正态性检验
总体分布服从正态分布或总体分布已知 条件下的统计检验,称为参数检验。 但是在数据探索分析中,我们需要拟合的 正是数据的分布。这就要用到非参数假设检 验——分布拟合检验(用于检验样本观测值 是否来自某种给定分布)。 常用的分布拟合检验方法有 2 检验, 经验分布拟合检验法,以及正态性W检验法 。
由于0<W<1,在H0为真时,W接近1,W值过小应拒 绝H0
p1 PH 0 (W W0 ) 当p , 拒绝H 0;p ,不能拒绝H 0
请看SAS实现部分
H0:F(x)=F0(x),H1:F(x)≠F0(x)
经验分布拟合检验方法
2、构造检验统计量 统计量是以两个函数的距离为基础的,根据 不同的距离定义有不同的统计量。
概率论课件分布拟合检验

基因表达分析
通过分布拟合检验,可以 对基因表达数据进行统计 分析,了解基因表达模式 和功能。
临床试验数据分析
在临床试验中,分布拟合 检验可用于分析药物疗效、 疾病发病率等数据。
其他应用场景
环境监测
在环境监测领域,分布拟合检验可用 于分析空气质量、水质等环境指标的 分布特征。
社会调查
在社会调查中,分布拟合检验可用于 分析人口普查、民意调查等数据,了 解社会现象和趋势。
本研究还发现,不同分布拟合检验方法在拟合效 果上存在差异,其中QQ图和概率图在判断分布拟 合优劣方面表现较好,而直方图在可视化展示方 面更具优势。
研究展望
在未来的研究中,可以进一步 探讨其他理论分布与实际数据 的拟合程度,以寻找更合适的
分布模型。
可以结合机器学习和人工智能 算法,对数据进行更深入的挖 掘和分析,以提高分布拟合检
分析结果表明,所选理论分布与实际数据存在一 定的拟合程度,但也存在一定的偏差。其中,正 态分布和指数分布与实际数据的拟合效果较好, 而泊松分布和威布尔分布的拟合效果相对较差。
在本研究中,我们采用了多种分布拟合检验方法 ,包括直方图、QQ图、概率图和统计检验等方法 ,对实际数据进行了深入的分析和比较。
通过绘制直方图和QQ图,可 以直观地观察数据分布与理论 分布的拟合程度。同时,计算 峰度系数和偏度系数等统计指 标,可以量化地评估分布拟合 程度。
案例二:人口普查数据分布拟合检验
• 总结词:人口普查数据分布拟合检验是评估人口数据质量和预测人口发 展趋势的重要手段。
• 详细描述:通过对人口普查数据进行分布拟合检验,可以判断人口数据 是否符合预期的分布形态,如年龄、性别、地区分布等,从而评估数据 质量和预测未来人口发展趋势。
分布拟合

拟合检验
在前面的课程中,我们已经了解了假 设检验的基本思想,并讨论了当总体分布 为正态时,关于其中未知参数的假设检验 问题 .
然而可能遇到这样的情形,总体服从何 种理论分布并不知道,要求我们直接对总体 分布提出一个假设 .
例如,从1500到1931年的432年间,每年 爆发战争的次数可以看作一个随机变量,椐统 计,这432年间共爆发了299次战争,具体数据 如下:
若有r个未知参数需用相应的估计量来代 替,自由度就减少r个. 此时统计量 渐近(k-r-1)个自由度的 分布.
2 2
根据这个定理,对给定的显著性水平 , 2 2 查 分布表可得临界值 ,使得
P ( )
2 2
得拒绝域:
( k 1) (不需估计参数)
例1
在一个正二十面体的二十个面上,分别标有
数字0, 1, 2, …, 9. 每个数字在两个面上标出.
为检验其均匀性,作了800次投掷试验,数字0, 1,
2, …, 9朝正上方的次数如下: 数字 0 频数 74 1 92 2 83 3 79 4 80 5 73 6 77 7 75 8 76 9 91
2
使用 2检验法对总体分布进行检验时,
我们先提出原假设:
H0:总体X的分布函数为F(x) 然后根据样本的经验分布和所假设的理论分 布之间的吻合程度来决定是否接受原假设. 这种检验通常称作拟合优度检验,它是一 种非参数检验.
在用 2检验法 检验假设H0时,若在H0下 分布类型已知,但其参数未知,这时需要先 用极大似然估计法估计参数,然后作检验.
K-S检验的优势和劣势
• • • • 作为一种非参数方法,具有稳健性; 不依赖均值的位置; 对尺度化不敏感; 适用范围广(不像 t 检验仅局限于正态分布, 当数据偏离正态分布太多时t 检验会失效; • 比卡方更有效; • 如果数据确实服从正态分布,没有 t 检验敏感 (或有效)。
在前面的课程中,我们已经了解了假 设检验的基本思想,并讨论了当总体分布 为正态时,关于其中未知参数的假设检验 问题 .
然而可能遇到这样的情形,总体服从何 种理论分布并不知道,要求我们直接对总体 分布提出一个假设 .
例如,从1500到1931年的432年间,每年 爆发战争的次数可以看作一个随机变量,椐统 计,这432年间共爆发了299次战争,具体数据 如下:
若有r个未知参数需用相应的估计量来代 替,自由度就减少r个. 此时统计量 渐近(k-r-1)个自由度的 分布.
2 2
根据这个定理,对给定的显著性水平 , 2 2 查 分布表可得临界值 ,使得
P ( )
2 2
得拒绝域:
( k 1) (不需估计参数)
例1
在一个正二十面体的二十个面上,分别标有
数字0, 1, 2, …, 9. 每个数字在两个面上标出.
为检验其均匀性,作了800次投掷试验,数字0, 1,
2, …, 9朝正上方的次数如下: 数字 0 频数 74 1 92 2 83 3 79 4 80 5 73 6 77 7 75 8 76 9 91
2
使用 2检验法对总体分布进行检验时,
我们先提出原假设:
H0:总体X的分布函数为F(x) 然后根据样本的经验分布和所假设的理论分 布之间的吻合程度来决定是否接受原假设. 这种检验通常称作拟合优度检验,它是一 种非参数检验.
在用 2检验法 检验假设H0时,若在H0下 分布类型已知,但其参数未知,这时需要先 用极大似然估计法估计参数,然后作检验.
K-S检验的优势和劣势
• • • • 作为一种非参数方法,具有稳健性; 不依赖均值的位置; 对尺度化不敏感; 适用范围广(不像 t 检验仅局限于正态分布, 当数据偏离正态分布太多时t 检验会失效; • 比卡方更有效; • 如果数据确实服从正态分布,没有 t 检验敏感 (或有效)。
分布拟合检验

ˆ ˆ ˆ 大似然估计θ 1 ,θ 2 ,⋯,θ r ;
ˆ (2) 在 F ( x ,θ 1 ,θ 2 ,⋯,θ r ) 中用 θ i 代替θ i ( i = 1, 2,⋯, r ),
则 F ( x ,θ 1 ,θ 2 ,⋯,θ r ) 就变成完全已知的分布函数
ˆ ˆ ˆ F ( x ,θ 1 ,θ 2 ,⋯,θ r );
ˆ λ = x = 0.69.
按参数为0.69的泊松分布, 计算事件 X = i 的概率 pi , 的泊松分布, 按参数为 的泊松分布 pi 的估计是 pi = e −0.69 0.69i / i! , i = 0,1,2,3,4 ˆ 根据引例所给数表, 将有关计算结果列表如下: 根据引例所给数表, 将有关计算结果列表如下:
H 0 : 总体 X 的分布律为 P{ X = xi } = pi , i = 1,2,⋯;
如果总体分布为连续型, 如果总体分布为连续型, 则假设具体为 连续型
Hale Waihona Puke H 0 : 总体 X 的概率密度函数为 f ( x ).
然后根据样本的经验分布和所假设的理论分布之间 的吻合程度来决定是否接受原假设, 这种检验通常 的吻合程度来决定是否接受原假设 称作拟合优度检验, 称作拟合优度检验, 它是一种非参数检验. 拟合优度检验 它是一种非参数检验 非参数检验 一般地, 我们总是根据样本观察值用直方图和经验 一般地, 分布函数, 推断出可能服从的分布, 然后作检验. 分布函数, 推断出可能服从的分布, 然后作检验
χ 2 检验法 1900年发表的一篇文章中引进的所谓 年发表的一篇文章中引进的所谓
不少人把此项工作视为近代统计学的开端. 不少人把此项工作视为近代统计学的开端
年的432年间 年间, 到 年的 一 引例 从1500到1931年的 年间 每年爆发战争的 次数可以看作一个随机变量, 椐统计, 次数可以看作一个随机变量 椐统计 这432年间共 年间共 爆发了299次战争 具体数据如下: 次战争, 具体数据如下: 爆发了 次战争
分布拟合检验

2
随机变量 x 的偏度和峰度指的是 x 的标准化变 量[x-E(x)]/ D( x ) 的三阶中心矩和四阶中心矩: x - E(x) 3 E[( x E ( x )) 3 ] v1=E[( ) ]= , 3/ 2 ( D( x )) D(x) x - E(x) 4 E[( x E ( x )) 4 ] v2=E[( ) ]= . 2 ( D( x )) D(x) 当随机变量 x 服从正态分布时,v1=0 且 v2=3. 设 x1,x2,…,xn 是来自总体 x 的样本,则 v1,v2 的矩估 计分别是 g1=B3/B 3/2 , g2=B4/B 2 . 2 2 其中 Bk(k=2,3,4)是样本 k 阶中心矩,并分别称 g1, g2 为样本偏度和样本峰度.
例 1 在一实验中,每隔一定时间观察一次由某 种铀所放射的到达计数器上的 粒子数 x,共观察了 100 次,得结果如下表所示: 表 8.2 铀放射的 粒子数的实验记录 i 0 1 2 3 4 5 6 7 8 9 10 11 12 fi 1 5 16 17 26 11 9 9 2 1 2 1 0 Ai A0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 其中 fi 是观察到有 i 个 粒子的次数。从理论上考虑 知 x 应服从泊松分布
155 149 141 142 141 147 149 140
158 158 140 137 149 146 138 142
解 为了粗略了解这些数据的分布情况,我们先根 据所给的数据画出直方图,下面就来介绍直方图。 上述数据的最小值、最大值分别为126、158,即所 有数据落在区间[126,158]上现取区间[124.5,159.5] ,它能覆盖区间[126,158]。将区间[124.5,159.5]等 分为7个小区间,小区间的长度记为 , (159.5 124.5) / 7 5. 称为组距。小区间的端点称为组限。数出落在每个 小区间内的数据频数 f i ,算出频率 f i / n / n( n 84, i 1,2,,7) 如下表
随机变量 x 的偏度和峰度指的是 x 的标准化变 量[x-E(x)]/ D( x ) 的三阶中心矩和四阶中心矩: x - E(x) 3 E[( x E ( x )) 3 ] v1=E[( ) ]= , 3/ 2 ( D( x )) D(x) x - E(x) 4 E[( x E ( x )) 4 ] v2=E[( ) ]= . 2 ( D( x )) D(x) 当随机变量 x 服从正态分布时,v1=0 且 v2=3. 设 x1,x2,…,xn 是来自总体 x 的样本,则 v1,v2 的矩估 计分别是 g1=B3/B 3/2 , g2=B4/B 2 . 2 2 其中 Bk(k=2,3,4)是样本 k 阶中心矩,并分别称 g1, g2 为样本偏度和样本峰度.
例 1 在一实验中,每隔一定时间观察一次由某 种铀所放射的到达计数器上的 粒子数 x,共观察了 100 次,得结果如下表所示: 表 8.2 铀放射的 粒子数的实验记录 i 0 1 2 3 4 5 6 7 8 9 10 11 12 fi 1 5 16 17 26 11 9 9 2 1 2 1 0 Ai A0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 其中 fi 是观察到有 i 个 粒子的次数。从理论上考虑 知 x 应服从泊松分布
155 149 141 142 141 147 149 140
158 158 140 137 149 146 138 142
解 为了粗略了解这些数据的分布情况,我们先根 据所给的数据画出直方图,下面就来介绍直方图。 上述数据的最小值、最大值分别为126、158,即所 有数据落在区间[126,158]上现取区间[124.5,159.5] ,它能覆盖区间[126,158]。将区间[124.5,159.5]等 分为7个小区间,小区间的长度记为 , (159.5 124.5) / 7 5. 称为组距。小区间的端点称为组限。数出落在每个 小区间内的数据频数 f i ,算出频率 f i / n / n( n 84, i 1,2,,7) 如下表
分布拟合检验

可建立统计假设
1 1 1 1 H 0 : p1 = , p2 = , p3 = , p4 = p5 = 2 4 8 16 依题意n=100,k=5,因此
(ν i − npi ) χ =∑ = 3.2 npi i =1
2 5 2
给定 α = 0.05, 查表 χ 0.95 ( 4) = 9.488 由于 χ < χ 0.95 ( 4)
H 0 : F ( x ) = F0 ( x); H1 : F ( x ) ≠ F0 ( x)
这是分布检验问题,属于非参数假设检验 问题。从解决实际问题的角度来看,在获 得样本 (ξ1,L, ξn ) 的观察值后,应设法找 到一个分布函数,把它作为总体的分布是 与观察值相吻合的。这就是所谓的分布拟 合问题。因此,检验总体分布是否是某一 个确定的分布,也称为分布拟合检验。很 明显,分布拟合问题是难度很大的问题, 2 因为已知的东西太少,下面只介绍 χ 拟合 检验法,但不给出理论证明。
2 2
2
故不能拒绝原假设 H 0 ,即认为黑盒中白球与 黑球的个数相等。
例 根据63年的观察资料,上海每年夏季(5月 至9月)发生的暴雨的天数记录如下:
暴雨 天数
0 4
1 8
2
3
4
5
6 2
7 1
8 1
9 0
年 份 数
14 19 10 4
能否由此表明上海夏季发生暴雨的天数服从泊松 分布? 解:总体 ξ 是上海夏季发生暴雨的天数。待检 验的假设是
ˆ i = F0 ( a i ; θˆ1 , L , θˆr ) − F0 ( a i −1 ; θˆ1 , L , θˆr ) p
令
ˆi ) (ν i − n p νi =∑ −n χ =∑ ˆi ˆi np i =1 i =1 n p
分布拟合检验-PPT课件

i1
(xi x)2
( 0 W 1 )
正态性W检验方法
3、计算样本观测统计量值 4、判断
由于0<W<1,在H0为真时,W接近1,W值过小应拒 绝H0
当 p , 拒 绝 H ; p , 不 能 拒 绝 H 0 0
p PW ( W ) 1 H 0 0
请看SAS实现部分
当 p , 拒 绝 H ; p , 不 能 拒 绝 H 0 0
p P ( ( l k1 ) )
2 2 0
经验分布拟合检验方法
2 拟合优度检验是针对, pF () a F ( a ) , i 1 , 2 , … , l i 0 i 0 i 1
即对各段概率正确性的检验,而经验分布拟合检验 是直接针对H0:F(x)=F0(x)的检验。 理论依据:经验分布函数Fn(x)依概率收敛于分 布函数F(x) 出发点:经验分布函数Fn(x)与原假设中理论 分布函数F0(x)之间的距离。 1、假设
数据的分布拟合检 验与正态性检验
总体分布服从正态分布或总体分布已知 条件下的统计检验,称为参数检验。 但是在数据探索分析中,我们需要拟合的 正是数据的分布。这就要用到非参数假设检 验——分布拟合检验(用于检验样本观测值 是否来自某种给定分布)。 常用的分布拟合检验方法有 2 检验, 经验分布拟合检验法,以及正态性W检验法 。
1、提出假设
H0:F(x)=F0(x),H1:F(x)≠F0(x)
2、构造检验统计量
其中, m i 和 np i 频数 p F a ) 1 0( 1
2 ( m np ) i 2 = i npi i1 分别为第i组的样本频数和理论 l
p F a F a ) ,i 23... , , , l 1 i 0( i) 0( i 1 p 1 F a ) l 0( l 1
概率论课件分布拟合检验

其中i=1,2, , k, a0 -; ak ,我们称npi (i 1, 2, k) 为第i个区间上的理论频数;pi为理论频率.
(3)抽取大样本,统计落在各个区间上的个体个数
ni (i 1, 2, , k), 称ni为第i个区间上的实际频数.
(4)选用检验H0的统计量,直观上,如果H0成立, 那么 npi与ni的差别不应该太大,因此可以利用ni与npi之间 的差异来检验H0.能够体现它们的差异大小的统计量 之一是
查表得
02.0(5 5) 11.071,拒绝域为 2 11.071 现 2的值没有落入拒绝域,故接受H0,即可认为这颗骰子
是均匀的.
2 (k
r
1)就拒绝H
,
0
否则就接受H0.
例1为检验一颗骰子的六个面是否均匀,掷骰子120次, 得到结果如下:
点数 1 2 3 4 5 6 频数ni 21 28 19 24 16 12
试在 =0.05的水平下对他作出检验.
解 一颗骰子的六个面是否均匀就是检验每个面出 现的概率是否都是1/6。即可做假设
H0
:
P{X
k} 1 (k 6 Nhomakorabea 1, 2,..., 6),我们分6组
并计算各组的理论频数120 1 20,从而得到统计量 2的值
6
2 (21 20)2 (28 20)2 (12 20)2 8
20
20
20
由于假设H0中无未知参数,所以r 0,对于 0.05,
5.5 分布拟合检验
前面几节讨论了关于总体分布中未知参数的假设检验, 在这些检验中总体的分布是已知的。然而在许多情况下,并 不知道总体分布的类型,此时需要根据样本提供的信息,对
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第9讲 Kolmogorov -Smirnov分布拟 合检验
内容提要:
K.Pearson连续型分布拟合检验及优缺点 Kolmogorov -Smirnov检验的思想 Kolmogorov -Smirnov检验的SPSS实现
上一讲所讲述了分布拟合检验的一种方法—— K.Pearson Chi-square检验法
146.4
148.5 143.7 144.5
139.4
147.5 156.9 142.4
我们将身高看作连续型随机变量,要检验它是 否服从正态分布 首先对区间进行划分,可采用公式
k 1.87(n 1) 2 / 5 1.87(119) 0.4 12
数据的最大值为160.3,最小值为122.7,等 距离划分12个区间,每个区间的长度为 d=3.133
146.8
147.7 134.7 138.4 131.0 132.3 135.9 135.9 129.1 132.9 140.6 135.0 139.7
127.4
140.8 138.9 133.1
146.0
127.7 123.1 142.8
155.8
150.7 126.0 136.8
141.2
160.3 150.0 133.1
一、K.Pearson Chi-square离散分布拟合检验
2 p i 1 k
ni Ei
Ei
2
H 0 , 2 (k r 1) n
ni和Ei分别是实际频数和理论频数
P P( (k r 1) )
2 2 0
P , rej. H 0 P , acc. H 0
i 10
pi 0 C 0.1 (1 0.1)
i
10i
关键问题之二:r、k的确定 r表示未知独立参数的个数,参数需要用极 大似然估计替代 Poisson分布:r=1
ˆ X
1 n ˆ (X i X )2 n i 1
2
ˆ 正态分布:r=2 X k表示随机变量的取值区间(或点)数,保 证该区间上的理论频数不得小于5
血型分布检验、二项分布拟合检验、Poisson分 布拟合检验 连续型: 正态分布拟合检验、指数分布拟合检验
缺点 1、与区间的划分有关 相同的数据,按照不同的区间划分,可以得到不 同的P值 2、灵敏度不够高 对于连续型随机变量,我们希望F(x)与F0(x)处处 差别不大,而不仅仅从区间的角度进行判断 3、SPSS处理不方便 SPSS处理时涉及pi0的计算和输入,而计算比较 繁琐
130.3
122.7 139.0 141.6 140.6 136.4 138.9 145.2 135.7 138.4 138.3 142.7 143.8
146.3
131.8 132.3 141.0 140.2 134.5 136.1 128.2 139.8 138.1 135.3 136.2 138.1
两密度函数有差 别吗?
f0(x),理论密度
a1
a2
a3
a4
f(x),实际密度
各区间上两曲线下的面积近似相等 理论概率与实际概率相近 实际密度与理论密度无差别?
三、Kolmogorov -Smirnov分布拟合检验
(1) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x) (2) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x) (3) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x)
150.8 147.9 127.7
146.2 143.0 154.4
140.6 143.1 142.7
139.7 142.7 141.2
问 : 否该 服地 从区 正 12 态岁 分男 布孩 ?身 高 是
126.0
133.4
142.7 135.8 138.4 145.1 150.4 152.7 140.3 140.2 141.4 142.9 142.2 154.3
k=8各区间理论频数表
≤1 2 3 4 5 6 7 ≥8
7.79 13.22 18.51 19.44 16.33 11.43 6.86 6.26
上节课我们所涉及到的都是离散型随机变量, 即随机变量取值为有限个或可数个 其分布拟合检验属于离散分布检验问题, 利用K.Pearsonχ2检验时,其区间的划分和 概率的计算相对比较容易
146-150 150-154 >154
利用Spss软件求解
数据输入格式
数据加权
选择非参数K.Pearsonχ2检验
选择区间作为检验指标 理论概率值(按比例放大)后作为期望值 (expected value)依次输入
结果
区 间 Observed N 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 Total 5 8 10 22 33 20 11 6 5 120 Expected N 3.9 7.8 15.4 22.9 25.6 21.3 13.9 6.2 2.9 Residual 1.1 .2 -5.4 -.9 7.4 -1.3 -2.9 -.2 2.1
ˆ ˆ x 139.5, 1 120 ( xi x ) 2 7.3457 120 i 1
再通过正态分布求区间发生的概率pi0
pi 0 P( ai 1 X ai )
ai
1 ˆ 2
ai 1
e
ˆ ( x )2 ˆ 2
dx F ( ai ) F ( ai 1 )
160.3 122.7 d 12
数出落在各区间的个体数
1
2
7
3
5
4
5
6
7
8
9
8
10
2
11
4
12
1
12 19 24 23 10
发现有三个区间的实际例数小于5 经尝试发现,应当将区间个数缩小为9,实际 上,以等间隔4就能使实际例数大于5,见P91 表4.4
因此确定k=9
其次,计算参数的极大似然估计
对于连续型随机变量的分布拟合检验, K.Pearson Chi-square检验该怎么办?
二、K.Pearson Chi-square连续分布拟合检验 例如: 要检验某地区12岁男孩身高是否服从正态分布 随机抽取某地区120名12岁男孩,测得具体身高 如下:
128.1 134.1
144.4 124.3 125.6
D sup D sup
n n x
x
Fn ( x) F0 ( x) F0 ( x) Fn ( x)
记
Dn max( D , D )
n
n
Kolmogorov-Smirnov检验统计量
Z n n Dn
lim P( Z n x | H 0 ) 1 2 (1)
可利用Excel求值
Normdist(ai,139.5,7.3457)- Normdist(ai-1,139.5,7.3457)
以书中等间隔4作区间划分,分为9个区间
利用EXCEL,可求出各pi0的值 pi0 对应区间
<126 126-130 130-134 134-138 138-142
142-146
0, k Fn x n 1
x X 1
X k x X k 1 ; k 1,2, n 1 x X n
如果样本值已知,给定任何一点x0的值, 我们能确定Fn(x0)的值。
零假设为真,Fn(x) 与F0(x) 的差应当小,因此构 造检验统计量如下: Kolmogorov检验统计量 右侧检验统计量 左侧检验统计量
右侧检验
关键的问题之一:Ei的计算
n
pi 0 pi 0
Ei npi 0 样本例数
在H0成立下(X=i)发生的概率
P( X i | H 0 )
有时直接给出
如例4.1.1,见P86表4.1;再如习题四6# 有时需要通过公式计算 如Poisson分布拟合 再如习题四3#
i pi 0 e i!
Test Statistics Chi-Square a df Asymp. Sig. 区 间 6.644 8 .576
a. 2 cells (22.2%) have expected frequencies less than 5. The minimum expected cell frequency is 2.9.
131.0
137.6 134.8 136.6 141.4 142.7 148.1 137.3 136.6 139.7 144.7 152.1 147.9
125.4
136.9 139.1 136.2 139.9 144.3 139.6 134.6 139.5 136.2 138.8 142.4 141.3
实际自由度自由度 df=9-2-1=6 调整渐近P值
P P( 2 (6) 6.644) 0.355027
正态分布有2个参数
结论 选择显著水平0.2,发现渐近P值大于0.2, 说明该数据支持12岁儿童身高服从正态分布
1、构造思想简单直观
优点
出发点是样本频数与理论频数之差。如果零假设 为真,则差值绝对值应该偏小;否则,偏大。 2、适用性广 既适用于离散分布拟合,又适用于连续分布拟合 离散型:
出发点:利用实际分布和理论分布之间的每一点上 的差别进行比较 问题1:实际分布是未知的,如何通过样本度量?
问题2:理论分布含有参数怎么办?
经验分布函数是总体分布函数的无偏、一致估计。 一种定义方法,以后用于计算Dn+ x<X 1 0, k Fn x X k x<X k 1 ; k 1,2, n 1 n x X n 1 另一种定义方法以后用于计算Dn-
内容提要:
K.Pearson连续型分布拟合检验及优缺点 Kolmogorov -Smirnov检验的思想 Kolmogorov -Smirnov检验的SPSS实现
上一讲所讲述了分布拟合检验的一种方法—— K.Pearson Chi-square检验法
146.4
148.5 143.7 144.5
139.4
147.5 156.9 142.4
我们将身高看作连续型随机变量,要检验它是 否服从正态分布 首先对区间进行划分,可采用公式
k 1.87(n 1) 2 / 5 1.87(119) 0.4 12
数据的最大值为160.3,最小值为122.7,等 距离划分12个区间,每个区间的长度为 d=3.133
146.8
147.7 134.7 138.4 131.0 132.3 135.9 135.9 129.1 132.9 140.6 135.0 139.7
127.4
140.8 138.9 133.1
146.0
127.7 123.1 142.8
155.8
150.7 126.0 136.8
141.2
160.3 150.0 133.1
一、K.Pearson Chi-square离散分布拟合检验
2 p i 1 k
ni Ei
Ei
2
H 0 , 2 (k r 1) n
ni和Ei分别是实际频数和理论频数
P P( (k r 1) )
2 2 0
P , rej. H 0 P , acc. H 0
i 10
pi 0 C 0.1 (1 0.1)
i
10i
关键问题之二:r、k的确定 r表示未知独立参数的个数,参数需要用极 大似然估计替代 Poisson分布:r=1
ˆ X
1 n ˆ (X i X )2 n i 1
2
ˆ 正态分布:r=2 X k表示随机变量的取值区间(或点)数,保 证该区间上的理论频数不得小于5
血型分布检验、二项分布拟合检验、Poisson分 布拟合检验 连续型: 正态分布拟合检验、指数分布拟合检验
缺点 1、与区间的划分有关 相同的数据,按照不同的区间划分,可以得到不 同的P值 2、灵敏度不够高 对于连续型随机变量,我们希望F(x)与F0(x)处处 差别不大,而不仅仅从区间的角度进行判断 3、SPSS处理不方便 SPSS处理时涉及pi0的计算和输入,而计算比较 繁琐
130.3
122.7 139.0 141.6 140.6 136.4 138.9 145.2 135.7 138.4 138.3 142.7 143.8
146.3
131.8 132.3 141.0 140.2 134.5 136.1 128.2 139.8 138.1 135.3 136.2 138.1
两密度函数有差 别吗?
f0(x),理论密度
a1
a2
a3
a4
f(x),实际密度
各区间上两曲线下的面积近似相等 理论概率与实际概率相近 实际密度与理论密度无差别?
三、Kolmogorov -Smirnov分布拟合检验
(1) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x) (2) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x) (3) H 0 : F ( x) F0 ( x) H1 : F ( x) F0 ( x)
150.8 147.9 127.7
146.2 143.0 154.4
140.6 143.1 142.7
139.7 142.7 141.2
问 : 否该 服地 从区 正 12 态岁 分男 布孩 ?身 高 是
126.0
133.4
142.7 135.8 138.4 145.1 150.4 152.7 140.3 140.2 141.4 142.9 142.2 154.3
k=8各区间理论频数表
≤1 2 3 4 5 6 7 ≥8
7.79 13.22 18.51 19.44 16.33 11.43 6.86 6.26
上节课我们所涉及到的都是离散型随机变量, 即随机变量取值为有限个或可数个 其分布拟合检验属于离散分布检验问题, 利用K.Pearsonχ2检验时,其区间的划分和 概率的计算相对比较容易
146-150 150-154 >154
利用Spss软件求解
数据输入格式
数据加权
选择非参数K.Pearsonχ2检验
选择区间作为检验指标 理论概率值(按比例放大)后作为期望值 (expected value)依次输入
结果
区 间 Observed N 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 Total 5 8 10 22 33 20 11 6 5 120 Expected N 3.9 7.8 15.4 22.9 25.6 21.3 13.9 6.2 2.9 Residual 1.1 .2 -5.4 -.9 7.4 -1.3 -2.9 -.2 2.1
ˆ ˆ x 139.5, 1 120 ( xi x ) 2 7.3457 120 i 1
再通过正态分布求区间发生的概率pi0
pi 0 P( ai 1 X ai )
ai
1 ˆ 2
ai 1
e
ˆ ( x )2 ˆ 2
dx F ( ai ) F ( ai 1 )
160.3 122.7 d 12
数出落在各区间的个体数
1
2
7
3
5
4
5
6
7
8
9
8
10
2
11
4
12
1
12 19 24 23 10
发现有三个区间的实际例数小于5 经尝试发现,应当将区间个数缩小为9,实际 上,以等间隔4就能使实际例数大于5,见P91 表4.4
因此确定k=9
其次,计算参数的极大似然估计
对于连续型随机变量的分布拟合检验, K.Pearson Chi-square检验该怎么办?
二、K.Pearson Chi-square连续分布拟合检验 例如: 要检验某地区12岁男孩身高是否服从正态分布 随机抽取某地区120名12岁男孩,测得具体身高 如下:
128.1 134.1
144.4 124.3 125.6
D sup D sup
n n x
x
Fn ( x) F0 ( x) F0 ( x) Fn ( x)
记
Dn max( D , D )
n
n
Kolmogorov-Smirnov检验统计量
Z n n Dn
lim P( Z n x | H 0 ) 1 2 (1)
可利用Excel求值
Normdist(ai,139.5,7.3457)- Normdist(ai-1,139.5,7.3457)
以书中等间隔4作区间划分,分为9个区间
利用EXCEL,可求出各pi0的值 pi0 对应区间
<126 126-130 130-134 134-138 138-142
142-146
0, k Fn x n 1
x X 1
X k x X k 1 ; k 1,2, n 1 x X n
如果样本值已知,给定任何一点x0的值, 我们能确定Fn(x0)的值。
零假设为真,Fn(x) 与F0(x) 的差应当小,因此构 造检验统计量如下: Kolmogorov检验统计量 右侧检验统计量 左侧检验统计量
右侧检验
关键的问题之一:Ei的计算
n
pi 0 pi 0
Ei npi 0 样本例数
在H0成立下(X=i)发生的概率
P( X i | H 0 )
有时直接给出
如例4.1.1,见P86表4.1;再如习题四6# 有时需要通过公式计算 如Poisson分布拟合 再如习题四3#
i pi 0 e i!
Test Statistics Chi-Square a df Asymp. Sig. 区 间 6.644 8 .576
a. 2 cells (22.2%) have expected frequencies less than 5. The minimum expected cell frequency is 2.9.
131.0
137.6 134.8 136.6 141.4 142.7 148.1 137.3 136.6 139.7 144.7 152.1 147.9
125.4
136.9 139.1 136.2 139.9 144.3 139.6 134.6 139.5 136.2 138.8 142.4 141.3
实际自由度自由度 df=9-2-1=6 调整渐近P值
P P( 2 (6) 6.644) 0.355027
正态分布有2个参数
结论 选择显著水平0.2,发现渐近P值大于0.2, 说明该数据支持12岁儿童身高服从正态分布
1、构造思想简单直观
优点
出发点是样本频数与理论频数之差。如果零假设 为真,则差值绝对值应该偏小;否则,偏大。 2、适用性广 既适用于离散分布拟合,又适用于连续分布拟合 离散型:
出发点:利用实际分布和理论分布之间的每一点上 的差别进行比较 问题1:实际分布是未知的,如何通过样本度量?
问题2:理论分布含有参数怎么办?
经验分布函数是总体分布函数的无偏、一致估计。 一种定义方法,以后用于计算Dn+ x<X 1 0, k Fn x X k x<X k 1 ; k 1,2, n 1 n x X n 1 另一种定义方法以后用于计算Dn-