非参数统计学讲义(第五章)讲稿2
统计学非参数检验演示文稿
标准是否一致
……
参数检验：
➢ 样本被视为从分布族的某个参数族抽取出来的 总体的代表，而未知的仅仅是总体分布具体的 参数值
➢ 仅仅依赖于数据观测值的相对大小(秩)等，而是 通过检验样本所代表的总体分布形式是否一致 来得出统计结论。
非参数统计的名字中的“非参数 (nonparametric)”意味着其方法不涉及描述总 体分布的有关参数；
它被称为“和分布无关”(distribution—free)， 是因为其推断方法和总体分布无关；不应理解 为与所有分布(例如有关秩的分布)无关．
统计学非参数检验演 示文稿
方法的回顾
单个因素（两水平）的作用评价：两组比较
➢ 完全随机设计下的单因素两组比较 ➢ 匹配设计的两组比较
单个因素（多水平）的作用评价：多组比较
➢ 完全随机设计下的单因素多水平比较
两个因素的分析问题
➢ 无交互作用、有交互作用
单因素两组比较：t检验
➢ 完全随机两组均数比较的t检验（独立t检验） ➢ 匹配设计下两组均数比较的t检验（匹配t检验）
非参数检验概述
➢ 非参数检验、特点及应用
单样本的非参数检验
两个样本和多个样本的非参数检验
单样本的非参数检验
c2拟合优度检验 分类数据
K-S拟合优度检验
检验分布
中位数的符号检验 对中位数的推断
c2统计量
➢ 用来测定定类变量之间的相关程度
c2
(f0 fe)2 fe
c 2 0 其中 f0表示观察值 fe表 频示 数期 ，望值频数
统计学非参数统计PPT课件
dij
Ti ni
Tj nj
第17页/共28页
• 2、计算判断有无统计意义的临界值d0.05
• 自由度=n-k，d> d0.05差别有统计意义。查t值表时如有的自由度没有可 用内插法近似估计
n 1 H 1 1 2
• 3、列各
d t s 0.(0P2527)
组
平0均.0秩5间(的)两
第19页/共28页
第四节 等级分组资料的检验
• P228表17－10的资料，可用2检验，但只能说明：各组在疗效等级的构成上有无不同，而不能说明哪组 疗效较好，哪组较差
• 利用H检验中，相同等级可用平均秩 • 其检验步骤同H检验 • 若有显著性意义，再进行多重比较
第20页/共28页
第五节 随机区组设计 资料的检验
s2 1 (
n 1
Tij2
n(n 1)2 4
)
无相同数据时，
s2 n(n 1) /12
第15页/共28页
• 7)计算H值
无相同数据时，
H 12
Ti2 3(n 1)
n(n 1) ni
有相同数据时：
2
2
1 T n(n 1) • 8)判断结果：如果处理数3，ni5,则可查i附表17－3作判断。
• 计算时可进行连续性校正，但影响甚微，
第6页/共28页
第二节 成组资料的检验
• 一、两样本秩和检验(Wilcoxon, Mann and Whitney法) • rank sum test计算步骤：
• 1、将两组数据混合由小到大排列编秩，相同数据用平均秩 • 2、将小样本等级相加称为T • 3、计算T ': T '=n1(n1+n2+1)-T
第5讲 非参数检验.ppt
非参数统计检验是一种这样的检验，其模型对于被抽样总体的 参数不规定条件，即非参数检验是不依棘总体分布的统计检验 方法，是指在总体不服从正态分布且分布情况不明时，用来检 验数据资料是否来自同一个总体假设的一类检验方法。
一、单样本非参数检验
单样本非参数统计检验方法可以检验只需抽取一个样本的假设。 该检验是检验某特定样本是否来自于某指定的总体。
Close
配对资料的符号秩和检验 （Wilcoxon配对法）
Close
例6-1 某医院对12例患者进行“巩 膜瓣下灼烙角膜咬切术”，手术前后的 视力如表6-1，问手术后视力是否有改 善？
Close
病人编号 （1） 1 2 3 4 5 6 7 8 9 10 1 4.1 4.5 4.7 4.0 4.1 5.2 4.1 4.1 4.8
Close
Close
本例是检验均匀分布的。 Close
Close
H 0: 20 2 22 /2(n 1 )或 21 /2 2(n 1 ) 也 就 是 P (22 /2(n 1 )) =/ 2 P (2 C lo1 s e/2 2(n 1 ))= /2
二、二项检验 对于任意的两类总体，如果已知其中一类事件所占的比例为P， 那么另一类所占的比例为1-P，
Close
Close
Close
Close
Close
Close
非参数统计讲义通用课件
假设检验方法
总结词
假设检验方法用于检验一个关于总体 参数的假设是否成立。
详细描述
假设检验方法包括提出假设、构造检 验统计量、确定临界值和做出决策等 步骤。常见的假设检验方法有t检验、 卡方检验、F检验等，用于判断样本数 据是否支持假设。
关联性分析方法
总结词
关联性分析方法用于研究变量之间的相关性。
02
非参数统计方法
描述性统计方法
总结词
描述性统计方法用于收集、整理、描述数据，并从数据中提取有意义的信息。
详细描述
描述性统计方法包括数据的收集、整理、描述和可视化，例如均值、中位数、 众数、标准差等统计量，以及直方图、箱线图等图形化表示。这些方法可以帮 助我们了解数据的分布、中心趋势和离散程度。
非数统计与机器学习算法的结 合将有助于解决复杂的数据分析 问题。
02
与大数据技术的融 合
非参数统计将借助大数据技术处 理海量数据，挖掘数据背后的规 律和模式。
03
与社会科学研究的 互动
非参数统计方法将为社会科学研 究提供更有效的研究工具和方法 。
决策树分析方法
总结词
决策树分析方法是一种基于树形结构的非参 数统计学习方法。
详细描述
决策树分析方法通过递归地将数据集划分为 更小的子集，构建出一棵决策树。决策树的 每个节点表示一个特征属性上的判断条件， 每个分支代表一个可能的属性值，每个叶子 节点表示一个分类结果。决策树分析可以帮 助我们进行分类、预测和特征选择等任务。
非参数统计的发展趋势
多元化发展
非参数统计将不断拓展其应用领域，从传统的医学、生物 、经济领域向金融、环境、社会学等领域延伸。
01
算法优化
随着计算能力的提升，非参数统计的算 法将进一步优化，提高计算效率和准确 性。
非参数统计讲义
第一章 绪 论本章主要内容： 1．非参数方法介绍 2．预备知识第一节 非参数方法介绍一． 非参数方法的概念和实例复习参数方法定义：设总体X 的分布函数的形式是已知的，而未知的仅仅是分布函数具体的参数值，用样本对这些未知参数进行估计或进行某种形式的假设检验，这类推断方法称为参数方法。
先来看两个实例。
例1.1 供应商供应的产品是否合格？ 某工厂产品的零件由某个供应商供应。
合格零件标准长度为（8.5±0.1）cm 。
这也就是说合格零件长度的中心位置为8.5cm ，允许误差界为0.1cm ，即长度在8.4－8.6cm 之间的零件是合格的。
为评估近年来供应的零件是否合格，随机抽查了n=100个零件，它们的长度数据X 见第一章附表1.1。
解答：根据我们已学过的参数统计的方法，如何根据数据来判断这批零件合格否？ 用参数数据分析方法，在参数统计中，运用得最多的是正态分布，所以考虑假设供应商供应的零件长度X 服从正态分布，即X ～),(2σμN其中两个参数均未知，但可用样本均值估计μ，样本方差估计2σ。
由已知的数据计算可得：零件的平均长度，即样本均值为x =8.4958cm ，样本标准差为s=0.1047cm 。
则零件合格的可能性近似等于)/)4.8(()/)6.8(()6.84.8(σμσμ-Φ--Φ=≤≤X P)1047.0/)4958.84.8(()1047.0/)9458.86.8((-Φ--Φ≈%66≈这个说明：约有三分之一的零件不合格，该工厂需要换另一个供销商了。
但这个结论与实际数据符不符合呢？这是我们要思考的问题。
我们可以对数据做一个描述性分析，先对这100个样本数据做一个频率分布。
观察到：在这100个零件中有91个零件的长度在8.4cm ～8.6cm 之间，所以零件合格的比例为91%，超过66％很多！统计分析的结论与数据不吻合的！这是什么原因呢？我们可以作出数据的直方图来分析数据的分布情况。
非参数统计讲义通用课件
通过实际案例展示如何使用Python进行非 参数统计，包括分布拟合、假设检验和模 型选择等步骤。
SPSS实现
SPSS简介
SPSS（Statistical Package for the Social Sciences） 是一款流行的社会科学统计 软件。
操作界面
SPSS的非参数统计功能通常 在“分析”菜单下的“非参 数检验”选项中，用户可以 通过直观的界面进行操作。
聚类分析方法在数据挖掘、 市场细分等领域有广泛应用， 可以帮助我们发现数据的内 在结构和模式。
异常值检测方法
• 异常值检测方法用于识别和剔除数据中的异常值，提高数据分析的准确性和可靠性。
• 常见的异常值检测方法包括基于统计的方法、基于距离的方法、基于密度的方等。 • 基于统计的方法利用统计学原理，如z分数、IQR等，判断数据是否为异常值；基于距离的方法通过计算对象与其它对象的距离来判断是否为异常值；基于密度的方法则根据对象周围的密度变化来判断是否
解释性较差
相对于参数统计，非参数统计结果通 常较为抽象，难以直接解释其具体含 义。
假设检验能力较弱
非参数统计在假设检验方面的能力相 对较弱，对于确定性的结论和预测不 如参数统计准确。
如何克服非参数统计的局限性
01
02
03
04
利用高效计算方法
采用并行计算、分布式计算等 高效计算方法，提高非参数统
计的计算效率和准确性。
描述性统计方法在数据分析中起到基 础作用，为后续的统计推断提供数据 基础和初步分析结果。
假设检验方法
假设检验方法是一种统计推断 方法，通过提出假设并对其进
行检验，判断假设是否成立。
假设检验方法包括参数检验和 非参数检验，其中非参数检验 不依赖于总体分布的具体形式，
非参数统计概述课件
对于小样本数据，非参数统计 方法可能无法提供稳定和可靠
的结果。
04
非参数统计与其他统计方 法的比较
与参数统计的比较
非参数统计
不依赖于特定的概率分布模型，灵活 性更强，能适应多种数据类型和分布 。
参数统计
基于特定的概率分布模型，需要对模 型假设进行验证，适用范围相对有限 。
与贝叶斯统计的比较
02
大数据为非参数统计提供了丰富 的数据资源和计算能力，有助于 发现更多隐藏在数据中的信息和 规律，推动非参数统计的发展。
非参数统计与其他学科的交叉研究
非参数统计与计算机科学、数学、物 理学、生物学等学科的交叉研究有助 于拓展非参数统计的应用领域和理论 框架。
不同学科的交叉融合可以促进非参数 统计的创新和发展，推动其在各个领 域的实际应用。
在秩次相关性检验中，变量值被转换为秩次，然后使用秩 次计算相关系数（如Spearman或Kendall秩次相关系数 ）。这种方法适用于非正态分布的数据，且不受数据异常 值的影响。
分布拟合检验
分布拟合检验是一种非参数统计方法，用于检验数据是否符合特定的概率分布。
分布拟合检验通过比较数据的实际分布与理论分布的统计量（如Kolmogorov-Smirnov、 Anderson-Darling等），来评估数据是否符合特定的概率分布。这种方法在统计学中广泛应用于模 型的假设检验和数据的探索分析。
特点
灵活性、稳健性、无分布假设、 适用于多样本数据等。
与参数统计的区别
01
02而参数统计 则依赖于特定的分布假设 。
方法
非参数统计通常采用中位 数、四分位数等统计量， 而参数统计则采用平均数 、方差等统计量。
应用范围
第五章 非参数统计 优质课件
（2）将样本资料编 成r×c列联表，并列 出实际频数Oij
（4）计算检验统计量
r
2
c (Oij Eij ) 2
i1 j1
Eij
（3）计算理论频数
Eij
nin j n
（5） 给定的查2
表，得到临界值
（6）比较2值与临界值
作出检验判断
要点说明
•列联表形式（r×c）Biblioteka x y列（c） 合计
1 2 3 …c
1 O11 O12
O13
… O1c O1
行 2 O21 O22
O23
… O2c O2
（r）
3 .
O31 .
O32 .
O33 .
… .
O3c .
O3 .
y的边缘频数
..
.
.
..
.
..
.
.
..
.
r Or1 Or2
Or3
… Orc Or
合计
n.1 n.2 n.3 … n.c n
X的边缘频数
Observed N Expected N
208
216.8
Ch i-Squarea
81
72.3
df 289
Asymp. Sig.
Res i d u al X -8.8 1.413
8.8 1
.2 35
a. 0 cells (.0%) have expected frequencies less than 5. The m inimum expected cell frequency is 72.3.
主要内容
2检验
曼—惠特尼U检验 等级相关检验
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 相关和回归§1 引言所谓相关，是指两组或两组以上观察结果之间的连带性或联系。
换句话说，也就是各组观察结果所反映的特性之间有关系。
如几个亲生兄弟间的智商与出生顺序有关系，受教育程度与性别有关系，出生率X 和文盲率Y 之间的关系等等。
在实际问题的研究中，人们常常想知道两组或两组以上的观察结果是否有联系，同时也想知道联系的程度如何。
前面的统计检验能够在一定的显著性水平上，确定各组观察值的关系是否存在。
相关方法被用来度量两个或更多变量之间的线性关系的强度，是回归分析的基础。
在数理统计学中，我们使用相关系数定义变量X 和变量Y 之间的相关性。
)var()var(),cov(),(Y X Y X Y X corr ==ρ1(0.1)对于样本),(11Y X ，),(22Y X ，……，),(n n Y X 来说，Pearson 相关系数为∑∑∑∑∑∑----=----=222211)()())(()()())((Y Y X X Y Y X X Y Y X X Y Y X X r i i i i i i ni i n (0.2)如果在这个样本中的n 个观察值独立，则r 是ρ的渐近无偏估计；如果它又是二元正态分布，则r 是ρ的ML 估计。
为了检验0:0=ρH ，0:1≠ρH ，可以选取统计量)2(~122---=n t r n rt结论：Pearson 相关系数度量的是一种线性关系，而我们所要介绍的非参数的Spearman 秩相关系数s r 和Kendall τ相关系数实际上度量的是一种形式的相依联系，或是更广义的单调关系。
因此相关的概念被推广，不仅指线性相关，而泛指相依或联系。
§2 两个样本的相关分析一、等级相关等级相关(Rank Correlation)也称作级序相关，用于两个至少是定序尺度测量的样本问相关程度的测定研究背景1．基本方法两个样本X 、Y ，其观察数据可以配对为),(11Y X ，),(22Y X ，……，),(n n Y X 。
将n x x x ,,,21 排序后评秩，其秩记作U ，与i x 相对应的秩为),,2,1(n i U i =；同样，n y y y ,,,21 排序后评秩，秩记作V ，与i y 相对应的秩为),,2,1(n i V i =。
这样得到的n 对秩),(11V U ，),(22V U ，…，),(n n V U 可能每一对完全相等，也可能不等。
由于每一样本都是n 个数据评秩，因此i U 与i V 的取值都是从1到n 。
X 、Y 的秩可能完全一致，即对于所有的i 来说，有i U ＝i V ，表5—1是完全一致的评秩结果。
X 、Y 的秩可能完全相反，表5—2是完全相反的评秩结果。
如果X 、Y 完全相关，应该对于所有的i 有i U ＝i V ，即i U —i V ＝0。
因此，i U 与i V 之差可以用来度量X 、Y 的相关程度。
定义i i i V U D -=X 的秩 Y 的秩 111ρ度量了总体样本点在标准差线周围的聚集程度，详见笔记P38。
2 2 … …n －1 n －1 nn X 的秩 1 n 2 n －1 …… n －1 2 n1i i i D 可正可负，直接用∑=ni i D 1测度相关，会出现正负i D 抵消，而不能真实反映i U 与i V 差值的大小，所以宜采用∑=ni i D 12，即∑∑==-=ni i i n i i V U D 1212)((0.3)（5.3）式的这个秩差值平方和的大小既受到n 的多少的影响，又受到两组秩不一致程度的影响，因此，采用相对的测量指标有利于说明X 、Y 的相关程度。
因为∑2i D 的最大值反映X 、Y 完全不相关的情况，所以，用（5.3）式除以∑2i D 的最大值，可用来评价X 、Y 之间秩的差值是否与完全不相关时接近。
若实际计算的∑2i D 与X 、Y 完全不相关情况下的∑-2)(i i V U 接近，那么两个样本的相关程度较低，若实际计算的∑2i D 与∑2i D 最大值的比越小，则两个样本的相关程度越高。
∑2i D 的最大值即X 、Y 间完全不相关情况下的秩差值平方和，可以根据表5—2所列的数据计算。
因为这是X 、Y 完全不相关的评秩结果。
∑2i D 的最大值为3/)1(])3()1[(2)1()]1(2[]2)1[()1(2222222-=+-+-=-+--++--+-n n n n n n n n (0.4) （5.4）式的中括号内最后一项，当n 为奇数时是22；n 为偶数时是12。
（5.3）式除以（5.4）式得到)1(33/)1(2222-=-∑∑n n D n n D i i (0.5)（5.5）式的取值从0到1。
根据表5-1中的数据计算（5.5）式值为0，表5-2中的数据计算的（5.5）式值为1，即X 、Y 的秩完全一致时，（5.5）式的值为0，X 、Y 的秩完全不一致时，（5.5）式的值为1。
测度两个样本等级相关程度可以象参数方法一样，定义等级相关系数作为标准。
斯皮尔曼的等级相关系数(Spearman coefficient of rank correlation)是测定两个样本相关强度的重要指标。
其计算公式为)1(6122--=∑n n D R i (0.6)斯皮尔曼相关系数也写为s r ，在有下标注以s 是为表明这个相关系数r 不是积矩相关的简单相关系数，而是等级相关的Spearman 相关系数。
注：①由于（5.6）式与（5.5）式不同，所以，R 的取值从一1到十1，1=R 表明X 、Y 完全相关，R ＝十l 为完全正相关，R ＝一1为完全负相关。
R 越接近于l ，表明相关程度越高，反之，R 越接近于零，表明相关程度越低，R ＝0为完全不相关。
R ＞0为正相关，R ＜0为负相关。
通常认为8.0>R 为相关程度较高。
②Spearman 秩相关系数检验临界值查表可得，P198。
③存在打结时，Spearman 统计量要作相应修正。
④在大样本时，可用正态近似作检验。
)1,0(1N n n r Z s ∞→-=2．应用【例5-1】经济发展水平和卫生水平之间的相关分析对某地区12个街道进行调查，并对经济发展水平和卫生水平按规定的标准打分，评定结果如表5—4。
街道号 经济水平卫生水平 街道号 经济水平 卫生水平1 82 86 7 84 80 2 87 78 8 78 773 60 65 9 80 754 98 88 10 94 965 75 64 11 85 85 68990126870序尺度测量的样本进行相关分析，可以采用等级相关系数测定。
必要的计算过程如表5—5所列。
根据（5—6）式可得8881.01119.01)112(123261)1(61222=-=-⨯-=--=∑n n D R i由于R ＝0．888l ＞0．8，所以该地区的经济发展水平和卫生水平存在着正相关关系，相关程度较高，为88．81％。
街道号 经济水平（U ） 卫生水平（V ）1 6 9 -3 92 9 63 9 3 1 2 -1 14 12 10 2 45 3 1 2 46 10 11 -1 17 7 7 0 08 4 5 -1 19 5 4 1 1 10 11 12 -1 1 11 8 8 0 0 12 2 3 -1 1 合 计323当观察值是评的分数时，可能在同一个样本中出现相同的评分，如成绩都是80等等。
同分的秩仍旧是等于几个同分值应有秩的平均值。
如果同分的比例不大，它们对秩相关系数及的影响可以忽略。
但若同分的比例较大，则计算只时应加入一个校正因子。
对于X 的同分校正因子为12)(3∑∑-='i i u u u ，Y 的同分校正因子为12)(3∑∑-='i i v v v 。
于是斯皮尔曼秩相关系数的计算公式为：v n n u n n v u D n n R i '--'--'+'---=∑12)1(12)1()(66)1(2222 (0.7)式中，u 是X 中同分的观察值数目，v 是Y 中同分的观察值数目。
【例5-2】经济发展水平和卫生水平之间的相关分析某地区对24个区县进行调查，并对经济发展水平和卫生水平按规定标准评分，结果如表5—6。
分析：将表5—6的评分转换为秩次，从高往低排序，同分的秩取平均值，结果见表5—7。
根据公式5.6计算8491.01509.01)124(2434761)1(61222=-=-⨯⨯-=--=∑n n D R i由于经济水平和卫生水平的评分中均有同分，应采用校正因子修正。
利用5.7式计算修正的R 为8490.012)575(2416)575(24)1216(2/1)347(6)575(2412)1(12)1()(66)1(2222=-⨯-⨯+⨯-⨯-⨯='--'--'+'---=∑v n n u n n v u D n n R i对比两个R 值可知，由于同分的观察值数目占观察值总数目的比例不是很大，因而校正后的R 与校正前的R 变化不大。
但是，校正前的只略大于校正后的R ，这说明同分对只的影响虽然很小，但同分的影响是夸大R 值。
因此。
在X 、Y 中至少有一个存在大量同分时，应进行校正。
区县编号 X 的秩次（U ） Y 的秩次（V ）D=U-V D21 1 14 -13 1692 2.5 3.5 -1 13 2.5 2 0.5 0.254 4 1 3 95 5 5 0 06 6 6 0 07 7 11 -4 168 8 3.5 4.5 20.259 9.5 9 0.5 0.25 10 9.5 10 -0.5 0.25 11 11 16.5 -5.5 30.25 12 12.5 8 4.5 20.25 13 12.5 15 -2.5 6.25 1414774915 15 12 3 916 16 13 3 917 17 18 -1 118 18 16.5 1.5 2.2519 19 20 -1 120 20 19 1 121 21 21 0 022 22 22 0 023 23 24 -1 124 24 23 1 1合计347.004．R的显著性检验利用相关系数及其修正的公式计算的R值，是抽自两个总体的样本数据计算的结果，从这一相关系数的大小，可猜测总体的秩相关系数是否与零有显著差异，但是否为真，应进行假设检验。
对R的显著性检验正是为了回答这一问题。
检验可以仅研究两个总体是否存在相关，也可以分别研究相关的方向，即是正相关，还是负相关。
针对研究问题的不同，可以建立不同的假设组。
双侧检验H0：不相关H1：存在相关单侧检验H0：不相关H0：不相关H+：正相关H－：负相关为对假设作出判定，所需数据至少是定序尺度测量的。