SAS讲义_第二十七课符号检验和Wilcoxon符号秩检验

第二十七课 符号检验和Wilcoxon 符号秩

检验

在统计推断和假设检验中，传统的检验统计量都叫做参数检验，因为它们都依赖于确定的概率分布，这个分布带有一组自由的参数。参数检验被认为是依赖于分布假定的。通常情况下，我们对数据进行分析时，总是假定误差项服从正态分布，这是人们易于接受的事实，因为正态分布的原始出发点就是来自于误差分布，至于当样本相当大时，数据的正态近似，这是由于大样本理论所保证的。但有些资料不一定满足上述要求，或不能测量具体数值，其观察结果往往只有程度上的区别，如颜色的深浅、反应的强弱等，此时就不适用参数检验的方法，而只能用非参数统计方法（non-parametric statistical analysis ）来处理。这种方法对数据来自的总体不作任何假设或仅作极少的假设，因此在实用中颇有价值，适用面很广。

一、 单样本的符号检验

符号检验（sign test ）是一种最简单的非参数检验方法。它是根据正、负号的个数来假设检验。首先需要将原始观察值按设定的规则，转换成正、负号，然后计数正、负号的个数作出检验。该检验可用于样本中位数和总体中位数的比较，数据的升降趋势的检验，特别适用于总体分布不服从正态分布或分布不明的配对资料，有时当配对比较的结果只能定性的表示，如试验前后比较结果为颜色从深变浅、程度从强变弱，成绩从一般变优秀，即不能获得具体数字，也可用符号检验，例如用正号表示颜色从深变浅，用负号表示颜色从浅变深。

用于配对资料时，符号检验的计算步骤为：首先定义成对数据指定正号或负号的规则，然后计数正号的个数+

S 及负号的个数-

S ，由于在具体比较配对资料时，可能存在配对资料的前后没有变化，或等于假设中的中位数，此时仅需要将这些观察值从资料中剔除，当然样本大小n 也随之减少，故修正样本大小-

+

+=S S n 。当样本n 较小时，应使用二项分布确切概率计算法，当样本n 较大时，常利用二项分布的正态近似。 1. 小样本时的二项分布概率计算

当20≤n 时，+S 或-

S 的检验p 值由精确计算尺度二项分布的卷积获得。在比较配对资

料试验前后有否变化，或增加或减小的假设检验时，如果我们定义试验后比试验前增加为正号，反之为负号，那么对于原假设：试验前后无变化来说，正号的个数+

S 和负号的个数-

S 可

能性应当相等，即正号出现的概率p =0.5，于是+S 与-

S 均服从二项分布)5.0,(n B ，对于太

大的+S 相应太小的-S ，或者太大的-S 相应太小的+

S ，都将拒绝接受原假设；对于原假设：试验后比试验前有增加来说，正号的个数+

S 大于负号的个数-

S 的可能性应该大，即正号出现的概率5.0>p ，对于太小的+

S 相应太大的-

S ，将拒绝接受原假设；对于原假设：试验后比试验前减小来说，正号的个数+

S 小于等于负号的个数-

S 的可能性应该大，即正号出现

的概率5.0≤p ，对于太大的+S 相应太小的-

S ，将拒绝接受原假设。

例27.1有一种提高学生某种素质的训练，有人说它是无效的，有人说它是有效的，那么真实情况究竟应该是怎样的呢？随机地选取15名学生作为试验样本，在训练开始前做了一次测验，每个学生的素质按优、良、中、及、差打分，经过三个月训练后，再做一次测试对每个学生打分。数据见表27.1所示。我们将素质提高用正号表示，反之用负号表示，没有变化用0表示。显著性水平取0.1。

表27.1 训练前后的素质比较

学生编号

训练之前 训练之后 差异符号 1 中 优 ＋ 2 及 良 ＋ 3 良 中 － 4 差 中 ＋ 5 良 良 0 6 中 优 ＋ 7 差 及 ＋ 8 良 优 ＋ 9 中 差 － 10 差 中 ＋ 11 中 优 ＋ 12 及 良 ＋ 13 中 及 － 14 中 优 ＋ 15

差

中

＋

从表27.1中15名学生训练前后的差异分析可得出：有14名学生有差异，其中+

S =11，

-S =3。1名学生无差异（学生编号为5），应该从分析中去掉，所以n =15－1=14。假设检验

为：

5.0:0≤p H 即训练之后学生素质没有提高。 5.0:1>p H 即训练之后学生素质有提高。

由于试验的结果只有两种可能，正号或负号，对每一个学生试验出现正号的假定概率为p =0.5，负号为1—p =0.5，这样整个试验的概率是相同的，并且每一个试验是相互独立的。因此在n =14次独立的试验中，正号出现的次数服从二项分布)5.0,14(B ，见表27.2所示。

表27.2 二项分布的概率和累计概率n =14,p =0.5

正号出现的次数

正号出现的概率

累计概率 0 0.0001 0.0001 1 0.0009 0.0009 2 0.0056 0.0065 3

0.0222

0.0287

4 0.0611 0.0898

5 0.1222 0.2120

6 0.1833 0.3953

7 0.2095 0.6047

8 0.1833 0.7880

9 0.1222 0.9102 10 0.0611 0.9713 11 0.0222 0.9935 12 0.0056 0.9991 13 0.0009 0.9999 14

0.0001

1.0000

从表27.2的累计概率列中我们看到，正号出现的次数大于10的概率为1－0.9713=0.0287，或者换一种方法计算为=0.0001+0.0009+0.0056+0.0222=0.0287，二者的微小差异是因为小数点后舍入问题造成的。而试验的结果：正号出现的次数为11，大于10，出现的概率不会超过0.0287，我们开始设定的显著性水平为0.1，由于0.0287<0.1，所以我们拒绝原假设，接受备选假设。如果我们的原假设为p =0.5，既训练前后学生素质相等，那么就是双侧检验，应该加上正号出现的次数小于4的概率0.0287，即2×0.0287=0.0574<0.1，同样是拒绝原假设，接受区间为4次到10次，而拒绝区间为小于等于3次（小于4次）或大于等于11次（大于10 次）。 2. 大样本时的正态近似概率计算

当20>n 时，样本可以认为是大样本。我们可以利用二项分布的正态近似，即对于

),(~p n B S ，二项分布的期望均值为np ，方差为)1(p np -，当n 比较大时，且np 和)

1(p n -大于5，可以近似地认为

)1,0(~)

1(N p np np S z --=

(27.1)

公式中的S 表示正号或者负号的个数，符号检验时，p =0.5代入（27.1）式中，得到大样本时的正态近似统计量

)1,0(~5.05.0N n

n S z -=

(27.2)

当S >2/n 时，应该修正S 为S －0.5；当S <2/n 时，应该修正S 为S ＋0.5。S 值加或减的0.5是连续性修正因子，目的是为了能将连续分布应用到近似的离散型分布。

二、 配对资料的Wilcoxon 符号秩检验

当两组配对资料近似服从正态分布，它们差值的检验可以使用配对t 检验法。如果配对资料的正态分布的假设不能成立，就可以使用Frank Wilcoxon （1945）符号秩检验，它是一种非参数检验方法，对配对资料的差值采用符号秩方法来检验。它的基本要求是差值数据设置为最小的序列等级和两组配对资料是相关的（配成对）。在两组配对资料的差异有具体数值的情况下，符号检验只利用大于0和小于0的信息，即正号和负号的信息，而对差异大小所

包含的信息却未加利用，但Wilcoxon 符号秩检验方法既考虑了正、负号，又利用了差值大小，故效率较符号检验法高。

例27.2某制造商想要比较两种不同的生产方法所花费的生产时间是否有差异。随机地选取了11个工人，每一个工人都分别使用两种不同的生产方法来完成一项相同的任务，每一个工人开始选用的生产方法是随机的，即可以先使用生产方法1再使用生产方法2，也可以先用生产方法2再使用生产方法1。这样，在样本中的每一个工人都提供了一个配对观察。数据见表27.3所示。任务完成时间的正差值表示生产方法1需要更多的时间，负差值表示生产方法2需要更多的时间。

表27.3 两种不同生产方法完成任务的时间（分钟） 工人编号

n

生产方法M 差值D 绝对差值 秩次 R 符号秩次R M 1 M 2 D =M 1－M 2

|D | － ＋ 1 10.2 9.5 0.7 0.7 8 8 2 9.6 9.8 －0.2 0.2 2 2 3 9.2 8.8 0.4 0.4 3.5 3.5 4 10.6 10.1 0.5 0.5 5.5 5.5 5 9.9 10.3 －0.4 0.4 3.5 3.5 6 10.2 9.3 0.9 0.9 10 10 7 10.6 10.5 0.1 0.1 1 1 8 10.0 10.0 0 0 — — — 9 11.2 10.6 0.6 0.6 7 7 10 10.7 10.2 0.5 0.5 5.5 5.5 11

10.6

9.8

0.8

0.8

9

9 符号秩次总和-T =5.5，+

T =49.5

5.5

49.5

为了比较两种方法的任务完成时间是否有显著差异，假设检验为：

:0H 任务完成时间的两个总体是相同的。 :1H 任务完成时间的两个总体是不相同的。

使用Wilcoxon 符号秩检验方法的主要步骤见表27.3中每列的计算方法和过程，先求出每对数据的差值D ，按差值绝对值|D |由小到大排列并给秩R ，从秩1开始到秩10，注意工人编号为8的配对数据，由于差值为0，在排秩中丢弃，样本数目修正为n =11－1=10。在给秩值时，遇到相等|D |，也称为结值（tied ），使用平均秩，如工人编号3和5具有相同的绝对差值0.4，所以平分秩3和秩4，各为秩3.5。一旦绝对差值的秩值R 给出后，然后将R 分成正和

负差值的两个部分秩值+

R 和-

R ，最后求符号秩和∑+

+

=

R

T ，∑-

-

=

R

T ，如

-T =2+3.5=5.5。

对于样本数目有n 个，+

T 与-

T 的最小可能值为0，而最大可能值为（1+2+…+n ）=n (n +1)/2。显然，应当有+

T +-T = n (n +1)/2，如本例5.5+49.5=55=10(10+1)/2。那么符号秩的平均值为n (n +1)/4。构造Wilcoxon 符号秩统计量为

4

)

1(+-

=+n n T S (27.3)

显然如果原假设为真，+

T 与-

T 应该有相同的值，等于n (n +1)/4，因此太大的S 值或太小的S 值都是我们拒绝的依据。在实际工作中便于计算常取W=min (+

T ，-

T )，W 服从所谓的Wilcoxon 符号秩分布，对于本例n =10，=S 49.5－10(10+1)/4=22,W = min (49.5，5.5)=5.5，查表可得在显著水平=α0.05，n =10的双侧检验的临界值为8，即W 值的拒绝区域为0到8，接受区域为8到27.5。由于5.5<8，我们拒绝原假设。

对于n >20，当原假设为真时，统计量T =+

T －-

T 接近于0，统计量T 的方差为

6

)

12)(1()0(21

2++=

-=∑=n n n R n

i i T

σ

(27.4)

建立检验统计量

)1,0(~6

)

12)(1(0N n n n T z ++-=

(27.5)

近似于标准正态分布。因为+

T +-

T = n (n +1)/2，所以T =+T －-T =2+

T －n (n +1)/2，我们可以将(27.5)式中的T 改写为+

T 的形式

)1,0(~24

)

12)(1(4)1(N n n n n n T z +++-=

+

(27.5)

我们以本例的数据来计算一下，6/211110/)5.55.49(??-=z =2.24，p =2×0.01246=0.0249。标准正态分布使用显著水平=α0.05时，拒绝区域为z <－1.96和z >1.96，因为2.24>1.96，所以拒绝原假设。

三、 实例分析

例27.1的SAS 程序如下：

data study.training ;

input before after; d= after-before; cards;

3 5 2

4 4 3 1 3

4 4

3 5

1 2

4 5

3 1

1 3

3 5

2 4

3 2

3 5

1 3

;

proc univariate data=study.training;

var d;

run;

程序说明：建立输入数据集training，首先要对定性资料进行量化。本例把学生成绩按5分计量，设定优=5分，良=4分，中=3分，及格=2分，差=1分。把提高学生某种素质的训练前成绩和训练后成绩分别存放在变量before和after中，变量d等于配对的训练后成绩减去训练前成绩。注意只能调用univariate过程，而不能调用means过程来进行符号检验。分析变量为单样本数据集training中的d变量。输出的主要结果见表27.4所示。

表27.4 用univariate过程进行符号检验的输出结果

Univariate Procedure

Variable=D

Moments Quantiles(Def=5)

N 15 Sum Wgts 15 100% Max 2 99% 2 Mean 1.066667 Sum 16 75% Q3 2 95% 2 Std Dev 1.387015 Variance 1.92381 50% Med 2 90% 2 Skewness -1.24756 Kurtosis 0.181317 25% Q1 0 10% -1 USS 44 CSS 26.93333 0% Min -2 5% -2 CV 130.0326 Std Mean 0.358126 1% -2 T:Mean=0 2.978471 Pr>|T| 0.0100 Range 4

Num ^= 0 14 Num > 0 11 Q3-Q1 2

M(Sign) 4 Pr>=|M| 0.0574 Mode 2

Sgn Rank 38 Pr>=|S| 0.0154

Extremes

Lowest Obs Highest Obs

-2( 9) 2( 10)

结果说明：符号检验统计量M(Sign)=4，它是取正符号和负符号两者之间的小者作为检验统计量，Pr>=|M|计算的概率是二项分布的两尾概率之和，因此它是双侧检验，检验正符号和负符号是否相同，结果为0.0574。在显著水平设定为0.1时，由于0.0574<0.1，拒绝原假设。符号检验的缺点是丢失了差值d大小的信息，如果设定检验的显著水平为0.05，那么本例检验结果却由于0.0574>0.05，改变为不能拒绝原假设。但是，如果我们用考虑差值d大小的信息的Wilcoxon符号秩检验，即Sgn Rank，由于0.0154<0.05，仍然得到拒绝原假设的检验结果。

Univariate Procedure

Variable=D

Moments Quantiles(Def=5)

N 11 Sum Wgts 11 100% Max 0.9 99% 0.9 Mean 0.354545 Sum 3.9 75% Q3 0.7 95% 0.9 Std Dev 0.422761 Variance 0.178727 50% Med 0.5 90% 0.8 Skewness -0.56332 Kurtosis -0.80699 25% Q1 0 10% -0.2 USS 3.17 CSS 1.787273 0% Min -0.4 5% -0.4 CV 119.2404 Std Mean 0.127467 1% -0.4 T:Mean=0 2.78146 Pr>|T| 0.0194 Range 1.3

Num ^= 0 10 Num > 0 8 Q3-Q1 0.7

M(Sign) 3 Pr>=|M| 0.1094 Mode 0.5

Sgn Rank 22 Pr>=|S| 0.0234

W:Normal 0.942951 Pr

Extremes

Lowest Obs Highest Obs

-0.4( 5) 0.5( 10)

-0.2( 2) 0.6( 9)

0( 8) 0.7( 1)

0.1( 7) 0.8( 11)

0.4( 3) 0.9( 6)

例27.2的SAS程序如下：

data study.time ;

input m1 m2;

d= m1-m2;

cards;

10.2 9.5

9.6 9.8

9.2 8.8

10.6 10.1

9.9 10.3

10.2 9.3

10.6 10.5

10.0 10.0

11.2 10.6

10.7 10.2

10.6 9.8

;

proc univariate data=study.time normal;

var d;

run;

程序说明：建立输入数据集time，数据的输入和配对t检验相同，即数据一对一对的输入，然后求出差值d。过程步也和配对t检验类同，但必须调用univariate过程。本例用了“normal”选项对差值作正态性检验。输出的主要结果见表27.5所示。

表27.5 用univariate过程进行Wilcoxon符号秩检验的输出结果

结果说明：配对资料如果其差值不是具体数字，只能用符号检验。但如果差值有具体数字，而使用符号检验，相当于只利用了它的“+”、“－”，而对数字大小中所包含信息却未

加利用。此时，应该使用配对资料的t检验或配对资料的Wilcoxon符号秩检验。如果我们有理由相信配对资料符合正态分布且正态性检验也不能拒绝差值d具有正态性，那么应该使用t检验，这也是本程序需要“normal”选项大原因。但是，如果我们没有任何理由相信配对资料符合正态分布，即使在正态性检验也不能拒绝差值d具有正态性的情况下，建议还是使用Wilcoxon符号秩检验。差值d的正态性检验的结果为0.5338>0.05，因此不能拒绝差值d具有正态性。因为制造商拒绝相信差值d具有正态性，所以我们采用Wilcoxon符号秩检验。

n20时，Pr>=|S|的概率由S的Wilcoxon符号秩统计量S（Sgn Rank）=22。SAS系统在

精确分布计算，而S的分布是尺度二项分布的卷积，所以精确结果为p=0.0234<0.05，拒绝原假设，即两种不同的生产方法所花费的生产时间是有差异。

当n>20时，将符号秩统计量S标准化成自由度为n－1的t统计量来计算显著水平。注意跟我们上面所介绍的转换成标准正态分布略有不同，原因是当n较大时，t分布渐近标准正态分布。另外，SAS系统在计算秩统计量S的方差时，用结值来修正方差。拒绝原假设，即两种不同的生产方法所花费的生产时间是有差异的