配对卡方检验及Kappa检验一致性检验
一致性检验kappa

有序分类资料一致性分析
R×C表可以分为双向无序、单向有序、双向 有序属性相同和双向有序属性不同4类。
双向无序R×C表 R×C表中两个分类变量皆 为无序分类变量,对于该类资料:①若研究 目的为多个样本率(或构成比)的比较,可 用行×列表资料的2检验;②若研究目的为 分析两个分类变量之间有无关联性以及关系 的密切程度时,可以用行×列表资料的2检 验以及Pearson列联系数进行分析。
KAPPA值的计算及检验
对两法测定结果一致部分进行检验,看一致部分是 否是由偶然因素影响的结果,它叫做“一致性检 验”,也称Kappa检验。说明两种方法测定结果的实 际一致率与随机一致率之间的差别是否具有显著性 意义。需要计算反映两法一致性程度高低的系数, 叫做Kappa统计量。具体公式如下:
另一种是评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性两个医务工作者对同一组病人的诊断结论的一致性同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性等
第22章 一致性检验kappa
学习目标
熟悉Kappa值的判断标准; 掌握Kappa值的计算以及检验方法; 掌握二分类资料和有序分类资料的一致性分
Kappa检验
对于用Kappa值判断一致性的建议参考标准为: Kappa =+1,说明两次判断的结果完全一致; Kappa =-1,说明两次判断的结果完全不一致; Kappa =0,说明两次判断的结果是机遇造成; Kappa<0,说明一致程度比机遇造成的还差,两次检查结果
很不一致,但在实际应用中无意义; Kappa>0,此时说明有意义,Kappa愈大,说明一致性愈好; Kappa≥0.75,说明已经取得相当满意的一致程度; Kappa<0.4,说明一致程度不够理想;
一致性检验kappa

有序分类资料一致性分析
单向有序R×C表
有两种形式。一种是R×C 表中的分组变量是有序的,而指标变量是无 序的。此种单向有序R×C表资料可用行×列 表资料的2检验进行分析。另一种情况是 R×C表中的分组变量是无序的,而指标变量 是有序的,此种单向有序R×C表资料宜用秩 和检验进行分析。
有序分类资料一致性分析
在诊断试验的研究中,数据资料多为双向有
序的列联表资料,即两个变量都是有序变量, 而且属性相同。属性相同分为三种情况,一 种情况是属性、分级水平数和分级水平都完 全相同。如甲医生和乙医生都把病人的检查 结果分为1、2、3、4四个等级。此时可直接 作Kappa检验。当这两个变量都只有2个水平 时,就成为配对设计的四格表资料,可使用 配对χ2检验,即McNemar检验。
本章小节
ቤተ መጻሕፍቲ ባይዱ
1960年Cohen等提出用Kappa值作为评价判断的一 致性程度的指标。实践证明,它是一个描述诊断的 一致性较为理想的指标,因此在临床试验中得到广 泛的应用。Kappa是评价一致性的测量值。检验是 否沿对角线格子中的计数(接收比率一样的零件) 与那些仅是偶然的期望不同。设Po =对角线单元中 观测值的总和,Pe=对角线单元中期望值的总和。 则Kappa =(Po - Pe)/(1 - Pe)。Kappa是测量 而不是检验。其大小用一个渐进和标准误差构成的t 统计量决定。一个通用的经验法则是Kappa大于 0.75表示好的一致性(Kappa最大为1);小于0.4 表示一致性差。
KAPPA值的计算及检验
第二种是属性相同的分级水平数相同,但分级水平不全相同。 如甲医生和乙医生都把病人的检查结果分为四个等级,但甲 医生的分级为1、2、3、4,而乙医生的分级为2、3、4、5。 在这种情况下,由于列联表的行数和列数仍然是一致的,即 列联表仍为方表,所以也可计算出相应的Kappa统计量。第 三种是属性相同,但分级水平数和分级水平不全相同。这种 情况就是我们所说的列联表的行列数不一致。由于收集上来 的数据不能轻易删除掉,所以我们考虑添加行或列使联表成 为方表。如行数为n,例数为n-1,则我们只需要添加第n列, 在第n行第n列的格点中添加权值0001,而第n行的其它格点 均设为0,就可以命名其成为方表,并计算Kappa统计量了。 由于权值系数很小,所以不会影响Kappa值的计算结果。
一致性检验KAPPA检验详细解读

一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥0.75两者一致性较好;0.75>Kappa≥0.4两者一致性一般;Kappa<0.4两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
究竟是否是因果联系,须根据一些标准再加以衡量判断。
所谓联系(associatiom)是指两个或更多个变量间的一种依赖关系,可以是因果关系,也可以不是。
例如,对一组肺癌病人(病例组)和一组未患肺癌但有可比性的人(对照组)调查他们的吸烟(暴露)历史(可包括现在吸烟否,过去吸过烟否,开始吸烟年龄,吸烟年数,最近每天吸烟支数;如已戒烟则为戒烟前每日吸烟支数,已戒烟年数,等等)。
【Kappa一致性检验】远没那么简单

【Kappa一致性检验】远没那么简单在诊断试验中,研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。
如:评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性。
此时,Kappa值可以作为评价判断的一致性程度的指标。
实践证明,它是一个描述一致性较为理想的指标。
因此在医学、社会学等领域中得到广泛的应用。
Kappa 系数的计算方法有两种:1、简单Kappa系数(Simple Kappa Coefficient),这是我们经常运用的方法,两种诊断结果的分级数目相同时使用;2、加权Kappa系数(Weighted Kappa Coefficient),这种方法在两种诊断结果的分级数目不一样时使用。
评价A、B两种检测方法对同一批样品的检验结果(轻度、中度、重度)的一致性,模拟以下两种情况的数据。
情况1:结果的分级数相同的情况分析:该种情况就是A法和B法的检验结果的分级相同,都是3个类别。
这是我们常见的情况。
该方法的SPSS操作大家非常熟悉,在此不在赘述。
主要看下面这种情况。
情况2:结果的分级数不同的情况分析:该种情况就是A法和B法的检验结果的分级不相同。
A法有三种检测结果,而B法只有轻度和中度的两种结果,因为重度的频数为0。
此种情况,要计算至此大家估计还不明白为什么以上两种情况要采用不同的Kappa 检验方法。
大家经常使用SPSS交叉表里的Kappa分析就能计算Kappa值。
但是,你知道它的运算结果到底是简单Kappa值还是加权Kappa值吗?下面用事实说话:(情况2的数据在SPSS交叉表操作里也能算出Kappa值,但是不是正确的!下面将用SAS运行的)SPSS操作如下:SPSS运行结果如下:下面运用SAS计算其加权Kappa系数:程序如下:data kappa;input A B freq;datalines;1 1 61 2 81 3 02 1 52 2 22 3 03 1 83 2 43 3 0;run;proc freq data= kappa; tables A*B;test kappa;weight freq / zeros; run;运行结果如下:由SAS结果可以看出加权Kappa系数的值与简单Kappa系数的值还是有差别的。
一致性检验kappa

Kappa
Po Pe 1 Pe
, Po
a
n
d
,
Pe
(a
b)(a
c) (c n2
d
)(b
d
)
P0为实际一致率,Pe为理论一致率。
KAPPA值的计算及检验
Kappa是一个统计量,也有抽样误差,其渐进 标准误(ASE)。由于u=Kappa/ASE近似服从 标准正态分布,故可借助正态分布理论。H0: Kappa=0,H1:Kappa≠0。如果拒绝H0认为 两种方法具有较高的一致性。
KAPPA值的计算及检验
另一方面,如果两个变量中有一个变量是金标准, 那么我们不但能分析出检验结果的一致性,还可以 计算出敏感度、特异度、误诊率和漏诊率等指标。 如果有不同的诊断分界点,还可以绘制出ROC曲线。
诊断试验的评价在医学研究中具有十分重要的意义, 目前大多数文献都使用Kappa统计量来检验结果的一 致性。所以本研究主要是对Kappa系数作一个探讨和 分析。诊断试验评价的统计学方法还会随着更多问 题的提出和解决而不断得到发展、修正和扩展。
KAPPA值的计算及检验
第二种是属性相同的分级水平数相同,但分级水平不全相同。 如甲医生和乙医生都把病人的检查结果分为四个等级,但甲 医生的分级为1、2、3、4,而乙医生的分级为2、3、4、5。 在这种情况下,由于列联表的行数和列数仍然是一致的,即 列联表仍为方表,所以也可计算出相应的Kappa统计量。第 三种是属性相同,但分级水平数和分级水平不全相同。这种 情况就是我们所说的列联表的行列数不一致。由于收集上来 的数据不能轻易删除掉,所以我们考虑添加行或列使联表成 为方表。如行数为n,例数为n-1,则我们只需要添加第n列, 在第n行第n列的格点中添加权值0001,而第n行的其它格点 均设为0,就可以命名其成为方表,并计算Kappa统计量了。 由于权值系数很小,所以不会影响Kappa值的计算结果。
一致性检验kappa

KAPPA值的计算及检验
另一方面,如果两个变量中有一个变量是金标准, 那么我们不但能分析出检验结果的一致性,还可以 计算出敏感度、特异度、误诊率和漏诊率等指标。 如果有不同的诊断分界点,还可以绘制出ROC曲线。 诊断试验的评价在医学研究中具有十分重要的意义, 目前大多数文献都使用Kappa统计量来检验结果的 一致性。所以本研究主要是对Kappa系数作一个探 讨和分析。诊断试验评价的统计学方法还会随着更 多问题的提出和解决而不断得到发展、修正和扩展。
KAPPA值的计算及检验
对两法测定结果一致部分进行检验,看一致部分是 否是由偶然因素影响的结果,它叫做“一致性检 验”,也称Kappa检验。说明两种方法测定结果的 实际一致率与随机一致率之间的差别是否具有显著 性意义。需要计算反映两法一致性程度高低的系数, 叫做Kappa统计量。具体公式如下: Po Pe ad (a b)(a c) (c d )(b d ) Kappa , Po , Pe 1 Pe n n2
双向有序属性不同的R×C表 R×C表中的两分类变 量皆为有序且属性不相同。对于该类资料,需要分 析两有序分类变量间是否存在线性变化趋势,宜用 有序分组资料的线性趋势检验。 双向有序属性相同的R×C表中的两分类变量皆为有 序且属性相同。实际上是2×2配对设计的扩展,此 时宜用一致性检验(或称Kappa检验)。 所以,对于双向有序且属性相同的数据,我们可以 采用Kappa检验判断其一致性。
Kappa检验
Kappa是评价一致性的测量值。检验是否沿对角线 格子中的计数(接收比率一样的零件)与那些仅是 偶然的期望不同。设Po =对角线单元中观测值的总 和,Pe=对角线单元中期望值的总和。则Kappa = (Po - Pe)/(1 - Pe)。Kappa是测量而不是检验。 其大小用一个渐进和标准误差构成的t统计量决定。 一个通用的经验法则是Kappa大于0.75表示好的一 致性(Kappa最大为1);小于0.4表示一致性差。 Kappa不考虑评价人间的意见不一致性的程度,只 考虑他们一致与否。
一致性检验kappa

KAPPA值的计算及检验
在诊断试验的研究中,数据资料多为双向有 序的列联表资料,即两个变量都是有序变量, 而且属性相同。属性相同分为三种情况,一 种情况是属性、分级水平数和分级水平都完 全相同。如甲医生和乙医生都把病人的检查 结果分为1、2、3、4四个等级。此时可直接 作Kappa检验。当这两个变量都只有2个水平 时,就成为配对设计的四格表资料,可使用 配对χ2检验,即McNemar检验。
Kappa检验
对于用Kappa值判断一致性的建议参考标准为: Kappa =+1,说明两次判断的结果完全一致; Kappa =-1,说明两次判断的结果完全不一致; Kappa =0,说明两次判断的结果是机遇造成; Kappa<0,说明一致程度比机遇造成的还差,两次检查结果
很不一致,但在实际应用中无意义; Kappa>0,此时说明有意义,Kappa愈大,说明一致性愈好; Kappa≥0.75,说明已经取得相当满意的一致程度; Kappa<0.4,说明一致程度不够理想;
本章小节
对两法测定结果一致部分进行检验,看一致 部分是否是由偶然因素影响的结果,它叫做 “一致性检验”,也称Kappa检验。说明两种 方法测定结果的实际一致率与随机一致率之 间的差别是否具有显著性意义。
本章小节
SAS过程中也是用FREQ过程进行一致性检验, 只需要在TABLES语句中添加agree选项即可输 出Kappa值,但是要进行一致性检验,需要编 写其它程序语句。双向有序属性相同的R×C 表中的两分类变量皆为有序且属性相同。实 际上是2×2配对设计的扩展,此时宜用一致 性检验(或称Kappa检验)。
双向有序属性不同的R×C表 R×C表中的两分类变 量皆为有序且属性不相同。对于该类资料,需要分 析两有序分类变量间是否存在线性变化趋势,宜用 有序分组资料的线性趋势检验。
配对卡方检验及Kappa检验(一致性检验)

一、配对卡方检验把每一份样本平均分成两份,分别用两种方法进行化验,比较此两种化验方法的结果(两类计数资料)是否有本质的不同;或者分别采用甲、乙两种方法对同一批病人进行检查,比较此两种检查方法的结果(两类计数资料)是否有本质的不同,此时要用配对卡方检验。
操作方法:单击【Statistics 钮】,在弹出的Statistics 对话框中选择McNeman 复选框,进行McNeman检验。
即配对卡方检验,只能针对方形表格进行。
不能给出卡方值,只能给出P值。
二、一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internalcon siste ncy),是作为评价判断的一致性程度的重要指标。
取值在0〜1之间。
Kappa》0.75 两者一致性较好;0.75>Kappa>0.4 两者一致性一般;Kappa<0.4 两者一致性较差。
操作方法:单击【Statistics 钮】,在弹出的Statistics 对话框中选择Kappa复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study )是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一、配对卡方检验
把每一份样本平均分成两份,分别用两种方法进行化验,比较此两种化验方法的结果(两类计数资料)是否有本质的不同;或者分别采用甲、乙两种方法对同一批病人进行检查,比较此两种检查方法的结果(两类计数资料)是否有本质的不同,此时要用配对卡方检验。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择McNemanr 复选框,进行McNemanr检验。
即配对卡方检验,只能针对方形表格进行。
不能给出卡方值,只能给出P值。
二、一致性检验(Kappa检验)
诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对
同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥两者一致性较好;>Kappa≥两者一致性一般;Kappa<两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显着高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
究竟是否是因果联系,须根据一些标准再加以衡量判断。
所谓联系(associatiom)是指两个或更多个变量间的一种依赖关系,可以是因果关系,也可以不是。
例如,对一组肺癌病人(病例组)和一组未患肺癌但有可比性的人(对照组)调查他们的吸烟(暴露)历史(可包括现在吸烟否,过去吸过烟否,开始吸烟年龄,吸烟年数,最近每天吸烟支数;如已戒烟则为戒烟前每日吸烟支数,已戒烟年数,等等)。
其
目的为通过比较两组吸烟史的差别,检验吸烟(可疑病因)与疾病(肺癌)有因果联系的假设。
这就是病例对照研究。
如果选择Cochran's and Mantel-Haenszel statistics复选框,则可以为两个二分类变量进行独立性检验和同质性(齐性)检验,同时可进行分层因素的调整。
包括:χ2MH统计量(分层卡方检验)、χ2CMH统计量、同质性检验(用于检验各层的风险情况是否一致)。
可在下方设定相应H0假设的OR值,默认为1。
三、实例分析
表 Symmetric Measures 为Kappa的检验结果。
其中Value为计算出的Kappa值,Approx. Sig.为对应的P值。
Value的值越大,表明两者的一致性就越好,对应的P值就越小。
例有26份咽喉涂抹标本,每份标本分成两份,分别接种在A和B两种白喉杆菌培养基上,观察其生长情况。
问两种培养基对其生长有无显着性差异?(配对卡方检验)例例评价某种生化酶诊断前列腺癌与病理诊断的一致性。
(对新诊断手段、方法进行检验)
例用尿分析仪UA-12和RL-9对400份尿样的尿蛋白进行测定,试评价两种尿分析仪对尿蛋白测定的一致性。
(评价两种化验方法对同一样本的一致性)
四、配对卡方与Kappa检验的关系
Kappa检验重在检验两者的一致性,配对卡方检验重在检验两者间的差异。
对同一样本数据,这两种检验可能给出矛盾的结论。
主要原因是两者对所提供的有统计学意义的结论要求非常严格所致。
例如:两位放射科医生对一批矽肺胸片独自做出了矽肺分级诊断,见下表。
结Ⅱ级 1 54 12
果Ⅲ级0 7 45
分别做Kappa检验和配对卡方检验。
结论:两位医生的诊断结果基本一致(Kappa检验),诊断水平有差异(配对卡方检验),乙医生较甲医生容易将矽肺期次判断的偏高。