一致性检验KAPPA检验详细解读
检验员检验能力鉴定-Kappa分析
Pg 4
Kappa 例子#1
王鲁检验员的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 5
Kappa 例子#1
应急表
Rater A Second Measure
Good Bad
1 0.79798 0.316228 2.52343 0.0058 张宇 0 0.58333 0.316228 1.84466 0.0325
1 0.58333 0.316228 1.84466 0.0325 罗明英 0 0.73333 0.316228 2.31900 0.0102
1 0.73333 0.316228 2.31900 0.0102 张玄 0 0.60000 0.316228 1.89737 0.0289
向显波 2 33.33 1 25.00 1 10.00
步骤四：分析判读
1、同检查员一致性分析
肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一致性分 析
检验员自身
测试日期
评估一致性
报告者
#检 #相 检验员 验数 符数 百分比 95 % 置信区间 肖宽鸿 10 7 70.00 (34.75, 93.33) 晋健 10 7 70.00 (34.75, 93.33) 王鲁 10 9 90.00 (55.50, 99.75) 梁延 10 8 80.00 (44.39, 97.48) 石兰 10 10 100.00 (74.11, 100.00) 杨松 10 8 80.00 (44.39, 97.48) 向显波 10 9 90.00 (55.50, 99.75) 张宇 10 8 80.00 (44.39, 97.48) 罗明英 10 9 90.00 (55.50, 99.75) 张玄 10 8 80.00 (44.39, 97.48) 罗胜 10 10 100.00 (74.11, 100.00) 王良科 10 8 80.00 (44.39, 97.48) 文远秀 10 7 70.00 (34.75, 93.33)
一致性检验
kappa值的计算及检验
• 对两法测定结果一致部分进行检验，看一致部分是否是由偶然因 素影响的结果，它叫做一致性检 验，也称Kappa检验。说明两种 方法测定结果的实际一致率与随机一致率之间的差别是否具有显 著性意义。需要计算反映两法一致性程度高低的系数， 叫做 Kappa统计量。具体公式如下：
Kappa=(P0-Pe)/(1-Pe) ,P0=(a+d)/n ,Pe=［(a+b)(a+c)+(c+d)(b+d)］/n² • P0为实际一致率，Pe为理论一致率。
kappa值的计算及检验
• Kappa是一个统计量，也有抽样误差，其渐进标准误（ASE）。由 于U=Kappa/ASE近似服从标准正态分布，故可借助正态分布理论。 H0：Kappa=0, H1：Kappa≠0.如果 拒绝HO认为两种方法具有较高 的ppa值判断一致性的建议参考标准为： • Kappa=+1，说明两次判断的结果完全一致； • Kappa=-1，说明两次判断的结果完全不一致； • Kappa=0,说明两次判断的结果是机遇造成； • Kappa<0,说明一致程度比机遇造成的还差，两次检查结果很不一致，但在
实际应用中无意义； • Kappa>0,此时说明有意义，Kappa愈大，说明一致性愈好； • Kappa≧0.75，说明已经取得相当满意的一致程度； • Kappa〈0.4，说明一致程度不够理想；
Kappa检验
Kappa是评价一致性的测量值，检验是否沿对角线格子中的计数 （接收比率一样的零件）与那些仅是偶然的期望不同。设Po=对角 线单元中观测值的总和，Pe=对角线单元中期望值的总和。则 Kappa= （Po-Pe）/（1=Pe）。Kappa是测量而不是检验其大小用一 个渐进和标准误差构成的t统计量决定。 一个通用的经验法则是 Kappa大于0.75表示好的一 致性（Kappa最大为1）；小于0.4表示一 致性差、 Kappa不考虑评价人间的意见不一致性的程度，只考虑他 们一致与否。
KAPPA分析说明
KAPPA分析说明Kappa 评估说明：⽬的：评价【⽬视测量系统】的检出能⼒对象：从事产品外观检查的岗位⼈员，包括：品管QC、外观全检⼈员周期：新⼊或转岗⼈员培训合格后，在岗⼈员每季度⼀次；标准：《测量系统分析程序》（C0801-S10）《风险分析法（Kappa）分析报告》（FM-C0801-S10-03）制作评估样品（50pcs）：1.1 从量产中收集50个产品，不限产品型号，但须为相同⽣产⼯艺；其中有35个为不良品，不良类型需基本覆盖所有常发外观缺陷，缺陷程度不能太明显；1.2 将收集的样品交由品管⼯程师评判，将评判结果和缺陷内容按样品顺序进⾏记录，并对样品做好较隐秘的序号标记（1~50），必要时可使⽤特殊符号；样品序号状态参考值缺陷内容特殊符号1不合格0脏污⽩，⿇点XX… ………50合格1⽆2、评估准备：2.1 评估前，样品收集⼈对被评价⼈进⾏培训，明确产品外观缺陷的评判标准和接收准则；2.2 评估按检验⼯位开展，每次评价3位员⼯，被评价⼈已独⽴上岗并培训合格；不⾜3⼈时也可单独评价；2.3 三位被评价⼈依次完成50个样品的3次检查，累计产⽣150个检查结果，三次检查需交替或间隔⼀定时间后进⾏，确保“盲测”；2.4 需要⼀位数据记录员和⼀位标准判定⼈协助完成评估3、评估步骤：3.1 记录员在评估表上记录被评价⼈的基本信息，确认3位评估⼈的检查顺序（按⼈次交替进⾏）后，开始评估；3.2 记录员调整样品顺序，交由第⼀位被评价⼈检查，记录检查结果，判定正确记【√】，错误记【×】；当检查结果为不合格时，评价⼈告知缺陷内容和位置（若样品有多个缺陷，只要有⼀个缺陷描述正确，即判为正确）；3.3 重复步骤1.2，完成余下的8轮样品检查，记录检查结果；再将⼿⼯数据录⼊【kappa分析报告】，形成评估结果报告（合格由1表⽰，不合格由0表⽰）。
3.4 检查中如对样品缺陷有异议，由标准判定⼈评判4、评估结果（判定准则）：条件⼀：⼀致性（Kappa值）0.75＜Kappa≤1表⽰有很好的⼀致可接受0.4＜Kappa≤0.75表⽰⼀致性⼀般条件接受0＜Kappa≤0.4表⽰⼀致性不好不可接受条件⼆：有效性&漏判率&误判率结果有效性漏判率误判率备注可接受≥90%≤2%≤5%同时满⾜条件接受≥80%≤5%≤10%同时满⾜不可接受＜80%＞5%＞10%满⾜⼀个测量系统判定条件⼀和条件⼆同时为【可接受】，测量系统判为【可接受】条件⼀和条件⼆同时为【不可接受】，测量系统判为【不可接受】其他情形，测量系统判为【条件接受】，需明确限定条件5、结果应⽤：5.1 部门主管基于测量系统评估结果，更新员⼯的技能等级⽬视表；每季度定期评估后，再次更新技能等级⽬视表；5.2 评价结果为【不可接受】时，关联部门应暂停该测量系统的使⽤，并对已检测的产品进⾏追溯处理；并基于分析报告改进测量系统，如⼈员培训、检查⽅法调整、检查环境改善，必要时考虑调整被测⼈员的岗位安排；5.3评价结果为【条件接受】时，关联部门需采取措施持续改进。
检验员检验能力分析KAPPA技术
Attribute Agreement Analysis
检查员判 定结果 共13个 检查员 每人测2次
样本标准
Pg 17
Attribute Agreement Analysis
步骤四：分析判读
检验员自身 评估一致性 #检 #相 验数 符数 百分比 95 % 置信区间 10 7 70.00 (34.75, 93.33) 10 7 70.00 (34.75, 93.33) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 7 70.00 (34.75, 93.33) 肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一 致性分析
=（判定员第一次判定为优良的比率*判定员第二次判定为优良的比率）+（判定员第 一次判定为次劣的比率*判定员第二次判定为次劣的比率）
要达成完全一致， P observed = 1 且 K=1 一般说来，如果Kappa值低于0.7，那么测量系统是不 适当的 如果Kappa值为0.9或更高，那么测量系统是优秀的
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
fleiss κ检验的解释
fleiss κ检验的解释
Fleiss Kappa是一种用于判断多列离散无序数据之间一致性的方法。
它通常用于多位评委对运动员打分结果的一致性检验，或者多位专家对某个疾病诊断结果的一致性评估等场景。
Fleiss Kappa的计算公式为：
κ=pab−pacb+cwpab−pacb+cwpab−pacb+c
其中，pab表示a和b两位评委给运动员打分的实际一致的次数，pac 表示a评委给运动员打分的实际一致的次数，b和c是除了a外的另外两个评委。
Fleiss Kappa的值介于-1到1之间，其中1表示完全一致，0表示随机一致，负数表示不一致。
在实践中，通常认为Fleiss Kappa大于0.75表示一致性较好，大于0.40表示有一定的可接受一致性。
需要注意的是，Fleiss Kappa是一种相对较新的方法，其应用和解释可能因领域和具体问题而有所不同。
在使用时，应根据具体的情况和需求选择合适的方法。
SAS软件应用之一致性检验kappa
有序分类资料一致性分析
❖ R×C表可以分为双向无序、单向有序、双向 有序属性相同和双向有序属性不同4类。
❖ 双向无序R×C表 R×C表中两个分类变量皆 为无序分类变量，对于该类资料：①若研究 目的为多个样本率（或构成比）的比较，可 用行×列表资料的2检验；②若研究目的为 分析两个分类变量之间有无关联性以及关系 的密切程度时，可以用行×列表资料的2检 验以及Pearson列联系数进行分析。
KAPPA值的计算及检验
❖ 对两法测定结果一致部分进行检验，看一致部分是 否是由偶然因素影响的结果，它叫做“一致性检 验”，也称Kappa检验。说明两种方法测定结果的 实际一致率与随机一致率之间的差别是否具有显著 性意义。需要计算反映两法一致性程度高低的系数， 叫做Kappa统计量。具体公式如下： K a P 1 o P p P e e,P o p a n a d ,P e ( a b )a (c ) n 2 ( c d )b (d )
二分类资料一致性分析
❖ 前面我们已经介绍四格表资料的2检验，本 节需要介绍的是Kappa检验。那么Kappa检 验与配对2检验有什么区别呢？Kappa检验 重在检验两者的一致性，配对2检验重在检 验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者 对所提供的有统计学意义的结论要求非常严 格所致。
KAPPA值的计算及检验
❖ 另一方面，如果两个变量中有一个变量是金标准， 那么我们不但能分析出检验结果的一致性，还可以 计算出敏感度、特异度、误诊率和漏诊率等指标。 如果有不同的诊断分界点，还可以绘制出ROC曲线。
❖ 诊断试验的评价在医学研究中具有十分重要的意义， 目前大多数文献都使用Kappa统计量来检验结果的 一致性。所以本研究主要是对Kappa系数作一个探 讨和分析。诊断试验评价的统计学方法还会随着更 多问题的提出和解决而不断得到发展、修正和扩展。
配对卡方检验及Kappa检验一致性检验
一、配对卡方检验把每一份样本平均分成两份，分别用两种方法进行化验，比较此两种化验方法的结果（两类计数资料）是否有本质的不同；或者分别采用甲、乙两种方法对同一批病人进行检查，比较此两种检查方法的结果（两类计数资料）是否有本质的不同，此时要用配对卡方检验。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择McNemanr复选框，进行McNemanr检验。
即配对卡方检验，只能针对方形表格进行。
不能给出卡方值，只能给出P值。
二、一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥两者一致性较好；>Kappa≥两者一致性一般；Kappa<两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显着高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
一致性检验kappa科恩
二分类资料一致性分析
前面我们已经介绍四格表资料的2检验，本节需要介绍 的是Kappa检验。那么Kappa检验与配对2检验有什 么区别呢？Kappa检验重在检验两者的一致性，配对2 检验重在检验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者对所提供的 有统计学意义的结论要求非常严格所致。
KAPPA值的计算及检验
对两法测定结果一致部分进行检验，看一致部分是否是 由偶然因素影响的结果，它叫做“一致性检验”，也称
Kappa检验。说明两种方法测定结果的实际一致率与随 机一致率之间的差别是否具有显著性意义。需要计算反
映两法一致性程度高低的系数，叫做Kappa统计量。具 体公式如下：
Kappa
Kappa检验
Kappa是评价一致性的测量值。检验是否沿对角线格子 中的计数（接收比率一样的零件）与那些仅是偶然的期 望不同。设Po =对角线单元中观测值的总和，Pe=对角 线单元中期望值的总和。则Kappa =（Po - Pe）/（1 Pe）。Kappa是测量而不是检验。其大小用一个渐进和 标准误差构成的t统计量决定。一个通用的经验法则是 Kappa大于0.75表示好的一致性（Kappa最大为1）； 小于0.4表示一致性差。Kappa不考虑评价人间的意见 不一致性的程度，只考虑他们一致与否。
一致性检验 kappa
学习目标
熟悉Kappa值的判断标准； 掌握Kappa值的计算以及检验方法； 掌握二分类资料和有序分类资料的一致性分析；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一致性检验（Kappa检验）
诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥0.75两者一致性较好；0.75>Kappa≥0.4两者一致性一般；Kappa<0.4两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
究竟是否是因果联系，须根据一些标准再加以衡量判断。
所谓联系（associatiom）是指两个或更多个变量间的一种依赖关系，可以是因果关系，也可以不是。
例如，对一组肺癌病人（病例组）和一组未患肺癌但有可比性的人（对照组）调查他们的吸烟（暴露）历史（可包括现在吸烟否，过去吸过烟否，开始吸烟年龄，吸烟年数，最近每天吸烟支数；如已戒烟则为戒烟前每日吸烟支数，已戒烟年数，等等）。
其目的为通过比较两组吸烟史的差别，检验吸烟（可疑病因）与疾病（肺癌）有因果联系的假设。
这就是病例对照研究。
如果选择Cochran's and Mantel-Haenszel statistics复选框，则可以为两个二分类变量进行独立性检验和同质性（齐性）检验，同时可进行分层因素的调整。
包括：χ2MH统计量（分层卡方检验）、χ2CMH统计量、同质性检验（用于检验各层的风险情况是否一致）。
可在下方设定相应H0假设的OR值，默认为1。
计算Kappa值的标准误［1］:本例为SK＝0.10314。
（4）为Kappa值的假设检验:①H０：Kappa＝0。
②统计量U值：U＝Kappa／SK，本例为U＝5.7214465。
三、实例分析
表13.5 Symmetric Measures 为Kappa的检验结果。
其中Value为计算出的Kappa值， Approx. Sig.为对应的P值。
Value的值越大，表明两者的一致性就越好，对应的P值就越小。
例8.6 有26份咽喉涂抹标本，每份标本分成两份，分别接种在A和B两种白喉杆菌培养基上，观察其生长情况。
问两种培养基对其生长有无显著性差异？（配对卡方检验）
例13.1 例13.2评价某种生化酶诊断前列腺癌与病理诊断的一致性。
（对新诊断手段、方法进行检验）
例13.2 用尿分析仪UA-12和RL-9对400份尿样的尿蛋白进行测定，试评价两种尿分析仪对尿蛋白测定的一致性。
（评价两种化验方法对同一样本的一致性）
四、配对卡方与Kappa检验的关系
Kappa检验重在检验两者的一致性，配对卡方检验重在检验两者间的差异。
对同一样本数据，这两种检验可能给出矛盾的结论。
主要原因是两者对所提供的有统计学意义的结论要求非常严格所致。
结Ⅱ级 1 54 12
果Ⅲ级0 7 45
分别做Kappa检验和配对卡方检验。
结论：两位医生的诊断结果基本一致(Kappa检验)，诊断水平有差异(配对卡方检验)，乙医生较甲医生容易将矽肺期次判断的偏高。