Kappa系数计算
MSA系列9：在使用交叉表法计算Kappa时，期望值是怎么计算出来的？
MSA系列9：在使用交叉表法计算Kappa时，期望值是怎么
计算出来的？
在使用如下的交叉表法计算计数型测量系统的Kappa时，需要计算期望值，例如表中的15.7，34.3等数值。
这些期望值是假设A和B在纯属巧合的情况下出现判断一致或相反的次数（“纯属巧合”意味着A和B未采用一致的判定标准，他们在判断合格/不合格时，可能各自有各自的标准，或者完全没有标准）。
例如15.7是A和B纯属巧合的将同一个产品都判定为不合格的次数。
那这个15.7是怎么计算出来的呢？下面来解释一下这个步骤：
1) 根据上表，A在150次判定中，有（44+6=50）次将样品判定为不合格，所以A将一个产品判定为不合格的几率是
2) 根据上表，B在150此判定中，有（44+3=47）次将样品判定为不合格，所以B将一个产品判定为不合格的几率是 3) 根据上面的结果，A和B碰巧同时将一个产品判定为不合格的几率是上面两个几率的乘积，即0.333x0.313=0.104（两个独立事件同时发生的几率是两者单独发生的几率的乘积，例如抛硬币时一次出现正面的几率为，而连续两次出现正面的几率是x= ）
4) 由此得出，如果是碰巧的话，在150次判断中，A和B同时判断为不合格的次数应该是 150x0.104=15.7次。
以上即是计算期望值的步骤。
MSA分析
MSA分析MSA（Kappa）分析是一种常用的可靠性分析方法，用于评估两个或多个评价者在分类测量任务中的一致性。
在医学、社会科学、市场研究和质量控制等领域中广泛应用。
本文将介绍MSA（Kappa）分析的基本背景、计算公式以及如何对数据进行解读。
1.背景在实际操作中，评价者可能会对同一对象进行分类，但每个评价者的主观判断可能存在差异，导致结果不一致。
为了度量这种一致性，MSA （Kappa）分析应运而生。
它可以用来评估评价者之间的一致性水平，以便确定评价者是否具有一致的分类标准。
2.计算公式MSA（Kappa）分析的计算基于一个叫做Kappa系数（κ）的统计指标。
Kappa系数用于评估评价者之间的一致性程度，其取值范围为[-1, 1]。
Kappa系数为正值时表示评价者之间具有一致性，为负值时表示评价者之间具有不一致性，为0时表示评价者的一致性程度与随机分类的一致性相当。
Kappa系数的计算公式为：Pr(a)-Pr(e)κ=--------------------------1-Pr(e)其中，Pr(a)为评价者之间的一致性概率，Pr(e)为评价者独立分类的概率。
在实际应用中，这两个概率可以通过计算评价者的分类结果来进行估算。
3.数据解读根据计算得到的Kappa系数，我们可以对评价者的一致性做出以下解读：-κ>0.75：评价者之间具有很高的一致性-κ=0.40-0.75：评价者之间具有一致性，但仍存在一定程度的不一致性-κ<0.40：评价者之间的一致性水平较低此外，我们还可以通过Kappa系数的置信区间来评估评价者的一致性。
如果置信区间跨越了0，表明评价者的一致性不显著；如果置信区间不包含0，表明评价者的一致性显著。
4. MSA（Kappa）分析的应用MSA（Kappa）分析广泛应用于医学领域、社会科学、市场研究和质量控制等领域。
例如，在医学领域中，医生对疾病的诊断和病情的评估可能存在主观判断的差异，MSA（Kappa）分析可以用于评估医生之间的一致性，从而提高医疗诊断的准确性和可靠性。
【Kappa一致性检验】远没那么简单
【Kappa一致性检验】远没那么简单在诊断试验中，研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。
如：评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性。
此时，Kappa值可以作为评价判断的一致性程度的指标。
实践证明，它是一个描述一致性较为理想的指标。
因此在医学、社会学等领域中得到广泛的应用。
Kappa 系数的计算方法有两种：1、简单Kappa系数（Simple Kappa Coefficient），这是我们经常运用的方法，两种诊断结果的分级数目相同时使用；2、加权Kappa系数（Weighted Kappa Coefficient），这种方法在两种诊断结果的分级数目不一样时使用。
评价A、B两种检测方法对同一批样品的检验结果（轻度、中度、重度）的一致性，模拟以下两种情况的数据。
情况1：结果的分级数相同的情况分析：该种情况就是A法和B法的检验结果的分级相同，都是3个类别。
这是我们常见的情况。
该方法的SPSS操作大家非常熟悉，在此不在赘述。
主要看下面这种情况。
情况2：结果的分级数不同的情况分析：该种情况就是A法和B法的检验结果的分级不相同。
A法有三种检测结果，而B法只有轻度和中度的两种结果，因为重度的频数为0。
此种情况，要计算至此大家估计还不明白为什么以上两种情况要采用不同的Kappa 检验方法。
大家经常使用SPSS交叉表里的Kappa分析就能计算Kappa值。
但是，你知道它的运算结果到底是简单Kappa值还是加权Kappa值吗？下面用事实说话：（情况2的数据在SPSS交叉表操作里也能算出Kappa值，但是不是正确的！下面将用SAS运行的）SPSS操作如下：SPSS运行结果如下：下面运用SAS计算其加权Kappa系数：程序如下：data kappa;input A B freq;datalines;1 1 61 2 81 3 02 1 52 2 22 3 03 1 83 2 43 3 0;run;proc freq data= kappa; tables A*B;test kappa;weight freq / zeros; run;运行结果如下：由SAS结果可以看出加权Kappa系数的值与简单Kappa系数的值还是有差别的。
kappa检验 标准
kappa检验标准Kappa检验标准。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通常用于评估医学诊断测试的一致性，也可以用于其他领域的研究中。
Kappa检验的结果可以帮助研究人员了解观察者之间的一致性程度，从而评估测试的可靠性和有效性。
本文将介绍Kappa检验的基本概念和标准，以及如何进行Kappa检验的步骤和解释结果。
Kappa检验的基本概念。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通过比较观察者或测试的结果，计算它们之间的一致性程度。
Kappa系数的取值范围为-1到1，其中-1表示完全不一致，0表示随机一致，1表示完全一致。
通常情况下，Kappa系数大于0.75被认为是很好的一致性，0.4到0.75之间被认为是一般的一致性，小于0.4则被认为是较差的一致性。
Kappa检验的标准。
在进行Kappa检验时，需要根据具体的研究目的和数据类型来选择适当的Kappa检验标准。
一般来说，可以根据以下几个方面来确定Kappa检验的标准：1. 确定观察者或测试的一致性指标，在进行Kappa检验之前，需要明确观察者或测试的一致性指标是什么，是分类变量还是顺序变量，这将决定选择适当的Kappa检验方法。
2. 确定Kappa系数的解释标准，根据具体的研究领域和研究目的，需要确定Kappa系数的解释标准，一般是根据Kappa系数的取值范围来判断一致性的程度。
3. 确定置信区间和显著性水平，在进行Kappa检验时，需要计算Kappa系数的置信区间和显著性水平，以确定观察者或测试之间的一致性是否达到统计学上的显著性。
如何进行Kappa检验。
进行Kappa检验的步骤如下：1. 收集观察者或测试的数据，首先需要收集观察者或测试的数据，包括两个观察者或测试的结果和样本数量。
2. 计算Kappa系数，根据收集的数据，可以利用统计软件或公式来计算Kappa系数，得出观察者或测试之间的一致性程度。
遥感图像分类精度之评价指标：混淆矩阵、总体精度、错分误差、漏分误差、Kappa系数
混淆矩阵遥感影像分类就是一个对给定的遥感影像所包含的所有像元的地表属性进行识别归类的过程；目的是在属性识别归类的基础上获取研究区域内各个地物类型的分布状况及面积。
对遥感影像分类结果进行评估就是一个通过比较检验样本与分类结果的符合程度来确定分类准确度的过程。
精度与准确度“精度”，是对同一批样本采用相同方法进行多次的测定，比较各次的测定值之间彼此接近的程度。
如果每个测定值彼此之间越接近，则精度越高，体现的是测定结果的重现性。
例如，测量一段线段的长度，每次都采用相同的方法——用直尺进行测量，经过多次测量之后我们发现，每次测量的结果都是1cm，这就说明我们以直尺进行测量这种方法的精度很高。
准确度则不然，是指测量结果与真实值相符合的程度。
还是以测量线段长度举例，真实的线段长度为1.00001cm，测量结果为1cm，这就说明测量方法的准确度还是很高的。
两者之间的关系：准确度高，意味着精度也很高，但是精度高却不意味着准确度高。
假设第一次的测量结果为1.5cm，第二次为1.52cm，第三次为1.49cm，表面上我们的精度很高，但实际上线段的长度只有1.00001cm，准确度并不高。
评估指标1总体分类精度（Overall Accuracy）指针对每一个随机样本，所分类的结果与检验数据类型相一致的概率，也就是被正确分类的像元总和除以总像元数。
即混淆矩阵中对角线上的像元数总和除以总像元数目。
2生产者精度生产者精度，也称制图精度，指相对于检验数据中的任意一个随机样本，分类图上相同位置的分类结果与其相一致的概率。
即混淆矩阵中，分类器将整幅影像正确分类为A的像元数（对角线上A类的值）与真实情况下A的像元数（真实情况A的像元数总和）之比。
3用户精度指在分类结果中任取一随机样本，其所具有的类型与地表真实情况相符合的条件概率。
即混淆矩阵中，分类器将整幅影像正确分类为A的像元数和（对角线上A类的值）与分类器分出的所有A类像元数（预测值为A的像元数总和）之比。
kappa值
kappa值kappa系数是统计学中度量一致性的指标, 值在[-1,1]. 对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题，一致性就是模型预测结果和实际分类结果是否一致. kappa系数的计算是基于混淆矩阵, 取值为-1到1之间, 通常大于0.kappa值含义：-1：完全不一致0: 偶然一致0.0~0.20: 极低的一致性(slight)0.21~0.40: 一般的一致性(fair)0.41~0.60: 中等的一致性(moderate)0.61~0.80: 高度的一致性(substantial)0.81~1: 几乎完全一致(almostperfect)简单kappa下面的表格是真实类别和预测类别的混淆矩阵, 其中 a i j a_{ij} aij表示真实为 i i i预测为 j j j的样本数量. n n n为样本总量. a i + = ∑ j a i j , a + j = ∑ i a i j . a_{i+}=\sum_{j} a_{ij}, \, a_{+j}=\sum_{i}a_{ij}. ai+=∑jaij,a+j=∑iaij.类别1类别2类别3总计类别1a 11 a_{11}a11a 12 a_{12}a12a 13 a_{13}a13a 1 + a_{1+}a1+类别2a 21 a_{21}a21a 22 a_{22}a22a 23 a_{23}a23a 2 + a_{2+}a2+类别a 31 a_{31} a 32 a_{32} a 33 a_{33} a 3 + a_{3+}类别1类别2类别3总计3a31a32a33a3+总计a + 1 a_{+1}a+1a + 2 a_{+2}a+2a + 3 a_{+3}a+3n n nkappa系数的数学表达: k = p o − p e 1 − p ek=\frac{p_o-p_e}{1-p_e} k=1−pepo−pe其中, p o p_o po为预测的准确率, 也可理解为预测的一致性, p o = ∑ i = 1 3 a i i n p_o=\frac{\sum_{i=1}^{3} a_{ii} } {n} po=n∑i=13aii. p e p_e pe表示偶然一致性, p e = ∑ i = 1 3 a i + ∗ a + i n 2p_e=\frac{\sum_{i=1}^{3} a_{i+}*a_{+i} } {n^2} pe=n2∑i=13ai+∗a+i.其实, 本人以为同用频(概)率来表示, 形式更加简洁.记 p i j = a i j / n p_{ij}=a_{ij}/ n pij=aij/n, p i + = a i + / n p_{i+}=a_{i+}/ n pi+=ai+/n, p + j = a + j / n p_{+j}=a_{+j} / n p+j=a+j/n, 则kappa系数为p o = ∑ i = 1 3 a i i n = ∑ i = 1 3 p i i , p_o=\frac{\sum_{i=1}^{3} a_{ii} }{n}=\sum_{i=1}^{3} p_{ii}, po=n∑i=13aii=i=1∑3pii, p e = ∑ i = 1 3 a i + ∗ a + i n 2 = ∑ i = 1 3 p i + ∗ p + i . p_e=\frac{\sum_{i=1}^{3} a_{i+}*a_{+i} } {n^2}=\sum_{i=1}^{3} p_{i+}*p_{+i}. pe=n2∑i=13ai+∗a+i=i=1∑3pi+∗p+i.kappa值 2对于一些有序关系的级别得分, 使用上面简单的计算方法存在一些问题. 比如在疾病预判时, 假设病人是无病的, 一个医生预测为得病且特别严重, 另一个医生预测为得病且中度. 很明显, 第一个医生的预测结果更加不可接受. 所以, 我们要在计算kappa值时加入权重的概念, 以区分这种预测结果的后果程度.设有 m m m个类别, 记 w i j w_{ij} wij表示真实为 i i i预测为 j j j的权重. 加权kappa的数学计算公式为 k = p o − p e 1 − p e = ∑ i = 1 m ∑ j = 1 m w i j p ij − ∑ i = 1 m ∑ j = 1 m w i j p i + p + j 1 − ∑ i = 1 m ∑ j = 1 m w i j p i + p + j k=\frac{p_o-p_e}{1-p_e}=\frac{ \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{ij} - \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{i+} p_{+j} } { 1- \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{i+}p_{+j} } k=1−pepo−pe=1−∑i=1m∑j=1mwijpi+p+j∑i=1m∑j=1mwijpij−∑i=1m∑j=1mwijpi+p+j一般地, w i i = 1w_{ii}=1 wii=1. 若当 i , j i,j i,j不同时, w i j = 0w_{ij}=0 wij=0, 就退化为上面简单的kappa.下面介绍几种常用的权重计算方法:设得分有序为 c 0 < c 1 < ⋯ < c m − 1 c_0<c_1<\cdots< c_{m-1} c0<c1<⋯<cm−1, 取值为 c i = i c_i=i ci=i.•线性权重 w i j = 1 − ∣ i − j ∣ m − 1 ,w_{ij}=1-\frac{|i-j|}{m-1}, wij=1−m−1∣i−j∣,•二次权重 w i j = 1 − ( i − j m − 1 ) 2 .w_{ij}=1-(\frac{i-j}{m-1})^2. wij=1−(m−1i−j)2.参考文献[1] dandelion的博客一致性检验– kappa 系数[2] 唐万,胡俊,张晖,吴攀,贺华.kappa系数:一种衡量评估者间一致性的常用方法[j].上海精神医学,2015,27(01):62-67.。
计数型MSA：Kappa分析中“期望计数”的计算方法
计数型MSA：Kappa分析中“期望计数”的计算方法我们仍用MSA手册中的例子来做说明。
两评价人A和B分别对随机抽取的50个零件进行测量，对每个零件的测量随机地重复了3次。
设定1表示可接受的决定（即评为1类），0表示不可接受的决定（即评为0类）。
测量结果用以下交叉表列出。
科恩（Cohen）给出的Kappa计算公式为：MSA手册中定义P0为对角栏框中（观测）计数占总计数的比例，Pe为对角栏框中期望计数占总计数的比例。
（第三版中文MSA手册中翻译有误，这里是按英文版翻译过来的）（观测）计数容易理解，如对角栏框中的44表示A和B都评为0类的测量次数，97表示A 和B都评为1类的测量次数，而6则表示A评为0类但B评为1类的测量次数，3则表示A评为1类但B评为0类的测量次数。
因此，，P0也就是评价人A和B在测量中实际一致性的比率。
那期望计数是指什么呢？假如这两位评价人都是任意地（猜测）将50 个零件判定为可接受或不可接受，其结果也会达到一定程度的一致，不过这里的一致是偶然达到的，这种偶然达到的一致性比率称为偶然一致性比率，也就是Kappa计算中的Pe。
当评价人A 与B 随机地作评价时，此两人行动一定是独立的，互不影响，从而两人同评为0 类的概率为P0+×P+0，两人同评为1 类的概率为P1+×P+1。
（这里P0+表示A评价人评为0类的测量次数占总测量次数的比率，P1+表示A评价人评为1类的测量次数占总测量次数的比率；同理P+0、P+1分别表示B评价人评为0类的测量次数占总测量次数的比率，和B评价人评为1类的测量次数占总测量次数的比率。
这时偶然一致性比率Pe = P0+×P+0+ P1+×P+1。
因此，这里15.7和68.7分别就是两评价人同时评为0类和1类的期望计数，分别为对应单元格行总计数乘以列总计数除以总计数（即总测量次数）所得。
同样31.3和34.3这两个期望计数也是按同样方式得出的。
一致性检验KAPPA检验详细解读
一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥0.75两者一致性较好；0.75>Kappa≥0.4两者一致性一般；Kappa<0.4两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
究竟是否是因果联系，须根据一些标准再加以衡量判断。
所谓联系（associatiom）是指两个或更多个变量间的一种依赖关系，可以是因果关系，也可以不是。
例如，对一组肺癌病人（病例组）和一组未患肺癌但有可比性的人（对照组）调查他们的吸烟（暴露）历史（可包括现在吸烟否，过去吸过烟否，开始吸烟年龄，吸烟年数，最近每天吸烟支数；如已戒烟则为戒烟前每日吸烟支数，已戒烟年数，等等）。