遥感分类精度评价中Kappa系数的计算方法
遥感分类精度评价中Kappa系数的计算方法
遥感分类中，精度评价是一个很重要的环节。现在需要计算一下里边的Kappa系数，但是我手头上没有书，只能到网上找，但是在中文世界里，要找这样的东西何其难也。英文的倒是一大批。在一个软件的使用手册里我找到了计算方法，说的非常详细，连用户精度，生产者精度，还有我以前没见过的Hellden以及Short尺度，都说的非常清楚。就是里边有一点儿小错误,不过我已经标出来了。
图像分类中混淆矩阵精度验证法中的几个指标说明
图像分类中混淆矩阵精度验证法中的⼏个指标说明选择主菜单->Classification->Post Classification->Confusion Matrix->Using Ground Truth ROIs，可以得到如下的分类精度验证的混淆矩阵。
要看懂这个精度验证结果，需要了解⼏个混淆矩阵中的⼏项评价指标：总体分类精度（Overall Accuracy）等于被正确分类的像元总和除以总像元数。
被正确分类的像元数⽬沿着混淆矩阵的对⾓线分布，总像元数等于所有真实参考源的像元总数，如本次精度分类精度表中的Overall Accuracy = (110230/125843) 87.5933%。
Kappa系数（Kappa Coefficient）它是通过把所有真实参考的像元总数（N）乘以混淆矩阵对⾓线（X KK）的和，再减去某⼀类中真实参考像元数与该类中被分类像元总数之积之后，再除以像元总数的平⽅减去某⼀类中真实参考像元总数与该类中被分类像元总数之积对所有类别求和的结果。
Kappa计算公式错分误差（Commission）指被分为⽤户感兴趣的类，⽽实际属于另⼀类的像元，它显⽰在混淆矩阵⾥⾯。
本例中，总共划分为林地有19210个像元，其中正确分类16825，2385个是其他类别错分为林地（混淆矩阵中林地⼀⾏其他类的总和），那么其错分误差为2385/19210= 12.42%。
漏分误差（Omission）指本⾝属于地表真实分类，当没有被分类器分到相应类别中的像元数。
如在本例中的林地类，有真实参考像元16885个，其中16825个正确分类，其余60个被错分为其余类（混淆矩阵中耕地类中⼀列⾥其他类的总和），漏分误差60/16885=0.36%制图精度（Prod.Acc）是指分类器将整个影像的像元正确分为A类的像元数（对⾓线值）与A类真实参考总数（混淆矩阵中A类列的总和）的⽐率。
如本例中林地有16885个真实参考像元，其中16825个正确分类，因此林地的制图精度是16825/16885=99.64%。
KAPPA【MSA】
Rater A First Measure Good Bad Rater A Second Measure
检验员A比例
代表10/20
Good Bad
0.5 0.05 0.55
0.1 0.35 0.45
0.6 0.4
由行和列的总和计算而得
计算检验员A的Kappa值
Content
1.Kappa 简介
2.Kappa 测试流程
3.Kappa 测试执行步骤
4.Kappa 判别标准
Kappa简介：
●Kappa，中文为卡帕，是度量测验结果一致程
度的统计量．
在计数型测量系统中研究一个测量员重复两次 （或测量结果与标准之间的一致性）测量结果 的一致性，或者两个测量员的测量结果之间的 一致性
产品．比如选择40个样品，其中良品约需20个，其中一类
不良缺陷至少需要4个． 这些类别应该互相排斥，否则它们应该合并起来
KAPPA Test
让每个测试员至少两次判定同一样品
为每个测试员建立独立的Kappa表，计算他 们的Kappa值
Kappa表例
Part 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea. Rater A Rater A Rater B Rater B Rater C Rater C Good Good Good Good Good Good Bad Bad Good Bad Bad Bad Good Good Good Good Good Good Good Bad Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Good Good Good Bad Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good Bad Bad Bad Good Bad Good Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Bad Good Good Bad Bad Bad
Kappa系数
Kappa系数Kappa在遥感里主要应该是使用在accuracy assessment上。
比如我们就计算标准Kappa值来更好的检验分类结果的正确程度。
The Kappa Index of Agreement (K): this is an important index that the cross classification outputs. It measures the association between the two input images and helps to evaluate the output image. Its values range from -1 to +1 after adjustment for chance agreement. If the two input images are in perfect agreement (no change has occurred), K equals 1. If the two images are completely different, K takes a value of -1. If the change between the two dates occurred by chance, then Kappa equals 0. Kappa is an index of agreement between the two input images as a whole. However, it also evaluates a per-category agreement by indicating the degree to which a particular category agrees between two dates. The per-category K can be calculated using the following formula (Rosenfield andFitzpatrick-Lins,1986):K = (Pii - (Pi.*P.i )/ (Pi. - Pi.*P.i )where:P ii = Proportion of entire image in which category i agrees for both datesP i. = Proportion of entire image in class i in reference image P.i = Proportion of entire image in class i non-reference imageAs a per-category agreement index, it indicates how much a category have changed between the two dates. In the evaluation, each of the two images can be used as reference and the other as non-reference.Kappa 系数是在综合了用户精度和制图精度两个参数上提出的一个最终指标，他的含义就是用来评价分类图像的精度问题，在遥感里主要应该使用在精确性评价（Accuracy Assessment）和图像的一致性判断。
遥感数据分类精度评价的方法和指标
遥感数据分类精度评价的方法和指标遥感技术在地质、农业、环境等领域的应用越来越广泛，其分类精度评价成为评估遥感数据可靠性的重要手段。
本文将介绍遥感数据分类精度评价的方法和指标，并探讨在应用中的局限性和改进方向。
一、方法1. 精确性评价法精确性评价法通过对比遥感分类结果和真实地面样本数据，计算分类的准确率、误差矩阵、Kappa系数等指标。
准确率指标能反映分类精度的整体水平，误差矩阵则可以分析各类别之间的混淆程度，Kappa系数可以衡量分类结果与随机分类的一致性。
这些指标可以从不同角度评价分类的精确性，但需要借助真实样本数据，存在采样不均匀和标注误差等问题。
2. 信息熵评价法信息熵评价法通过信息熵和互信息等信息论指标，衡量分类结果中包含的信息量和类别关联性。
信息熵越小，代表分类结果中包含的信息越少，分类精确度越高；互信息可以衡量分类结果与真实结果的相关程度。
这些指标基于信息论的原理，可以有效评价分类的精度，但对于数据量较大的情况，计算量较大。
3. 混淆矩阵评价法混淆矩阵评价法主要通过构建混淆矩阵，分析分类结果中不同类别之间的混淆情况。
混淆矩阵由真实类别和分类类别组成，可以直观地展示分类结果的正确性和误判情况。
通过混淆矩阵，可以分析分类结果中各类别之间的相似度和差异性，为分类模型的改进提供参考。
二、指标1. 总体精度总体精度是评价分类结果的整体正确率，通过计算分类正确的像素数量与总像素数量的比例得出。
高总体精度代表分类结果准确度高，但并不能说明各类别的精确性。
2. 用户精度和生产者精度用户精度和生产者精度是评价分类结果各类别准确性的重要指标。
用户精度是指分类结果为某一特定类别的样本中，实际属于该类别的比例。
生产者精度是指实际属于某一特定类别的样本中，被正确分类为该类别的比例。
用户精度主要关注分类结果对应每个类别的准确性，生产者精度主要关注每个类别被正确分类的概率。
3. Kappa系数Kappa系数是衡量分类结果与随机分类结果一致性的指标。
遥感影像分类精度评价
遥感影像分类精度评价在ENVI中，选择主菜单->Classification->Post Classification->Confusion Matrix->Using Ground Truth ROIs。
将分类结果和ROI输入，软件会根据区域自动匹配，如不正确可以手动更改。
点击ok后选择报表的表示方法（像素和百分比），就可以得到精度报表。
对分类结果进行评价，确定分类的精度和可靠性。
有两种方式用于精度验证：一是混淆矩阵，二是ROC曲线，比较常用的为混淆矩阵，ROC曲线可以用图形的方式表达分类精度，比较形象。
对一帧遥感影像进行专题分类后需要进行分类精度的评价，而进行评价精度的因子有混淆矩阵、总体分类精度、Kappa系数、错分误差、漏分误差、每一类的制图精度和拥护精度。
1、混淆矩阵（Confusion Matrix）: 主要用于比较分类结果和地表真实信息，可以把分类结果的精度显示在一个混淆矩阵里面。
混淆矩阵是通过将每个地表真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。
混淆矩阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分类图象中对应于相应类别的数量，有像元数和百分比表示两种。
2、总体分类精度（Overall Accuracy）: 等于被正确分类的像元总和除以总像元数，地表真实图像或地表真实感兴趣区限定了像元的真实分类。
被正确分类的像元沿着混淆矩阵的对角线分布，它显示出被分类到正确地表真实分类中的像元数。
像元总数等于所有地表真实分类中的像元总和。
3、Kappa系数：是另外一种计算分类精度的方法。
它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果，再除以总像元数的平方差减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的。
遥感图像分类方法与准确性评价指标
遥感图像分类方法与准确性评价指标遥感图像分类是利用遥感数据进行地物分类的过程，其目的是将遥感图像中的不同地物进行识别与分类。
在遥感图像分类中，有效的分类方法和准确性评价指标对于获得准确的分类结果至关重要。
一、常用的遥感图像分类方法1. 监督分类方法监督分类方法是指在进行分类之前，通过在选定的地物样本中确定其类别，并利用这些样本进行分类算法的训练。
常用的监督分类方法包括最大似然分类、支持向量机、决策树等。
最大似然分类是一种基于统计理论的方法，其基本假设是不同类别地物的像元值符合某种概率分布。
支持向量机是一种基于几何学原理的分类方法，其核心思想是将不同类别地物的像元用超平面分割成两个部分，以实现分类。
决策树是一种基于判定树的分类方法，通过根据不同属性进行逐级判定，最终将地物分类。
2. 无监督分类方法无监督分类方法是指在进行分类之前不需要先进行样本标签的确定，而是根据图像中像元之间的相似性和差异性进行聚类。
常用的无监督分类方法包括K-means 聚类、高斯混合模型等。
K-means聚类是一种基于距离度量的分类方法，其核心思想是将图像中的像元根据相似性进行分组，形成不同的类，实现地物分类。
高斯混合模型是一种基于概率统计的分类方法，通过假设图像像元符合多个高斯分布的线性组合，确定不同类别地物的概率分布。
二、遥感图像分类准确性评价指标1. 精度（Accuracy）精度是指分类结果中被正确分类的像元数占总像元数的比例。
精度越高，表示分类结果越准确。
在实际应用中，精度常常使用整体精度（Overall Accuracy）和Kappa系数进行评价。
整体精度是指分类正确的像元数占总像元数的比例，其范围为0到1之间，1表示分类完全正确。
Kappa系数是基于整体精度的一种校正指标，它考虑了分类结果与随机分类之间的差异性，范围也在0到1之间，1表示没有误分类。
2. 生产者精度（Producer's Accuracy）生产者精度是指在分类结果中，某一类地物被正确分类的像元数占该类地物实际像元数的比例。
分类精度评价
遥感影像分类精度评价遥感影像分类精度评价(2009-11-20 14:20:57)在ENVI中，选择主菜单->Classification->Post Classification->ConfusionMatrix->Using Ground Truth ROIs。
将分类结果和ROI输入，软件会根据区域自动匹配，如不正确可以手动更改。
点击ok后选择报表的表示方法（像素和百分比），就可以得到精度报表。
对分类结果进行评价，确定分类的精度和可靠性。
有两种方式用于精度验证：一是混淆矩阵，二是ROC曲线，比较常用的为混淆矩阵，ROC曲线可以用图形的方式表达分类精度，比较形象。
对一帧遥感影像进行专题分类后需要进行分类精度的评价，而进行评价精度的因子有混淆矩阵、总体分类精度、Kappa系数、错分误差、漏分误差、每一类的制图精度和拥护精度。
1、混淆矩阵（Confusion Matrix）: 主要用于比较分类结果和地表真实信息，可以把分类结果的精度显示在一个混淆矩阵里面。
混淆矩阵是通过将每个地表真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。
混淆矩阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分类图象中对应于相应类别的数量，有像元数和百分比表示两种。
2、总体分类精度（Overall Accuracy）: 等于被正确分类的像元总和除以总像元数，地表真实图像或地表真实感兴趣区限定了像元的真实分类。
被正确分类的像元沿着混淆矩阵的对角线分布，它显示出被分类到正确地表真实分类中的像元数。
像元总数等于所有地表真实分类中的像元总和。
3、Kappa系数：是另外一种计算分类精度的方法。
它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果，再除以总像元数的平方差减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的。
遥感影像分类精度评价教学内容
价
遥感影像分类精度评价
在ENVI中，选择主菜单->Classification->Post Classification->Confusion Matrix- >Using Ground Truth ROIs将分类结果和ROI输入，软件会根据区域自动匹配， 如不正确可以手动更改。点击ok后选择报表的表示方法(像素和百分比)，就 可以得到精度报表。
6、制图精度：指假定地表真实为A类，分类器能将一幅图像的像元归为A
的概率
7、用户精度：指假定分类器将像元归到A类时，相应的地表真实类别是A的概率。混淆矩阵中的几项价指标，如下：总体分类精度
等于被正确分类的像元总和除以总像元数。被正确分类的像元数目沿着混淆矩 阵的对角线分布，总像元数等于所有真实参考源的像元总数，如本次精度分类 精度表中的Overall Accuracy= （1849/2346）
面。本例中，林地有419个真实参考像元，其中正确分类265，12个是其他类
别错分为林地（混淆矩阵中林地一行其他类的总和），那么其错分误差为
12/419=2.9%。
漏分误差
指本身属于地表真实分类，当没有被分类器分到相应类别中的像元数。如在本 例中的耕地类，有真实参考像元465个，其中462个正确分类，其余3个被错 分为其余类（混淆矩阵中耕地类中一列里其他类的总和），漏分误差为
类的制图精度和拥护精度
1混淆矩阵(Confusion Matrix):主要用于比较分类结果和地表真实信息, 可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个地表 真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。混淆矩 阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分 类图象中对应于相应类别的数量，有像元数和百分比表示两种。
kappa系数
Kappa系数Kappa系数是一种统计量，常用于评估两个评分者之间的一致性或者一个评分者在不同时间点进行评分的一致性。
它被广泛应用于医学、社会科学和其他领域的研究中。
Kappa系数的取值范围在-1到1之间，表示了评分者之间的一致性程度。
Kappa系数的计算方法Kappa系数的计算方法基于混淆矩阵。
混淆矩阵是一个2x2的矩阵，行和列表示两个评分者对同一个样本的评分结果，矩阵的对角线代表评分一致的情况，而非对角线则代表评分不一致的情况。
Kappa系数的计算公式为：$$ \\kappa = \\frac{P(A) - P(E)}{1 - P(E)} $$其中，P(A)表示观察者间的评分一致的概率，P(E)表示观察者仅仅由于机会而达到评分一致的概率。
Kappa系数的解释•当Kappa系数为1时，表示两个评分者完全一致。
•当Kappa系数为0时，表示观察者的评分结果与随机分配的结果相同。
•当Kappa系数小于0时，表示观察者的评分结果之间存在一定程度的不一致性。
Kappa系数越接近1，表示评分者之间的一致性越高，反之则表示一致性较低。
Kappa系数的应用Kappa系数在医学领域广泛应用于评估医生之间的诊断一致性，评价医学检验的准确性等。
在社会科学领域，Kappa系数可用于评估调查问卷的一致性以及研究结果的可靠性。
此外，Kappa系数还被应用在机器学习模型的性能评估中，用于评估不同模型或不同特征集之间的一致性和准确性。
结语Kappa系数作为一种评估一致性的统计量，在不同领域有着广泛的应用。
通过对Kappa系数的计算和解释，我们可以更好地评估评分者之间的一致性，为研究和决策提供可靠的依据。
希望本文对Kappa系数有所帮助，让读者更加了解这一重要的统计量。