外观检查kappa分析
表单Kappa量测能力评价指标
我们为什么需要做 Kappa
• 加强计数型量测分析法 • 侦测检验员的能力之 • 计数型的重复性 • 和再现性 • 厂商和广达的检验标准之统一性 • 有效降低误判率
做 Kappa我们需要什么
1. 具备基本培训的视力合格的检验员 2. 对 MSA, GR&R有基本概念和知识的工程师 3. 完成 Kappa所需的检具 4. 一组产品 5. 用于记录和计算的表单（见附件）
怎么做Kappa---4_表单
Part Number
Part Name
Total Tol.
Spreed
Spec .
Characteristic Classif ication
Part #
A-1
1
1
2
1
3
1
4
0
5
1
6
1
7
1
8
1
9
1
10
1
11
1
12
1
13
1
14
1
15
1
16
1
17
1
18
1
19
1
20
1
21
A-3 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1
B-1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0
Appra ise r-Tra il
B-2
B-3
怎么做Kappa –2_样品挑选原则
1. 选择30个样品即可, 其中约80%为不良品(23~25pcs); 20%为良品(5~7pcs)。 2. 在非外观检验面进行编号: 1 ~ 30。 3. 记录每一个样品的不良现象及位置，用记号笔圈出。 4. 最好只挑一种不良现象，如有其它不良，或者二次不良，请用标签覆盖之
Kappa分析(自动生成)
评
确
价
认：
承 认：
4/4
40 1 1 1 1 1 1 1 1 1
41 1 1 1 1 1 1 1 1 1
42 0 0 0 0 0 0 0 0 0
43 1 1 1 1 1 1 1 1 1
44 1 1 1 1 1 1 1 1 1
45 1 1 1 1 1 1 1 1 1
46 1 1 1 1 1 1 1 1 1
47 1 1 1 1 1 1 1 1 1
1/4
计数型测量系统分析报告
（评价人交叉分析）
A 与 B 交叉表
B
0.00
1.00
A
0.00
计算
29
1
期望的计算
6.4
23.6
1.00
计算
3
117
期望的计算
25.6
94.4
计算
32
118
总计
期望的计算
32.0
118.0
A 与 C 交叉表
C
0.00
1.00
A
0.00
计算
28
2
期望的计算
6.2
23.8
系统有效得分 （所有评价人自己保持一致）
50 44 88.0%
系统有效得分与计数 （所有评价人与基准一致）
50 44 88.0%
A B C
结论：
有效性 ≥90% 96.0%
96.0%
94.0%
漏发警报的比例 ≤2%
2.00%
误发警报的比例 ≤5%
2.00%
0.00%
4.00%
2.00%
4.00%
基于上述信息，判定该测量系统中，评价人ABC均接受，该测量系统符合要求
检验员检验能力鉴定-Kappa分析
Pg 4
Kappa 例子#1
王鲁检验员的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 5
Kappa 例子#1
应急表
Rater A Second Measure
Good Bad
1 0.79798 0.316228 2.52343 0.0058 张宇 0 0.58333 0.316228 1.84466 0.0325
1 0.58333 0.316228 1.84466 0.0325 罗明英 0 0.73333 0.316228 2.31900 0.0102
1 0.73333 0.316228 2.31900 0.0102 张玄 0 0.60000 0.316228 1.89737 0.0289
向显波 2 33.33 1 25.00 1 10.00
步骤四：分析判读
1、同检查员一致性分析
肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一致性分 析
检验员自身
测试日期
评估一致性
报告者
#检 #相 检验员 验数 符数 百分比 95 % 置信区间 肖宽鸿 10 7 70.00 (34.75, 93.33) 晋健 10 7 70.00 (34.75, 93.33) 王鲁 10 9 90.00 (55.50, 99.75) 梁延 10 8 80.00 (44.39, 97.48) 石兰 10 10 100.00 (74.11, 100.00) 杨松 10 8 80.00 (44.39, 97.48) 向显波 10 9 90.00 (55.50, 99.75) 张宇 10 8 80.00 (44.39, 97.48) 罗明英 10 9 90.00 (55.50, 99.75) 张玄 10 8 80.00 (44.39, 97.48) 罗胜 10 10 100.00 (74.11, 100.00) 王良科 10 8 80.00 (44.39, 97.48) 文远秀 10 7 70.00 (34.75, 93.33)
外观检查kappa分析
外 15
观
检
查 16 k
a
p 17
p
a 18
研 究
19 20
报 21
告 22
23
24 25
26
B与 C交 叉表
B与基 准交 叉表
B 总计
C
.00 1.00
.00 计算 期望 的计 算
1.00 计算 期望 的计 算 计 期算 望 的计
总计Biblioteka .00 B1.00 总计
27
28
A与
C与基
29
30 31
C .00 1.00
样品号 A-1 A-2 A-3 B-1 B-2 B-3 C-1 C-2 C-3 基准
1 2
外观检查kappa研究报告
外观
3
A与
A与基
4
B交
准交
叉表
叉表
5
第2页 共3页
6
B
7
.00 1.00
总计
8
.00 计算
.00
9 10
A
期望 1.00 计算
A 1.00
11
期望
12 13
总计
计 期算 望 的计
总计
14
36
总计
计算
总计
计算
期望
37
的计
期望的计算
算
38
P
o
=
对
Po=
角
对角
线
线单
单
39
元中
Kappa（AB）=(Po-
元
观测
Pe)/(1-Pe)=
中
Kappa（A）=(Po-Pe)/(1-Pe)=
KAPPA分析说明
KAPPA分析说明Kappa 评估说明：⽬的：评价【⽬视测量系统】的检出能⼒对象：从事产品外观检查的岗位⼈员，包括：品管QC、外观全检⼈员周期：新⼊或转岗⼈员培训合格后，在岗⼈员每季度⼀次；标准：《测量系统分析程序》（C0801-S10）《风险分析法（Kappa）分析报告》（FM-C0801-S10-03）制作评估样品（50pcs）：1.1 从量产中收集50个产品，不限产品型号，但须为相同⽣产⼯艺；其中有35个为不良品，不良类型需基本覆盖所有常发外观缺陷，缺陷程度不能太明显；1.2 将收集的样品交由品管⼯程师评判，将评判结果和缺陷内容按样品顺序进⾏记录，并对样品做好较隐秘的序号标记（1~50），必要时可使⽤特殊符号；样品序号状态参考值缺陷内容特殊符号1不合格0脏污⽩，⿇点XX… ………50合格1⽆2、评估准备：2.1 评估前，样品收集⼈对被评价⼈进⾏培训，明确产品外观缺陷的评判标准和接收准则；2.2 评估按检验⼯位开展，每次评价3位员⼯，被评价⼈已独⽴上岗并培训合格；不⾜3⼈时也可单独评价；2.3 三位被评价⼈依次完成50个样品的3次检查，累计产⽣150个检查结果，三次检查需交替或间隔⼀定时间后进⾏，确保“盲测”；2.4 需要⼀位数据记录员和⼀位标准判定⼈协助完成评估3、评估步骤：3.1 记录员在评估表上记录被评价⼈的基本信息，确认3位评估⼈的检查顺序（按⼈次交替进⾏）后，开始评估；3.2 记录员调整样品顺序，交由第⼀位被评价⼈检查，记录检查结果，判定正确记【√】，错误记【×】；当检查结果为不合格时，评价⼈告知缺陷内容和位置（若样品有多个缺陷，只要有⼀个缺陷描述正确，即判为正确）；3.3 重复步骤1.2，完成余下的8轮样品检查，记录检查结果；再将⼿⼯数据录⼊【kappa分析报告】，形成评估结果报告（合格由1表⽰，不合格由0表⽰）。
3.4 检查中如对样品缺陷有异议，由标准判定⼈评判4、评估结果（判定准则）：条件⼀：⼀致性（Kappa值）0.75＜Kappa≤1表⽰有很好的⼀致可接受0.4＜Kappa≤0.75表⽰⼀致性⼀般条件接受0＜Kappa≤0.4表⽰⼀致性不好不可接受条件⼆：有效性&漏判率&误判率结果有效性漏判率误判率备注可接受≥90%≤2%≤5%同时满⾜条件接受≥80%≤5%≤10%同时满⾜不可接受＜80%＞5%＞10%满⾜⼀个测量系统判定条件⼀和条件⼆同时为【可接受】，测量系统判为【可接受】条件⼀和条件⼆同时为【不可接受】，测量系统判为【不可接受】其他情形，测量系统判为【条件接受】，需明确限定条件5、结果应⽤：5.1 部门主管基于测量系统评估结果，更新员⼯的技能等级⽬视表；每季度定期评估后，再次更新技能等级⽬视表；5.2 评价结果为【不可接受】时，关联部门应暂停该测量系统的使⽤，并对已检测的产品进⾏追溯处理；并基于分析报告改进测量系统，如⼈员培训、检查⽅法调整、检查环境改善，必要时考虑调整被测⼈员的岗位安排；5.3评价结果为【条件接受】时，关联部门需采取措施持续改进。
《致性检验kappa》课件
分类标准要明确且稳定
kappa值是基于分类标准进行计算的，因此 分类标准的明确性和稳定性对kappa值的结 果有重要影响。
在实际应用中，需要提前制定明确的分类标 准，并确保分类标准在试验过程中保持一致
Scott's Pi
总结词
Scott's Pi用于衡量多个评价者对同一组数 据的一致性程度。
详细描述
Scott's Pi的计算公式为：(pi = frac{P_o}{P_o + P_e})，其中(P_o)是实际 一致的观察频数，(P_e)是期望一致的频数 ，但每个评价者的期望一致频数不同。
03
kappa值的应用场景
自然语言处理
文本分类
在自然语言处理中，kappa值可用于评估文本分类算法 的性能。通过比较算法分类出的文本和实际文本的类别 ，可以计算出kappa值，从而了解分类结果的准确性和 一致性。
信息抽取
在信息抽取任务中，kappa值可用于评估实体识别和关 系抽取的性能。通过比较算法抽取出的实体和关系与实 际实体和关系的相似度，可以计算出kappa值，从而了 解抽取结果的准确性和一致性。
详细描述
F1分数是准确率和召回率的调和平均数，它综合考虑了模型的精度和召回率。而kappa值则更注重类别间的平衡 和差异性，通过计算实际分类与预测分类之间的差异来评估模型的性能。与F1分数相比，kappa值在处理类别不 平衡问题时更具优势。
06
kappa值在实际应用中 的注意事项
样本量要足够大
样本量的大小会影响kappa值的稳定性，因此在实际应用中需要保证足够的样本量。样本量过小可能导致kappa值不稳定， 从而影响结果的可靠性。
Kappa分析报告
01136191.817.219.0113013112.2118.8131.01413615014.0136.0150.001122141.612.414.0513113615.4120.6136.01713315017.0133.0150.001143172.214.817.0512813316.8116.2133.01913115019.0131.0150.0準確總數 估計總數準確總數 估計總數準確總數 估計總數A B C ---76%75%76%---75%AB C ≥0.75 一致性好,可接受＜ 0.4 一致性差,應改善評價75%C75%75%Kappa76%Kappa75%Kappa有效率A總計00.4＜值＜ 0.75 一致性尚可接受 ≥0.9 有效性好,可接受 0.8＜值＜ 0.9 有效性尚可接受評價人與基準的有效性94%92%96%---A與基準交叉表B與基準交叉表B與基準評價人的KappaA BＣ與基準交叉表C與基準計算總計計算期望的計算0.79C期望的計算P0Pe0.950.80P0Pe A1B與C交叉表期望的計算計算計算期望的計算計算0.811計算總計BCA與B交叉表總計期望的計算總計P0B計算期望的計算0.95期望的計算總計計算期望的計算Pe 0.95C與A交叉表評價＜ 0.4 有效性差,應改善計算期望的計算1計算A與基準485096.0%計算34794.0%50有效率2有效率計算4465092.0%。
Kappa 分析摘要
Kappa 分析摘要一般把Kappa值列为非参数统计(检验)方法参数统计:在统计推断中，如总体均数的区间估计、两个或多个均数的比较、相分析和回归系数的假设检验等，大都是假定样本所来自的总体分布为已知的函数形式，但其中有的参数为未知，统计推断的目的就是对这些未知参数进行估计或检验。
这类统计推断方法称为参数统计。
在许多实际问题中，总体分布函数形式往往不知道或者知道的很少，例如只知道总体分布是连续型的或离散型的，这时参数统计方法就不适用，此时需要借助另一种不依赖总体分布的具体形式的统计方法，也就是说不拘于总体分布，称为非参数统计或分布自由统计。
参数统计：样本来自的总体分布型是已知的(如正态分布)，在这种假设基础上，对总体参数进行估计或检验。
若总体非正态，则样本例数必须充分多，或经过各种变换(对数、开方、角度……)非参数统计：未知研究总体的分布，或已知总体分布与检所要求的条件不符时，称非参数统计。
优点：①不受总体分布的限定，适用范围广，对数据的要求不像参数检验那样严格，不论研究的是何种类型的变量。
②包括那些难以测量，只能以严重程度优劣等级、次序先后等表示的资料，或有的数据一端或两端是不确定数值，例如“>50mg”，或“0.5mg以下”等。
③易于理解和掌握。
④缺点：①比起参数估计来显得比较粗。
②对适宜参数分析方法的资料若用非参数法处理，常损失部分信息、降低效率。
③虽然许多非参法计算简便，但不少方法计算仍繁杂。
非参数适用于：①检验假设中没有包括总体参数。
②资料不具备参数方法所需条件。
③计算简单实验未结束，急需知道初步结果。
④用于等级资料或某些计数资料。
非参数统计方法:一、Ridit分析 (relative to an indentified distribution)二、秩和检验： N-［Ri-(N+1)/2］2三一致性检验：Kappa临床试验研究中把重复观察的一致性分为：(1)(2) 两个及两个以上医务者对同一对象进行观察。
KAPPA分析
A
B
C
45
49
49
评价者 A 评价者 B 评价者 C
评价日期
A*B Crosstab ulation
A Total
0.00 Count Expecte
1.00 Count Expecte Count Expecte
B
0.00 12 1.5 1
11.5 13
13.0
1.00 Total
5
17
15.5
17
REF
0.00
1.00 Total Po:
0.99
9
1
10
1.0
9.0
10.0 Pe:
0.81
0
80
80
8.0
72.0
80.0
9
81
90
9.0
81.0
90.0
A
B
C
Kappa
0.89
0.94
0.94
Conclud
Good Good Good
Repeatability Total Inspected Matched % Conclude
C-2 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1
C-3 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1
9
81
90
9.0
81.0
KAPPA(属性数据的MSA)
Kappa
Pobserved − Pchance K= 1 − Pchance
要达成完全一致， P observed = 1 且 K=1
[-1，1]
一般说来，如果Kappa值低于0.7，那么测量系统是不适当 的 如果Kappa值为0.9或更高，那么测量系统是优秀的
W4-4 Attribute MSA - 8
测量系统分析 – 属性数据
属性数据 Kappa 操作定义 属性测量系统指导 列联表 分级员之间的Kappa Minitab 例子 练习
能为我做什么?
是评估属性测量系统的可重复性和再现性的一种简 单方法 能够辨别你的属性测量系统中的弱操作定义
W4-4 Attribute MSA - 10
W4-4 Attribute MSA - 18
小练习
课堂上有多少人穿黑色裤子？ *属性 课堂上有多少人穿深色裤子？ *顺序，应先定义顺序分类。分黑色、深蓝色、深 棕色等等。
W4-4 Attribute MSA - 19
操作定义（检查标准，至关重要）
存在着一些质量特点，或者难以定义或者定义很耗费时间 要一致地评估分类，几个单元必须由一个以上的评估人或判 定人作出分类 如果评估员之间达成足够的一致，那么就有可能，尽管不能 保证，分级是正确的 如果评估员不能达成足够的一致，那么分级的可用性就很有 限了
Kappa技术
Kappa适用于非定量系统，如
好或坏 通过/不通过 区分声音 (嘶嘶声、叮当声、重击声) 通过/失败
W4-4 Attribute MSA - 17
Kappa技术
适用于属性数据的Kappa
同等处理所有误分类 不假定分级是平均分布于可能的范围 要求单元之间相互独立，并且判定员或分级员是独立作 出分级的 要求评估类别是相互排斥的
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Kappa
总计
B与C交叉表 C .00 B 总计 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 51 30.2 21 41.8 72 72.0 1.00 12 32.8 66 45.2 78 78.0 总计 63 63.0 87 87.0 150 150.0
A与C交叉表 C .00 A 总计 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 59 30.2 13 41.8 72 72.0 1.00 4 32.8 74 45.2 78 78.0 总计 63 63.0 87 87.0 150 150.0
总计
Hale Waihona Puke B与基准交叉表 基准 .00 B 总计 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 53 29.0 16 40.0 69 69.0 1.00 10 34.0 71 47.0 81 81.0 总计 63 63.0 87 87.0 150 150.0
C与基准交叉表 基准 .00 C 总计 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 65 33.1 4 35.9 69 69.0 1.00 7 38.9 74 42.1 81 81.0 总计 72 72.0 78 78.0 150 150.0
A-3 1 1 0 0 0 0 1 1 0 1 1 0 1 0 1 1 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 0 1 0 1 1 0 1 1 0 1 1 0 1 0
B-1 1 1 0 0 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 0 1 1 1 0 1 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0
外 观 检 查 k a p p a 研 究 报 告
编号:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
Po=对角线单元中观测值的总和 Pe=对角线单元中观测值的总和 Kappa=(Po-Pe)/(1-Pe)
Kappa（A）=(Po-Pe)/(1-Pe)= 0.89 Kappa（B）=(Po-Pe)/(1-Pe)= 0.65 Kappa（C）=(Po-Pe)/(1-Pe)= 0.85 A 0.89 B 0.65 C 0.85
C-1 1 1 0 0 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0
C-2 1 1 0 0 0 0 0 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 1 1 1 1 1 0 0 1 0 1 1 0 1 1 0 1 1 0 1 0
A —— 0.70 0.77
B 0.70 —— 0.56
C 0.77 0.56 ——
外观检查kappa研究报告
编号： A与基准交叉表 第3页 共3页 基准 .00 A 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 62 29.0 7 40.0 69 69.0 1.00 1 34.0 80 47.0 81 81.0 总计 63 63.0 87 87.0 150 150.0
第1页 共3页
外观检查kappa研究报告
编号： A与B交叉表 第2页 共3页 B .00 A 1.00 计算 期望的计算 计算 期望的计算 计算 期望的计算 .00 52 26.5 11 36.5 63 63.0 1.00 11 36.5 76 50.5 87 87.0 总计 63 63.0 87 87.0 150 150.0
A-1 1 1 0 0 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 0 1 1 1 0 1 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0
A-2 1 1 0 0 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 1 1 0 1 1 1 0 1 1 0 1 0 1 1 0 0 1 0 1 1 0 1 0
Po=对角线单元中观测值的总和 Pe=对角线单元中观测值的总和 Kappa=(Po-Pe)/(1-Pe)
Kappa（AB）=(Po-Pe)/(1-Pe)= 0.70 Kappa（BA）=(Po-Pe)/(1-Pe)= 0.56 Kappa（CA）=(Po-Pe)/(1-Pe)= 0.77
Kappa A B C
C-3 1 1 0 0 0 0 1 1 0 1 1 0 1 0 1 1 1 1 1 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 1 0 1 1 0 0 1 0 1 1 0 1 0
基准 1 0 1 1 0 1 1 0 0 1 0 1 1 0 0 1 1 1 0 0 1 1 0 1 0 0 0 1 0 0 1 1 0 1 0 0 0 0 0 1 1 0 1 1 1 0 1 1 1 1
B-2 1 1 0 0 0 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0
B-3 1 1 0 0 0 0 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 0 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0