定性试验评价和检测结果一致性检验统计分析方法 Jerry
【数据分析方法】一致性研究
➢ Summary ➢ 观察样本量（obs）最小值（minimun）中位 数（median）
最大值（maximum）; 解两种检 测方法结果的一般分布情况 ; ➢ Limits of agreement ➢ 两方法结果差的均值D ; 一致性范围（limits of agreement）;
标准差（SD）
测量方法的评价是临床研究常见的研究类型， 目的是回答下面的问题： 1.两种方法得出来的结果是否有差异？ 差异 多大？ 2.测量误差有多大？测量值的误差是否随测量 值的大小变化？ 3.一种测量方法能被另一种取代吗？ 4.如何把一种测量值转换成另一种? 转换结果 准确性如何？ 5.测量的可靠性如何？
测量方法可以是： 不同的试验方法 不同的测量员、患者 不同的实验室、仪器设备 不同时间进行的检测等
Test for diff=0|Slope=1：P=0.033，如果两种方法的散点图回 归线斜率等于1，判断两种方法差值是否为零?本例数据两种方 法测量值的回归线斜率显著不等于1，因此此项结果不用看。
定性试验评价和检测结果一致性检验的统计分析方法Jerry
2
CLSI EP文件介绍
定性测定的性能分析（CLSI EP12-A2） 检测结果一致性检验的统计分析方法
3
CLSI EP文件介绍
定性测定的性能分析（CLSI EP12-A2）
4
定性测定的性能验证（CLSI EP12-A2）
1、定性试验评价指标
特异性； 灵敏度； 测定下限； 重复性； 准确性； 抗干扰能力。
同样一份样本，在多次重复实验中各有50%的几率获得阳性或阴性的结果时该 分析物的浓度。 临界点与试剂盒阳性反应判断值（Cutoff值）的区别
a) 这里的临界点指的是一个处于试剂检测临界点的样本浓度，其一旦确定， 是不变的；
b) 试剂盒Cutoff值指的是一个判断某一次测定结果的由阴性和阳性对照信号值 按一定公式计算出来的信号值，每次测定都会有所差异。
临界点的(精密度）重复性指的是什么？ 是为正在评价的检测试剂或系统建立分析物的临界浓度(C50)，并且确保临界
浓度±20%的Leabharlann 围处于95%区间内(C5~C95)。
7
定性测定的性能验证（CLSI EP12-A2）
3、Cutoff重复性和测定下限验证 临界值（Cutoff）：实验结果处于（阴、阳性）分界点时的样品中分析物浓度
两种不同方法的不精密度曲线比较
比对试剂的C50和C5~C95区间能反映试剂的灵敏度和不精密度。试剂 批内与批间C50的差异越小，说明试剂的重复性越好。C50浓度也反映出 试剂灵敏度的差异，C50浓度小的试剂对低浓度的标本检出能力强，检测 灵敏度较高。在同C50下C5~C95范围越小，说明试剂的精密性越好。
超出这种方法的95%区间？
40次测定的阳性结果 ≤ 13 40 (32.5%) ≥ 27 40 (67.5%)
两种测量方法定量数据测量结果的一致性评价07-01-04
，由
于随机误差
Eij
与Tj
、
Bij
是独立的，且
Eij
来自与正态分布
N
(0,
σ
2 iE
)
，可以得到，M
仪器
测量值与
N
仪器测量值的协方差为
σ
2＋
T
cov(
BMj
,
BNj
)
。则相关系数为：
σ
2＋
T
cov(
BMj
,
BNj
)
(σ
T2＋σ
M2 B＋σ
2 ME
)(σ
T2＋σ
N2B＋σ
2 NE
)
2
但若 M 仪器测量偏倚人为的增加定值 C，则 BM′ j = BMj + C ，代入上式可发现，
通过绘制blandaltman图观察测量差值d与测量均值a的关系此时对d的独立性检验等价于mn两仪器测量数据的方差齐性检验即对的检验11独立的时候即两种测量数据具有方差齐性且差值不会系统地随测量尺度的扩大而变化在散点图中表现为各散点均衡的在d水平线上下波动且差值服从正态分布时一般情况下差值都服从正态分布可以计算一致性限度196
ρˆ ICC
=
MS区组
+ (k
MS区组－MS误差
−
1）MS误差＋
（k MS处理－MS误差） n
式中，k 表示测量仪器的个数(此处为两种)，n 表示测量对象个数。
ICC 的假设检验，即检验 ICC 是否为零的假设检验，实际上与方差分析检验结果一致[7]，
检验统计量
F
=
MS区组 MS误差
，ν 区组＝n
−1，ν＝(n
)
3
定性试验评价和检测结果一致性检验的统计分析方法
定性试验评价和检测结果一致性检验的统计分析方法目录一、内容概要 (3)1.1 背景与意义 (3)1.2 文献综述 (4)1.3 研究目的与问题 (6)二、定性试验评价方法 (7)2.1 定性试验概述 (8)2.2 常用定性试验评价方法介绍 (8)2.2.1 专家评审法 (10)2.2.2 访谈法 (11)2.2.3 观察法 (11)2.2.4 实验室试验 (13)2.3 定性试验评价方法的比较与选择 (14)三、定性试验检测结果 (16)3.1 检测结果的记录与描述 (17)3.2 检测结果的统计分析 (18)3.3 检测结果的质量评估 (19)四、一致性检验的基本原理 (20)4.1 一致性检验的概念与意义 (22)4.2 一致性检验的常用方法 (23)4.2.1 交叉验证法 (24)4.2.2 Kappa系数检验 (26)4.2.3 Cronbach's alpha系数检验 (26)4.3 一致性检验的参数设置与优化 (27)五、定性试验评价与检测结果一致性检验的统计分析方法 (29)5.1 统计分析方法的分类与应用 (30)5.1.1 方差分析(ANOVA) (31)5.1.2 逻辑回归分析 (32)5.1.3 项目反应理论(RT) (33)5.2 统计分析方法的参数选择与优化 (35)5.2.1 显著性水平与检验功效 (36)5.2.2 样本量与效应量的估计 (37)5.2.3 参数估计与假设检验的合理性 (38)六、案例分析与讨论 (39)6.1 案例背景与数据来源 (40)6.2 定性试验评价与检测结果的一致性检验过程 (41)6.3 结果分析与讨论 (42)七、结论与展望 (43)7.1 研究结论 (44)7.2 研究贡献与局限性 (45)7.3 未来研究方向展望 (46)一、内容概要本文档主要介绍了定性试验评价及检测结果一致性检验的统计分析方法。
我们将概述定性试验评价的基本概念及重要性，强调其在各个领域中的广泛应用。
定量试剂定性试剂临床试验统计学分析讲解
95%一致性界限内，可以认为两种方法测量结果具有较好的一致性。
三、定量-Bland-Altman 偏倚
（3）一致性界限统计方法 先计算差值/比值的一致性界限，再采用Bland-Altman偏倚图分析。
Deming回归
5、分布形态属于偏态分布 1、与对照试剂对比（比较的x和y是互相独 立的，不存在y依赖x） 2、两种试剂的标准差恒定 3、两种系统均有随机误差
区别 指定x和y两个变量描绘散 点图作回归分析，可直接 用excel作回归分析
任取两点确定直线，屡次 反复，得到多条直线并计 算斜率，而后对多个斜率 值取中位数并调整，较为 复杂，一般用MedCalc软 件操作
法仅斜率截距不同。以正态分布区别不同的统计计算方法。
1）Pearson（简单）相关系数统计方法: 当对比试剂和试验试剂服从正态分布时采用Pearson（简单）相关系数，计算公式如下：
r
N i
I
(
xi
-
x
)(yi
-
y
)
N iI
(xi
-
x
)2
N iI
(yi
-
y
)2
其中：N为样本量，x为对比试剂检测结果，y为试验试剂检测结果
一、定量-离群值
6、离群值示例
样本编号i
1 2 3 4 5 6 7 8 9 10 平均值 4*平均值
对比试剂（ Xi）
17.74 22.30 14.76 5.18 13.58 7.88 11.91 12.46 11.31 10.20
/
试验试剂 （Yi）
17.05 18.43 14.79 5.31 14.55 8.49 11.88 12.78 11.62 10.81
06-一致性检验
一致性检验的原理
一致性检验就是将待测光谱的CI与之前设 定的CI限度（CI limit）进行比较，从而 快速简单的判断待测光谱与参考光谱是否 具有一致性。
一致性检验的原理
一致性指数CI的计算公式如下：
n张光谱在某个波数点处有n个吸光度值， 对该波数点的这n个吸光度值求平均值和 标准偏差。
限度控制的方法 设定的CI限度值
双击新产生的CONF数据块
设定的Sum限度
最大的CI值 最大CI值处的波数点 标准偏差
该光谱的Sum 1值、Sum 2值和超过CI限度的 波数点的数量。
对指定样品进行一致性检验
两种方法的比较： 第一种方法能给出该光谱的最大CI值和相 应波数点，以及光谱的整体情况（CI光 谱）。 第二种方法只能给出最大CI值和相应波数 点，方便、简洁。 可以根据实际情况，灵活使用。
一致性检验应用
对特定的制剂产品测定近红外光谱，在OPUS的 Setup Conformity Test模块中建立一致性检验模 型，然后使用该模型对指定产品的光谱进行分析， 快速判断该产品是否超过CI限度。 例1：目前用于在两网建设中追踪药品在配送过程 中的质量变化，例如对利君沙出厂的产品测定光 谱建立一致性检验模型，然后在市场上遇到该批 次药品时使用该模型进行检验，快速判断药品质 量在货运仓储过程中有无变化。
一致性检验应用
例2：也可用于对品牌产品建立快速鉴别模型，对 某厂家品牌药选择几十批次测得上百甚至几百张 代表性光谱，建立一致性检验模型，用于对市场 上该品牌药进行快速筛查，判断是否为假冒伪劣 药品。 此方法可与定性建模中的单品种建模一起使用， 两种方法也可单独使用，但是需要考察哪种方法 更好。例如，对某品牌药测得20批次共200张光谱， 选择其中150张建立定性鉴别模型或一致性检验模 型，然后对另外50张进行检验，看是否有误判。 如果有假药样品，也应进行检验，来判断两个模 型的正确识别率哪个更好。
诊断试验的一致性检验，方法那么多，你捋清楚了吗？
诊断试验的一致性检验，方法那么多，你捋清楚了吗？聊起诊断试验那可是应用相当广泛：评价两种方法或仪器诊断结果是否一致，得用到诊断试验；看看两个大夫对同一群病人诊断是否一致，要用诊断试验；评价同一组患者前后两次诊断结果的一致性，还得用到诊断试验，等等......简而言之，诊断试验关注的重点是“一致性”，也就是说同一个体用两种仪器（方法/评价者）或前后两次时间进行观测，其结果在误差允许范围内是一致的。
评价一致性程度的方法很多，比如说Kappa 值、Kendall一致性系数、组内相关系数（ICC）等等，但是选对合适的方法却不容易，接下来就帮大家梳理一番！配对χ2检验 vs. 一致性检验配对χ2检验（McNemar检验）和Kappa一致性检验都可以用于配对设计的列联表分析（表1），例如，比较超声和CT平扫对于急性阑尾炎的诊断价值，但是两者却各有侧重。
(1) 两者计算方法不同由①②③可知在计算Kappa过程中，会利用到四格表中全部的数据（a、b、c、d），而公式④表明配对χ2检验只利用了四格表中“不一致”的数据（b和c）。
(2) 两者提供的信息不同一致性检验不仅可以明确两种方法是否存在一致，更重要的是可以计算Kappa值，进而评价一致性的程度。
目前认为，Kappa<0，一致性强度极差（实际情况下发生可能性较低）；0-0.20，微弱；0.21-0.40，弱；0.41-0.60，中度；0.61-0.80，高度；0.81-1.00，极强。
配对χ2检验只能给出两种方法阳性（或阴性）检出率的差异是否具有统计学意义，但配对卡方检验掩盖了一个问题，即它对两种方法阳性（或阴性）检出率不区分真阳性（真阴性）和假阳性（假阴性）。
事实上我们更想知道两种方法都检出真正病人或者非病人一致性如何，这里就凸显了Kappa的重要性。
详细操作戳以下链接：SPSS详细操作：一致性检验和配对卡方检验/SPSS操作：一致性检验，如何计算kappa值？加权Kappa和Kendall'Tb系数除了上面提到的无序分类变量，实际过程中我们还会遇到一些有序分类资料（等级资料）的结果（表2），比如化验结果的“-、±、+、++、+++”，这时候就需要用到加权Kappa系数和Kendall'Tb系数来评价诊断试验的一致性。
药物稳定性试验统计分析方法
药物稳定性试验统计分析方法在确定有效期的统计分析过程中，一般选择可以定量的指标进行处理，通常根据药物含量变化计算，按照长期试验测定数值，以标示量％对时间进行直线回归，获得回归方程，求出各时间点标示量的计算值（y'）,然后计算标示量（y'）95％单侧可信限的置信区间为y'±z ，其中：2202)()(1X Xi X X N S t z N -∑-+⋅⋅=- （12-21） 式中，t N -2—概率，自由度N-2的t 单侧分布值（见表12-4），N 为数组；X 0—给定自变量；X —自变量X 的平均值；2-=N QS （12-22） 式中，xy yy bL L Q -=；L yy —y 的离差平方和，N y y L yy /)(22∑-∑=；L xy —xy 的离差乘积之和N y x xy L xy /))((∑∑-∑=；b —直线斜率。
将有关点连接可得出分布于回归线两侧的曲线。
取质量标准中规定的含量低限（根据各品种实际规定限度确定）与置信区间下界线相交点对应的时间，即为药物的有效期。
根据情况也可拟合为二次或三次方程或对数函数方程。
此种方式确定的药物有效期，在药物标签及说明书中均指明什么温度下保存，不得使用“室温”之类的名词。
例：某药物在温度25±2℃，相对温度60±10%的条件下进行长期实验，得各时间的标示量如表12-4。
表12-4 供试品各时间的标示量时间/月 0 3 6 9 12 18 标示量/%以时间为自变量（x ），标示量%（y ）为因变量进行回归，得回归方程 y= －，r=，查T 单侧分布表，当自由度为4，P=得 t N -2=9279.04444.32==-=N Q S210)(2=-∑X X i当X 0=0时，（即0月）2202)()(1X X X X N S t z i N -∑-+⋅⋅=- = ××210)80(612-+=按回归方程计算0月时的y'值得%，则y'值置信区间y'±z ，即：+ = －=其他各时间（3、6、9、12、18月）的y'及置信区间按同法计算，结果见表12-5。
一致性检验KAPPA检验详细解读
一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥0.75两者一致性较好；0.75>Kappa≥0.4两者一致性一般；Kappa<0.4两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
究竟是否是因果联系，须根据一些标准再加以衡量判断。
所谓联系（associatiom）是指两个或更多个变量间的一种依赖关系，可以是因果关系，也可以不是。
例如，对一组肺癌病人（病例组）和一组未患肺癌但有可比性的人（对照组）调查他们的吸烟（暴露）历史（可包括现在吸烟否，过去吸过烟否，开始吸烟年龄，吸烟年数，最近每天吸烟支数；如已戒烟则为戒烟前每日吸烟支数，已戒烟年数，等等）。
定性检新测质量指标跟性能评估
定性检测性能评估方法中南大学湘雅医院检验科胡丽涛2013年6月21日定性试验（qualitative tests）：只提供两种结果的检测方法（阴性或阳性，是或否，正常或异常）。
根据临床用途可分为：筛查试验（screening tests）：用来检查被分析物在全部人群或者部分人口亚群中的存在情况，如梅毒血清学试验。
诊断试验（diagnostic tests）：通常用于特殊的疾病或者临床有怀疑的情况，比如各种微生物的培养用于感染的诊断。
确诊试验（confirmatory tests）：对于筛查实验和诊断实验结果进一步确认的实验，荧光梅毒螺旋体抗体吸附试验。
●分析敏感性analytical sensitivity/测定下限detection limits可重复检测出待测物质的最低浓度水平。
●临床敏感性clinical sensitivity当特定疾病存在时，患者标本检测结果为阳性或超过正常值范围的比率。
●分析特异性analytical specificity一种检测方法仅对样本中的待测物质反应，而与其它物质不发生反应的能力。
●临床特异性clinical specificity当特定疾病不存在时，患者标本检测结果为阴性或者在正常值范围内的比率。
●C50处于或接近临界值的分析物浓度，多次重复检测此浓度的单一样本时将获得50%的阳性结果和50%的阴性结果。
●C5检测浓度为C5的分析物时将产生5%的阳性结果。
用浓度<C5的样本进行重复性检测时，将持续得到阴性结果。
●C95 检测浓度为C95的分析物时将分别产生95%的阳性结果。
用浓度>C95的样本进行重复性检测时，将持续得到阳性结果。
1.厂家工程师对科室相应工作人员进行培训2.培训过程中要求操作人员实际操作4.若考核不合格，应进行再培训再评估样本的收集、处理和贮存试剂的接收、处理和贮存正确的实验操作建立并正确执行常规质量控制程序合理地解释结果具体时间并没有严格的要求，可视仪器复杂程度而定。