定性实验方法学验证
临床检验方法评价

定性实验(qualitative tests) 定性实验
仅给出阳性或阴性(是或非)的实验结果。 特点:使用简便、低成本、操作过程规范 或能满足使用者的特殊要求。 评价:使用病人样本进行重复性实验和方 法比较是非常重要的内容。
定性实验的临床应用
在临床实验室中,定性试验可用于筛查、 诊断、确认、或监测为目的的测定。 试验的敏感性、特异性、预测值和效率等, 决定了其在临床应用的范围。 从临床应用的角度讲,定性实验可分为筛 查实验、诊断实验和确认实验。
方法学比较
样本种类和数量:最好使用常规病人的新 鲜样本,样本量应保证评价实验方法和比 较方法测定的需要。 样本中被测物应稳定,应尽可能用评价方 法和对比方法同时完成测定。 作为最低要求,用对比方法测定的阴性和 阳性样本数量,应分别在50例以上。
方法比较实验过程
使用临床样本进行方法学对比研究应在10 到20天内完成,
筛查实验(screening tests) 筛查实验
筛查实验通常用于对整个人群或特定人群 中是否存在初测物的检查,如:大便潜血
实验。
通常要求检验方法有较高的敏感性,以保 证不漏掉真阳性结果。 一般情况下,筛查实验可能产生假阳性结 果,但在有较好的确认实验及不会带来严 重后果的前提下,还是很有益处的。
确认实验通常在筛查实验和诊断实验之 后进行,对已做出的检验结果进行验证 和确认,以帮助临床医生做出正确的临 床诊断。 确认实验一般设计为有较好的特异性和 较高的阳性预测值,如使用荧光密螺旋 体抗体吸收实验(FTA-ABS)作为梅毒
初筛实验的确认实验。
临界值(cutoff) 临界值
实验结果处于(阴、阳性)分界点时的样 本中分析物浓度值; 低于此值,定性实验的结果为阴性;高于 此值,定性实验的结果为阳性。 对定性实验来讲,临界值是唯一的医学决 定水平,
定性试验评价和检测结果一致性检验的统计分析方法Jerry

2
CLSI EP文件介绍
定性测定的性能分析(CLSI EP12-A2) 检测结果一致性检验的统计分析方法
3
CLSI EP文件介绍
定性测定的性能分析(CLSI EP12-A2)
4
定性测定的性能验证(CLSI EP12-A2)
1、定性试验评价指标
特异性; 灵敏度; 测定下限; 重复性; 准确性; 抗干扰能力。
同样一份样本,在多次重复实验中各有50%的几率获得阳性或阴性的结果时该 分析物的浓度。 临界点与试剂盒阳性反应判断值(Cutoff值)的区别
a) 这里的临界点指的是一个处于试剂检测临界点的样本浓度,其一旦确定, 是不变的;
b) 试剂盒Cutoff值指的是一个判断某一次测定结果的由阴性和阳性对照信号值 按一定公式计算出来的信号值,每次测定都会有所差异。
临界点的(精密度)重复性指的是什么? 是为正在评价的检测试剂或系统建立分析物的临界浓度(C50),并且确保临界
浓度±20%的Leabharlann 围处于95%区间内(C5~C95)。
7
定性测定的性能验证(CLSI EP12-A2)
3、Cutoff重复性和测定下限验证 临界值(Cutoff):实验结果处于(阴、阳性)分界点时的样品中分析物浓度
两种不同方法的不精密度曲线比较
比对试剂的C50和C5~C95区间能反映试剂的灵敏度和不精密度。试剂 批内与批间C50的差异越小,说明试剂的重复性越好。C50浓度也反映出 试剂灵敏度的差异,C50浓度小的试剂对低浓度的标本检出能力强,检测 灵敏度较高。在同C50下C5~C95范围越小,说明试剂的精密性越好。
超出这种方法的95%区间?
40次测定的阳性结果 ≤ 13 40 (32.5%) ≥ 27 40 (67.5%)
定量分析方法的方法学验证

定量分析方法的方法学验证定量分析方法验证的目的是证明采用的含量测定方法适合于相应分析要求,在进行定量分析方法学研究或起草药品质量标准时,分析方法需经验证。
验证内容有:线性、范围、准确度、精密度(包括重复性和重现性)、检测限、定量限和耐用性等。
一,线性线性是指在设计的范围内,测试结果与试样中被测物质浓度直接呈正比关系的程度。
应在规定的范围内测定线性关系。
可用一贮备液经精密稀释,制备一系列供试品的方法进行测定,至少制备五份供试样品;以测得的响应信号对被测物浓度作图,观察是否呈线性,再用最小二乘法进行线性回归。
必要时,响应信号可经数学转换,再进行线性回归计算。
回归方程的相关系数(r )越接近于1,表明线性关系越好。
用UV法测定时,以对照品配制一定浓度范围的对照品系列溶液,吸光度 A 一般在0.3〜0.7,浓度点n = 5,用浓度C对A作线性回归,得一直线方程,方程的截距应接近于零,相关系数r应大于0.9999。
用HPLC法测定时,以对照品配制一定浓度范围的对照品系列溶液,浓度点n = 5〜7,用浓度C对峰高h或峰面积A或被测物与内标物的响应值之比进行线性回归或非线性拟合(如HPLC-ELSD ),建立方程,方程的截距应趋于零,相关系数r应大于0.999。
线性关系的数据包括相关系数、回归方程和线性图。
二,范围范围系指能达到一定精密度、准确度和线性,测试方法适用的高低限浓度或量的区间。
范围应根据分析方法的具体应用和线性、准确度、精密度结果及要求确定。
对于有毒的、具特殊功效或药理作用的成分,其范围应大于被限定含量的区间。
三,精确度准确度系指用该方法测定的结果与真实值或参考值接近的程度,一般用回收率(% )表示。
准确度应在规定的范围内测试。
用于定量测定的分析方法均需做准确度验证。
1.测定方法的准确度可用已知纯度的对照品做加样回收率测定,即于已知被测成分含量的供试品中再精密加入一定量的已知纯度的被测成分对照品,依法测定。
定性实验方法学验证

Method validation of the qualitative test
几个重要概念及计算公式的回顾:
1.诊断敏感性:将实际患病者正确诊断为阳性的百分率。 诊断敏感性
计算公式为:真阳性 (真阳性+假阴性 假阴性) 计算公式为:真阳性/(真阳性 假阴性)X 100% . 2.特异性 : 指将实际无病者检测为阴性的百分率。 计算公式为:真阴性 真阴性+假阳性 假阳性) 计算公式为:真阴性/( 真阴性the qualitative test
精密度验证: 二.精密度验证 精密度验证
1.批内精密度:同一份样本在同一批次内平行重复检测 10次.然后计算均值,SD和CV. 2.批间精密度:同一份样本连续检测10天,每天平行检 测双孔.然后计算均值,SD和CV. Note:1.用S/CO比值进行统计计算. 2.最好选择临界值,或弱阳性样本.
Method validation of the qualitative test
验证的内容: 验证的内容 准确度(Accuracy) 准确度 精密度(Precision) 精密度 诊断敏感性( 诊断敏感性(sensitivity of diagnosis) ) 特异性(specificity): 特异性( )
比如麻疹病毒IgG,CP-IgG,MP-IgG等一系列病毒抗体IgG.因为很难确认体检者既 往是否有过感染史,而IgG抗体在体内存留时间长.因此很难收集到真正意义上的阴 性样本.
Method validation of the qualitative test
补充1:同一项目不同检测方法或仪器的比对 补充 同一项目不同检测方法或仪器的比对
适用范围:一个项目有两种以上的方法或者两台以上 适用范围 的仪器(包括同一型号的仪器)同时检测,需要进行一 致性比对. 定量检测中,报告单位不同的不需要比对
检验方法性能验证

阳性结果的可靠性(预示值):即测定为阳性的标 本实际上为阳性的可能性。 =[真阳性/(真阳性+假阳性)]×100%
阴性结果的可靠性(预示值): 则为一份给出阴 性结果的样本实际上为阴性的可靠性。 = [真阴性/(真阴性+假阴性)]×100%
(一)准确度验证: 1 .样本的临床诊断已知(敏感性、特异性)
学比对) 3、可报告范围(验证最大稀释倍数) 4、参考区间(检测20个正常样本验证)
定量检测系统的性能评价
一 精密度评价 二 正确度评价 三 线性范围和可报告范围的评价
一、测定系统的关键要素
方法学
试剂配方 和来源
操作程序
测定系统
仪器
第8页
校准品
二、评价的基本步骤 1. 确定方法的质量目标,总允许误差 2. 选定评价指标 有量值溯源的配套检测系统,正确度、精 密度、可报告评价的实验数据 4. 判断方法的临床可接收性
(二)正确度评价试验
1.用有量值溯源的参考物质进行测定 2.使用决定性方法或参考方法 3.与具有量值溯源检测系统进行比对
(1)EP方案(EP9-A,EP15-A) (2)简易比对方案
(1) EP15-A方案
标本要求
应来源于健康人或患者,无明 显干扰因素。
全部标本在整个线性范围内均 匀分布,标本至少20例。
熟悉
三、评价文件(1)
EP5-A:临床化学设备操作精密度评价 核准指南 EP6-A:定量分析方法的线性评价: EP7-P:临床化学实验干扰 ,用于干扰物对检测结果
影响的定性。 EP9-A:用病人标本进行方法学比较和偏倚评估 ,主
要用于检测两种临床方法或设备间的偏倚。
评价文件(2)
EP10-A:定量实验室方法的初步评价 EP14-A:基质效应的评价 EP15-A:精密度和准确度性能的应用 EP21-P(NEW):临床实验方法总分析误差的评估
定性免疫学检验的性能验证与质量控制

检出限的验证方法
样本选择:评估试剂分析灵敏度所使用的样本,如 检测项目有国家参考品,则可使用国家参考品或经国 家参考品标化的参考品进行检测,如没有国家参考品 ,则使用可以溯源或量化的样本,如国际标准物质, 或与国际标准物质溯源的样本。 验证方法:处于测定下限浓度( C95 )的样本,重 复检测20次,应至少有18次以上为阳性反应。
精密度评估的基本原则(2)
评估精密度时,应至少评估两个浓度水平样本的精 密度。 所选样本浓度应在测量范围内有医学意义,即至少 有一个浓度在医学决定水平左右,在定性测定,即为 接近临界水平的浓度。
批内精密度的评估
评估方法:三个不同浓度的样本,在一个测试批内 重复进行至少20次检测,计算所得S/CO值的均值和SD ,计算批内CV%。 质量控制:检验时应同时至少测一个质控品。 判断结论:应≤试剂说明书所标明的批内变异。 ELISA的批内变异CV%应≤10%。
(三)准确度验证
验证方法及指标: 以与临床诊断、金标准方法和标准血清盘的检 测比较来评价,常以敏感性(包括临床敏感性)/ 特异性(包括临床特异性)和阳性符合率/阴性符 合率来表示。
临床特异性和临床敏感性
临床敏感性:在患有明确临床疾病的患者中,其检 测结果呈阳性或者超过正常值范围的比率 (即出现 阳性结果和确定患者患病)。 临床特异性:在没有特定临床疾病的患者中,其检 测结果呈阴性或者在正常值范围内的比率。
(一)不精密度的验证
纯定性试验:采用浓度接近临界值的分析物作为检 测材料,不宜采用阴性低值或强阳性样本来评价定性 检测方法的不精密度。 量值化定性试验:以COI(cut-off Index)或S/CO 比值作为分析方法的精密度评价指标。
纯定性测定不精密度的评估方法
定性测定的性能验证
定义
确认试验:确认试验用于验证筛查试验或者诊 断试验结果。如果确诊试验证实了之前的检测 结果,临床医生即可作出诊断。确认试验通过 设计使其具有较高的特异性(有时甚至以牺牲 敏感性为代价)以及高阳性预测值。螺旋体抗 体荧光吸附(FTA-ABS)梅毒血清学试验就 是一种用于VDRL梅毒血清学试验等筛查试验 之后的确认试验。
批间重复性的验证
高、中、低三个浓度的样本,在10 天以上时间内单次(孔或管)重复 进行20批检测,计算所得S/CO值的 均值和SD,计算批间CV%。
判断结论:应≤试剂说明书所标明的 批间变异。 ELISA的批间变异CV% 应≤15%。
测定下限的验证
处于测定下限浓度(如临界点 浓度+20%)的样本,重复检测 20次,应至少有18次以上为阳 性反应。
100 50 50%
30%-70% 35%-65% 40%-60%
C30-C70
候选方法的-20%~+20%浓度范 围是否包含了C5-C95区间?
1 +20% -20%
阳性结果=<35/40(87.5%) -20% ~ +20% 浓 度 范 围 在 用该方法检测浓度超过C50+20%的
C5-C95区间之内
样本检测结果不一致
阴性结果=<35/40(87.5%)
2 +20% 阳性结果>=36/40(90%) -20% 阴性结果>=36/40(90%)
-20%~+20%浓度范围包含 用该方法检测,C50+20%的样本检
了C5-C95区间
测结果一致
3 +20% -20%
4 +20% -20%
阳性结果>=36/40(90%) 阴性结果=<35/40(87.5%)
免疫定性实验性能验证
1、符合率 ——(2)方法符合率验证
2)验证方案: 选取: 10份阴性样本(包含至少5份其他标志物阳性的样本) 10份阳性样本(包含至少5份弱阳性样本,1份极高值阳 性样本) 注:弱阳性样本浓度在CUT-OFF值和2-4 倍CUT-OFF之间
共20份样本,随机每4份分成一组。 采用参比方法和候选方法均每天按照患者样本检测程序进行
性能验证的合格标准及验证人员
试剂盒说明书指标(先决条件!) 国际和/或国内标准 性能实验验证只能由本实验室人员在自己的场地、使用
自己的检测系统进行,厂家的数据、外单位的实验室 测定结果、学术刊物发表论文结论、科技成果等均不 能替代,只可做参考。
评价前的准备
实验室工作人员的培训 熟悉待评价的试剂或系统 掌握样本和试剂的处理和存储过程 按厂商的要求进行,注意基质效应 定性实验需进行阴性和阳性质控物测定
×100%
13、似然比(LR) 表达的是患某种疾病的患者所测定不同结果范围中,
患该病与不患该病的比值。在只有阳性、阴性结果时, 一般分阳性似然比及阴性似然比两种。
阳性似然比:真阳性率( TPR)与假阳性率(FPR)的 比值即为阳性似然比(+LR)。可用以描述当某就诊者的该 诊断性试验结果为阳性时,其患病与不患病的机会比。 显然阳性似然比的值越高,检验结果阳性时,诊断为某 病的概率越大,该检测方法确诊疾病的能力就越强。其 阳性似然比的计算公式为:
1、符合率 ——(1)诊断符合率验证
金标准(诊断准确度标准)
疾病
非疾病
候选实验
a(+,阳性)
b(+,阳性)
a+b
c( -,阴性) d( -,阴性)
c+d
n1
定性试验验证内容和方法
对比方法 总计 阳性 阳性 阴性 a c a+c 阴性 b d b+d a+b c+d n
实验方法 总计
阳性符合率 = 100% × [a/(a+c)] 阴性符合率 = 100% × [d/(b+d)] a+d )/n] 总符合率 = 100% × [( [(a+d a+d)/n]
更换批号的简易比对: 新鲜患者血清阴性2例,阳性3例,阳性包含有 S/CO高、中、低值,用新旧批号试剂检测。 低值避开“灰区” 夹心法:S/CO低值1.2-3 竞争法:S/CO低值0.4-0.6 判断标准:符合率为100%为可接受。Fra bibliotek审核人:
日 期:20 年 月 日
注:⑴要求;⑵均值、标准差、CV%为≤±3S数据的统计值。
质量控制工作失控分析思路
(一)试剂方面 1.是否更换批号? 配套试剂及辅助试剂,更换后是否重新定标 2.试剂是否过期?开瓶时间是否过长,试剂及辅助 试剂是否在有效期 3.保存是否正确,冰箱温度变化,试剂是否变质 4.试剂是否放错位置? 5.不同瓶、不同批试剂是否合并使用?
二.更改检测系统的确认试验 准确度(EP9) 精密度(EP5) 可报告范围(EP6-P2) 参考区间(C28-A2) 分析灵敏度( EP17-A) 线性范围(EP6-A) 分析特异性(包括干扰物质)( EP7-P)
第二节 定性检测系统的性能验证
一、验证的内容(掌握): (1)敏感度 (2)特异度 (3)正确度 (4)符合率 (5)精密度 (6)CUTOFF值验证
二.精密度验证: 1.批内精密度:同一份样本在同一批次内平行重复检 测20次.然后计算均值,SD和CV. 2.批间精密度:同一份样本连续检测20天,每天平行 检测双孔.然后计算均值,SD和CV. 注意:1.用S/CO比值进行统计计算. 2.最好选择临界值,或弱阳性样本. 判断标准: ELISA批内CV <10%,批间<20%
定性实验方法学验证
Note:1. 用S/CO 比值进行统计计算 . 2.最好选择临界值 ,或弱阳性样本 .
判断标准 :批内 CV 小于 15%, 批间 CV 小于 25%.
Method validation of the qualitative test
↓
Kappa 检验 ,评价一致性
Method validation of the qualitative test
补充说明 :关于 CUTOFF 值验证 定量实验但是报告定性结果的才需要做 CUTOFF 值验证 .(比如 PCR 室的乙肝 DNA 定性 ).
Method validation of the qualitative test
Method validation of the qualitative test
几个重要概念及计算公式的回顾 :
1.诊断敏感性 :将实际患病者正确诊断为阳性的百分率。
计算公式为:真阳性 /(真阳性 +假阴性) X 100% .
2.特异性 :
指将实际无病者检测为阴性的百分率。 计算公式为:真阴性 /( 真阴性 +假阳性) X 100% .
Method validation of the qualitative test
四.特异性 :
1.验证方法 :选取 20份正常健康人血清(一般取自健康体检 者),计算其检测阴性结果所占百分率。
2.样本来源 :体检样本 ,体检者本人填写 <健康调查表 >确认符合 要求后即可 .
NOTE: 部分项目在健康体检人群中阳性率也很高 ,此类项目特 异性验证很难执行 ,建议引用厂家说明书 .
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
判断标准:批内CV小于15%,批间CV小于25%.
Method validation of the qualitative test
三.诊断敏感性:
1.验证方法:取10-20份已知真阳性的样本(样本来源困难时 可以酌情减少)。用常规检测方法检测,计算检测阳性的 样本占样本总数的比例。
2.样本来源: 临床上明确诊断的阳性病人血清; 厂家提供的明确为阳性的样本; PT中的阳性样本; 决定性参考方法检测阳性的样本; 以上阳性样本来源紧张时,可以进行稀释(如 validation of the qualitative test
四.特异性:
1.验证方法:选取20份正常健康人血清(一般取自健康体检 者),计算其检测阴性结果所占百分率。
Method validation of the qualitative test
验证方法1: 找临界浓度的标准品(可要求厂家提供), 连续检测20次,95%的结果落在临界范围 即可.
验证方法2: 连续统计一段时间的检测结果,处于临界 范围的结果比例小于5%即可.
Method validation of the qualitative test
甲肝IgM定性项目方法学验证.doc 2008年3月优生仪器比对.doc
Method validation of the qualitative test
参考资料:
1.《定性实验方法学验证管理程序》KM-MP0301.20 2. User Protocaln for Evaluation of Qualitative Test
↓
随机每8份分成一组
↓
两种方法(或两台仪器)每天平行检测一组样本
↓
将所有检测结果汇总
↓
Kappa检验,评价一致性
Method validation of the qualitative test
补充说明:关于CUTOFF值验证 定量实验但是报告定性结果的才需要做 CUTOFF值验证.(比如PCR室的乙肝 DNA定性).
Performance Performance;Approved Guideline,NCCLS-EP12-A
2.样本来源:体检样本,体检者本人填写<健康调查表>确认符合 要求后即可. NOTE:部分项目在健康体检人群中阳性率也很高,此类项目特 异性验证很难执行,建议引用厂家说明书.
比如麻疹病毒IgG,CP-IgG,MP-IgG等一系列病毒抗体IgG.因为很难确认体检者既 往是否有过感染史,而IgG抗体在体内存留时间长.因此很难收集到真正意义上的阴 性样本.
时测定同样的样品,用KAPPA检验方法分析两种 方法检测结果一致性.(比如HBV酶免法和发光法 比对)
Method validation of the qualitative test
二.精密度验证:
1.批内精密度:同一份样本在同一批次内平行重复检测 10次.然后计算均值,SD和CV.
2.批间精密度:同一份样本连续检测10天,每天平行检 测双孔.然后计算均值,SD和CV.
Method validation of the qualitative test
一.准确度验证:
1 .检测已知值的参考物质 • 室间质评材料 (卫生部或者CAP) • 厂商提供的已赋值的参考材料 • 分析用参考方法或决定方法定值的材料。(如
dsDNA检测) 2. 方法比较试验:样本数为10-20个,两种方法同
Method validation of the qualitative test
几个重要概念及计算公式的回顾: 1.诊断敏感性:将实际患病者正确诊断为阳性的百分率。
计算公式为:真阳性/(真阳性+假阴性)X 100% .
2.特异性 :
指将实际无病者检测为阴性的百分率。 计算公式为:真阴性/( 真阴性+假阳性) X 100% .
Method validation of the qualitative test
3.Kappa检验:
用与两组定性结果一致性比较.用公式
计算得到一个 kappa值. kappa值位
于〔-1,1〕, Kappa≥075时两组结果一
致性较好;0.75>Kappa≥0.4两者一致
性一般;Kappa<0.4表示两者一致性 很差.
• 观察一致率P0=(A+D)/ N
阳性 方 法 阴性
• 机遇一致率Pc=(R1C1/N + R2C2/N) / N
A 合计
• 实际观察一致率= P0 — Pc
• 非机遇一致率= 1- Pc
• Kappa= ( P0 — Pc)/(1- Pc)
方法B 阳性 阴性 合计 A B R1 C D R2 C1 C2 N
Method validation of the qualitative test
补充1:同一项目不同检测方法或仪器的比对
适用范围:一个项目有两种以上的方法或者两台以上 的仪器(包括同一型号的仪器)同时检测,需要进行一 致性比对. 定量检测中,报告单位不同的不需要比对
首次比对选取40份(20)样本,最好阴阳性各半
定性实验的方法学验证
Method validation of the qualitative test
李慧源 临床免疫学实验室 Kingmed clinical immunology Lab
Method validation of the qualitative test
验证目的: 1.评价和验证各定性检测项目的准确度、
同一项目不同检测方法或仪器的比对 CUTOFF值验证
Method validation of the qualitative test
实施验证的时机: • 引进新检测项目及方法。 • 已确立的检测方法的更新。 • 原有的检测方法应用扩大到新的检测范
畴。 • 质控指标表明已确立的检测方法性能正
随时间而改变。
精密度、灵敏度、特异性、等各项参数, 满足临床检测和认可组织的要求. 2.验证厂家提供的试剂参数能在本实验室 得到重现.
Method validation of the qualitative test
验证的内容: 准确度(Accuracy) 精密度(Precision) 诊断敏感性(sensitivity of diagnosis) 特异性(specificity):