诊断性试验的分析与评价
诊断试验评价与ROC分析方法

诊断试验评价与ROC分析方法第一节概述诊断试验包括各种实验室检查诊断、影像诊断和仪器诊断(如X线、超声波、CT扫描、磁共振及纤维内镜等),各种方法的诊断价值如何,必须通过诊断试验确定。
传统诊断试验)、符合率(E)等,这些评价指标为广大的医评价方法有灵敏度(TP)、特异度(1FP学研究工作者所使用,但是为了使用这些指标必须将诊断试验分成“阴性”和“阳性”两种结果,由于这些指标与所选择的诊断标准或阈值有关,评级结果可能出现不一致性情况。
Harris 曾对某文献中的7篇诊断试验的文章进行了分析,发现其中有5篇得到的灵敏度和特异度是明显可以变化的,如果改变分类准则会是另一评价结果,这很容易引导研究人员做出有利于自己的选择。
另一个问题是,从临床决策观点看,无论对何种疾病的诊断,最终应当做出“是”或“非”的回答,但实际中只有很少的情况能够给出明确的诊断,多数情况只能根据检查的结果做出一个不确定的判断,如“正常、大致正常、可疑、非常可疑、异常”,一种新的诊断技术的产生尤为如此。
如果在评价时按照实验样本归为两类或丢弃中间状态的数据,很容易夸大诊断试验的结果。
在实际工作中有相当一些诊断技术由于缺乏准确的评价,在一开始出现时往往过分夸大其作用即与此有关。
ROC分析方法则可以更客观的对诊断试验做出评价。
一、诊断试验的ROC分析方法ROC曲线即受试者工作特征曲线(Receiver operating characteristic curve),ROC曲线及其分析已统计决策理论为基础,起源于电子信号观测理论、用于雷达信号接受能力的评价,目前已经应用于许多医学、非医学领域,如人类感知和决策研究、工业质量控制、军事监控等。
ROC曲线从二十世纪八十年代起广泛应用于医学诊断试验的评价。
美国生物统计百科全书中关于ROC曲线的定义是:“对于存在或可能存在混淆的两种条件或自然状态,需要受试者、专业诊断学工作者以及预测工作者做出精确判断,或者准确决策的一种定量方法。
(循证医学课件)第10章诊断性试验循证分析与评价

制图方法: ➢ 以该试验的敏感度(真阳性率)为纵坐标(Y轴),而以1-特 异度(假阳性率)为横坐标(X轴),
➢ 依照连续分组测定的数据,分别计算SEN及SPE,按照 平面几何方法,将给出各点联成曲线,即为ROC曲线
判定方法: ➢ 曲线的各点中,距Y轴顶点直线距离最近的一点,即为 正常值的最佳临界值。
➢ ROC曲线 ➢ 似然比的应用 ➢ 提高敏感度或特异度方法
一、ROC曲线的应用 ROC曲线(receiver operator characteristic curve)
又称受试者工作特征曲线,在诊断性试验 中应用的目的有两个:
➢ 1、用于正常值临界点的选择 ➢ 2、用于优选性质类似的诊断性试验
表10-5 +LR和验前概率与验后概率的关系
*表中数据均为验后概率(%)
由上表可知:如果阳性似然比较高,即使验前概率在较 低情况下,验后概率也会有很大的增长
表10-6 部分常见病、诊断性试验结果的阳性似然比(1)
接下页
表10-6 部分常见病、诊断性试验结果的阳性似然比(2)
我国诊断性试验的研究不断发展
➢ 1985~1995年中华系列杂志中,共发表诊断性 试验的论著50篇
➢ 1996~2000年中华检验医学杂志,共发表诊断 性试验论著111篇
➢ 2001~2007年中华医学会6种核心杂志中共检出 诊断性试验的论著5l篇
近10年来快速诊断性试验(rapid diagnostic tests,RDTs) 在热带病研究中发展迅速
表10-3 缺血性贫血患者血清铁蛋白检查结果
SEN=731/809=90.4% SPE=1500/1770=84.7% +LR=SEN/ (1-SPE)=5.9
诊断试验临床效能评价

诊断试验临床效能评价诊断试验的临床效能评价是医疗领域中一项重要的工作,它旨在评估诊断试验的准确性、灵敏性和特异性,从而帮助医生和临床决策者做出准确的诊断和决策。
本文将从准确性、灵敏性和特异性三个方面,分别介绍诊断试验的评价指标和评价方法。
一、准确性评价准确性是评价诊断试验表现的重要指标之一,它代表了试验结果与实际情况之间的一致程度。
常用的准确性指标有阳性预测值(PPV)、阴性预测值(NPV)、真阳性率(TPR)和真阴性率(TNR)。
其中,阳性预测值指的是在试验结果为阳性的情况下,实际患病的比例;阴性预测值则指的是在试验结果为阴性的情况下,实际未患病的比例。
真阳性率和真阴性率则是指试验结果与实际情况一致的比例。
评价诊断试验准确性的方法主要有对照组研究和交叉验证研究。
对照组研究常用于评价新诊断试验与已有试验或“金标准”之间的一致性,通过比较试验结果与“金标准”结果之间的差异,来评价试验的准确性。
交叉验证研究则是指在不同的样本集上进行验证,通过评估试验在不同样本集上的一致性来评价其准确性。
二、灵敏性评价灵敏性是评价诊断试验的另一个重要指标,它代表了试验对实际患者的检出能力。
简而言之,灵敏性越高,试验越能检测出真正的患者。
灵敏性的评价常用的指标是真正阳性率(TPR),也称为召回率或敏感性。
它表示试验对真正患者的检测比例。
评价诊断试验灵敏性的方法主要有“金标准”对照和受试者工作特征曲线(ROC曲线)分析。
在“金标准”对照中,将试验结果与“金标准”结果进行对比,来评价试验的灵敏性。
ROC曲线分析则常用于评价试验结果的连续性,通过绘制曲线来显示不同阈值下试验的灵敏性和特异性。
三、特异性评价特异性是评价诊断试验的又一个重要指标,它代表了试验对非患者的判断能力。
特异性越高,试验越能排除非患者。
特异性的评价常用的指标是真正阴性率(TNR),即试验对真正非患者的判断比例。
评价诊断试验特异性的方法主要有独立样本验证和交叉验证。
诊断试验的评价和ROC分析

诊断试验的评价和ROC分析诊断试验是一种常用的医学检验方法,用于确定患者是否患有某种疾病。
然而,单纯通过试验结果判断是否患病往往并不准确。
因此,我们需要评价诊断试验的准确性,并使用ROC分析来量化其性能。
1. 诊断试验的评价指标为了评估诊断试验的性能,我们需要引入以下四个指标:敏感度、特异度、阳性预测值和阴性预测值。
敏感度(Sensitivity)是指在真正患病的人中,试验能正确诊断出疾病的比例。
敏感度越高,表示试验具有较好的疾病检测能力。
特异度(Specificity)是指在真正健康的人中,试验能正确排除疾病的比例。
特异度越高,表示试验具有较好的非患病排除能力。
阳性预测值(Positive Predictive Value)是指在试验为阳性的情况下,患者真正患病的概率。
阳性预测值越高,表示试验结果与患病状态的相关性越高。
阴性预测值(Negative Predictive Value)是指在试验为阴性的情况下,患者真正健康的概率。
阴性预测值越高,表示试验结果与健康状态的相关性越高。
2. ROC曲线和AUC值为了综合评价诊断试验的准确性,我们引入了ROC曲线(Receiver Operating Characteristic Curve)和AUC值(Area Under Curve)。
ROC曲线是以敏感度为纵轴,以1-特异度为横轴绘制的曲线。
曲线上每一个点表示了在不同阈值下的敏感度和特异度。
ROC曲线越靠近左上角,表示试验性能越好。
AUC值是ROC曲线下面积的数值,范围在0.5到1之间。
AUC值越接近1,表示试验具有较高的准确性。
3. 如何进行ROC分析进行ROC分析通常需要以下步骤:(1)收集样本数据:包括疾病阳性和阴性样本,以及其相应的试验结果。
(2)计算敏感度和特异度:根据试验结果计算敏感度和特异度,并绘制ROC曲线。
(3)计算AUC值:根据ROC曲线计算AUC值。
(4)选择最佳阈值:根据需求和实际情况,选择最佳的阈值以平衡敏感度和特异度。
诊断实验的研究与评价

3)再检验其血清肌酸磷酸酶(CPK)>80单位,此时阳性似然比为7.75。
其验前比=0.9167/(1-0.9167)=11.0048;验后比=11.0048×7.75=85.25。
• 验后概率=85.25/(1+85.25)=0.988 经过询问症状,心电图检查及血清CPK检查,该病人患冠心病的可能性为98.8%,因
•
粗一 致 a率 d 10 % 0 abcd
调整 1 一 a 致 a率 dd 4 a ba cc db d
4.似然比(likelihood ratio LR)
综合了灵敏度和特异度的信息,其含义为:病人 中出现某种检测结果的概率与非病人中出现相应结 果的概率之比,它表明某项试验所确定的阳性界值 (截点)能否良好地区分真阳性和假阳性。根据似 然比可以判断诊断试验阳性或阴性时患病的概率, 以助临床医生的诊断决策。
•
误诊率B 10% 0 BD
正确诊断指数(Youden指数)
一项诊断方法发现真正的病人和非病人的总能力。
约登指A 数=(灵D敏度+ 特异度 )-1
或 约登A+指C数 = B+D +
-1
将灵敏度和特异度合并为一个指标,可更全面地评价、
比较各种筛检试验的真实性。 指数愈大,反映的真实性也愈大。
约登指数的标准误为
ROC Curve
1.00
.75
Se ns it iv ity
.50
.25
0.00
0.00
.25
.50
.75
1.00
1 - Specificity
图2--ROC曲线图
第四节 诊断试验的评价
用某些指标对诊断试验的真实性、 可靠性以及效益进行评价。
医学诊断试验评价的ROC分析

医学诊断试验评价的ROC分析ROC分析是一种用于评价二分类系统性能的方法。
在医学诊断中,通常将诊断结果分为阳性(患病)和阴性(未患病)两类。
ROC曲线是以灵敏度(True Positive Rate)为纵轴,以1-特异度(False Positive Rate)为横轴绘制的曲线。
曲线下面积(Area Under Curve,AUC)反映了试验的诊断准确性,AUC越大,说明试验的准确性越高。
ROC分析的基本步骤如下:1.收集数据:收集一组经过相关诊断试验测试的患者数据,包括患病与否的真实情况和试验结果。
2.绘制ROC曲线:根据患病与否的真实情况和试验结果计算出各个患病与否情况下的灵敏度和1-特异度,将这些点连接起来就可以得到ROC 曲线。
3.计算AUC:根据ROC曲线计算出曲线下面积,常用的计算方法有两种:直接计算法和近似计算法。
直接计算法是通过对多个小矩形的面积进行累加得到AUC,公式为AUC=sum((TP+TP')/2*(FP-FP')),其中TP和FP分别表示每个点的灵敏度和1-特异度,TP'和FP'表示下一个点的灵敏度和1-特异度。
近似计算法是通过曲线上多个点的线性插值得到AUC,公式为AUC=sum((TP+TP')/2*(FP-FP')),其中TP和FP分别表示每个点的灵敏度和1-特异度,TP'和FP'表示下一个点的灵敏度和1-特异度。
4.评价:根据AUC的大小评价诊断试验的准确性,一般认为AUC在0.5-0.7之间的试验判定为低准确性,0.7-0.9之间的试验判定为中等准确性,0.9以上的试验判定为高准确性。
ROC分析的优点是不受患病率的影响,适用于不同患病率的疾病。
此外,ROC曲线上任意一个点都可以作为试验的阈值,根据需要选择不同的阈值,灵活性较大。
尽管ROC分析是一种常用的方法,但也存在一些局限性。
首先,ROC 曲线只适用于二分类问题,对于多分类问题需要使用其他方法。
诊断性试验的评价标准

诊断性试验的评价标准诊断性试验是指通过对疾病或病变进行检测和分析,以便及时准确地进行诊断的一种临床实验。
在进行诊断性试验时,评价标准是非常重要的,它可以帮助我们准确地评估试验的有效性和可靠性。
本文将就诊断性试验的评价标准进行探讨。
首先,诊断性试验的评价标准应包括灵敏度和特异度。
灵敏度是指在疾病存在的情况下,试验能够正确识别出阳性结果的能力;特异度是指在疾病不存在的情况下,试验能够正确识别出阴性结果的能力。
灵敏度和特异度是评价诊断试验准确性的重要指标,它们直接影响了试验结果的可信度和可靠性。
其次,评价标准还应包括阳性预测值和阴性预测值。
阳性预测值是指在试验结果为阳性的情况下,被检测者真正患有该疾病的概率;阴性预测值是指在试验结果为阴性的情况下,被检测者真正不患有该疾病的概率。
阳性预测值和阴性预测值是评价试验结果对个体诊断价值的重要指标,它们可以帮助我们更好地理解试验结果所传达的信息。
此外,评价标准还应考虑到试验的重复性和稳定性。
重复性是指在相同条件下,试验能够重复出相似的结果;稳定性是指在不同条件下,试验能够产生一致的结果。
重复性和稳定性是评价试验可靠性和稳定性的重要指标,它们可以帮助我们判断试验结果是否具有可重复性和可靠性。
最后,评价标准还应考虑到试验的成本效益和实际应用情况。
成本效益是指在达到相同诊断效果的情况下,试验所需的成本与收益的比例;实际应用情况是指试验结果在临床实践中的应用效果和价值。
成本效益和实际应用情况是评价试验实用性和经济性的重要指标,它们可以帮助我们更好地理解试验结果在实际应用中的价值和意义。
综上所述,诊断性试验的评价标准是多方面的,需要综合考虑试验的准确性、可靠性、重复性、稳定性、成本效益和实际应用情况等因素。
只有综合考量这些因素,才能够全面评价试验结果的有效性和可靠性,为临床诊断提供更准确、更可靠的依据。
希望本文的内容能够对诊断性试验的评价标准有所帮助,谢谢阅读。
诊断试验的评价与ROC分析

9(FP) 171(TN)
180
425 275 700(N)
二、灵敏度(Sensitivity) Sen P(T | D ) TP (TP FN ) = TPR
SEsen TP FN (TP FN)3 Sen(1 Sen) (TP FN) 。
本例TPR=Sen=416/520=0.8,
P1 (TP FN ) N (416 104 ) 700 0.7429 ,而 P0 0.0005。
阳性预报值与阴性预报值
PV TP (TP FP) , PV TN (FN TN ) 一般用于某特定人群,
如例13.2限定研究对象为“进入某医院的急性持久胸痛病人”,这类人群 的患病情况往往在不同级别医院不一样,因此适合大医院或教学医院的 诊断标准不能轻易照搬于基层小医院或流行病学现场。
SE正确百分率 (416 171)(9 104) / 7003 0.0139 1.39% 。
问题:(1)依赖于患病率,(2)没有揭示假阴性和假阳性 错误诊断的频率,(3)受诊断阈值的限制。
例13.2 表13.2 ECG诊断试验的结果
ECG诊断结果
心肌梗塞
出现
不出现
合计
阳性 阴性 合计
416(TP) 104(FN)
0.9999
9999
10000
如果 P0 0.2, PV 0.95 95% ,此时阴性预报价值降低不明显。
例13.2 表13.2 ECG诊断试验的结果
ECG诊断结果
心肌梗塞
出现
不出现
合计
阳性 阴性 合计
416(TP) 104(FN)
520
9(FP) 171(TN)
180
425 275 700(N)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
六、提高诊断性试验效率的方法: 联合试验
1. 平行试验:同时做几个试验,只要有一个阳性,即
可认为有患病证据。平行试验提高了敏感度和阴性 预测值,但降低了特异度及阳性预测值。 如联合用阻抗体积描记图及注射125I纤维蛋白原下 肢扫描诊断下肢深静脉栓塞。单独应用这2种方法 时,2种方法的敏感度均为74%,平行试验可使敏感 度提高到94%。 Sen=Sen1 + Sen2 - Sen1 X Sen2
2-39 40-79 80-119 120-159 160-199 200-239 240-279 280-319 320-359 360-399 400-439 440-479
>=480 35 0
AMI
+ 2 - 88
13 26
30 8
30 5
21 0
19 1
18 1
13 1
19 0
15 0
7 0
13
如果扩大检查范围,将该地全体运动员都 作上述检查,结果如表2: 冠状动脉狭窄>75% 是 否 运动心电图+ 55(a) 42(b) 97 - 49(c) 478(d) 527 104 520 624
14
SEN=55/104=53%(不变) SPE=478/520=92%(不变) ACC=(55+478)/624=85%(增加20%,14个 百分点) +PV=55/97=57%(下降38%,32个百分点) -PV=478/527=91%(增加44%,28个百分 点) PREV=104/624=17%(原为53%) +LR=0.53/(1-0.92)=6.6(不变) -LR=(1-0.53)/0.92=0.51(不变) 阳性率=97/624=15%(下降52%,16个百 分点)
8 0
20
如将CPK 80单位作为诊断心肌梗死的临界值,列出四格 表 急性心肌梗塞 是 否 ≥80u 215 16 CPK <80u 15 114 230 130 SEN=a/(a+c)=215/230=0.93 SPE=d/(b+d)=114/130=0.88 +LR=SEN/(1-SPE)=0.93/(1-0.88) =7.75
15
结果解释
PREV的下降是由于扩大了检查范围, 被检人群中,患病者例数减少所致。 随着PREV的下降,ACC、-PV ↑,而+PV、阳性率↓。 SEN、SPE、+LR、-LR、稳定不变。
在评价诊断性试验中,一般不用阳性率,因 阳性病例数并未说明是真阳性或假阳性。
16
从以上2组数据可以看出:
肯定疾病的诊断; 凡假阳性结果会导致病人精神负担,或不 当防治措施会给病人带来严重危害。 18
四、诊断性试验的样本大小的计算
计算时,先查阅文献或作预试估计SEN、SPE 病例组(N1):用该试验敏感性估计 P1=(a/a+c) 对照组(N2):用该试验特异性估计 P2=(d/b+d) 用估计总体率的样本公式分别计算
从评价的资料中,不能绘制四格表的诊断性试 验,无法进行评价
7
三、评价诊断性试验的常用指标
1。评价指标
1)
2)
敏感度(sensitivity):经金标准确诊 有病的人中,诊断性试验阳性者所占的比 例。 SEN = a /( a+c) 特异度(specificity):经金标准诊断 确定为无该病的人中,诊断性试验阴性所 占的比例。 SPE = d /(b+d)
21
再一步分析,则可计算不同水平的阳性似然比:
CPK n > 280 97 AMI(+) 比例 97/230=0.42 n 1 AMI(-) 比例 1/130=0.01 0.42/0.01=42 LR
80—279 118 118/230=0.51 15 15/130=0.12 0.51/0.12=4.2
当患病率变化后,SEN、SPE、+LR及-LR都很稳 定,两组数字相同,而PV随PREV不同有很大变化, 尤其是+PV随患病率增高而增加。因此,PV不能 看做试验本身的特性。敏感度越高,则假阴性越 低,假阴性率等于漏诊率。因此,高敏感度的试 验,用于临床诊断时漏诊率低。通常用高敏感度 试验,阴性结果排除诊断,又称为SnNout。 高敏感度试验用于:
Spe=Spe1 X Spe2
验后比=验前比 X LR1 X LR2
26
联合试验
2. 序列试验:依次相继的试验,要所有的试验
阳性才能做出诊断。序列试验提高了特异度 及阳性预测值。但降低了敏感度及阴性预测 值。 例如:诊断心肌梗死的CPK、AST、LDH,没有 一种试验是很特异的,如采用序列试验,即 三项均阳性才能诊断,这样可提高诊断心肌 梗死的特异度。 SEN = SEN1 X SEN2 SPE = SPE1 +SPE2 - SPE1 X SPE2
28
1.
2. 被检查的病例是否包括各型病例(轻、重、治疗、
未治疗),以及个别易于混淆的病例?
例如测定血中T3、T4诊断甲亢、测定血糖诊断糖尿
病,当包括各型病例时,这些指标既可判断病情又 可作鉴别诊断,是较好的诊断性试验。
3. 病例的来源和研究工作的安排是否作了叙述?
病例来源不同,对诊断性试验评价也有一定的影响。
ma P1(1-P1)/δ N2=ma P2(1-P2)/δ
N1=
2 2
2
2
显著性水平μа取0.05 μ0.05=1.96(双侧检验) 诊断性试验的允许误差δ一般定在0.05-0.10
19
五、似然比的临床应用
可用于临床计算患病的概率,便于更准确地对患者作出 诊断。 例如:对怀疑急性心肌梗塞患者,作肌酸磷酸激酶 (CPK)测定,根据其结果可计算似然比。爱丁堡皇家 医院将怀疑心肌梗死者360例收入病房,检测CPK,由一 位不知CPK结果的医生根据心电图和尸检结果判断有心 肌梗死者230例,无心梗者130例,测定值如下:
诊断性试验的分析与评价
一、定义
对疾病进行诊断的试验方法,即称为诊 断性试验。
诊断性试验不仅包括实验室检查,还包括病 史、体检结果、影象学检查、各种公认的诊 断标准等。
2
诊断性试验的应用
1.
2. 3. 4. 5. 6. 7.
诊断疾病 筛检无症状病人 疾病的随访 判断疾病的严重性 估计疾病的临床过程极其预后 估计对治疗的反应 测定目前对治疗的实际反应
40—79
1—39
13
2 230
13/230=0.06 26 26/130=0.02 0.06/0.02=0.3
2/230=0.01
88 88/130=0.67 0.01/0.67=0.01 130
22
23
似然比的应用:
验前比(Pretest Odds)=验前概率/(1-
验前概率)
验后比(Post-test Odds)=验前比×似
5
二、评价诊断性试验
+
a(真阳性)
b(假阳性)
-
c(假阴性)
d(真阴性)
6
必须用评价的资料列出四格表,方法如下
用标准诊断方法,诊断的病例数为 a+c 在有病的受试者中,诊断性试验阳性者为 a, 阴性者为 c 用标准诊断方法,判断无该病的例数为 b+d 无该病的受试者中,诊断性试验阳性例数为 b,阴性例数为 d
27
七、诊断性试验的评价原则
新的诊断性试验用于临床之前或杂志上有关 诊断性试验的结论,均须经过科学的评价。 是否采用盲目法将诊断性试验与标准诊断法 (金标准)作过对比研究? 诊断性试验必须与金标准比较,才能确定是 否可靠。 盲法对比,更为科学。 列出四格表进行分析对比,计算各项指标, 根据ACC、SEN、SPE确定诊断性试验有无应用 价值。
9
患病率(prevalence): PREV =(a+c)/(a+b+c+d) 7) 阳性似然比(positive likelihood ratio ): 有病者诊断性试验阳性的概率与无病者试验阳 性的概率之比。 +LR =[ a /(a+c)] / [ b /(b+d)] = Sen/(1-Spe) 8) 阴性似然比(negative likelihood ratio ): 有病者试验阴性的概率和无病者试验阴性的概 率之比。 -LR = [ c/(a+c)] / [ d /(b+d)] =(1-Sen)/Spe LR:有病者得出某一试验结果的概率与无病者得 10 出该试验结果的概率之比。
8
3)
4)
5)
准确性(accuracy):经诊断性试验检查 后真阳性与真阴性占总例数的比例。 ACC =(a+d)/(a+b+c+d) 阳性预测值(positive predictive value):诊断性试验阳性的人中真正有 病的人数所占的比例。(即诊断性试验阳 性时,患病的可能性) +PV = a /(a+b) 阴性预测值(negative predictive value):诊断性试验阴性的人中,真正 无该病的人数所占的比例。(即诊断性试 验阴性时,不患该病的可能性) -PV = d /(c+d)
3
二、评价诊断性试验的条件
1。标准诊断:
疾病的诊断,必须有标准诊断(即金标准 , gold standard,或参考标准,reference standard)。标准诊断是目前公认的诊断方 法,如:活检、手术、尸检、特殊检查或长 期随访的结果
4
二、评价诊断性试验的条件
2。诊断方法的对比:
评价新的诊断性试验,必须与标准诊断方法 进行比较。 新的诊断性试验,应该具备方法更为简便、 更为可靠或者减少危险、减少创伤、节约费 用等优点,这样的诊断性试验才具有推广意 义。